Création d’images de satellite à partir de cartes vectorielles

Des chercheurs au Royaume-Uni ont développé un système de synthèse d’images basé sur l’intelligence artificielle qui peut convertir des cartes vectorielles en images de style satellite en temps réel.

L’architecture neuronale est appelée Synthèse d’images de satellite sans couture (SSS), et offre la perspective d’environnements virtuels réalistes et de solutions de navigation qui ont une meilleure résolution que les images de satellite peuvent offrir; sont plus à jour (puisquels les systèmes de cartes cartographiques peuvent être mis à jour en temps réel); et peuvent faciliter des vues réalistes en orbite dans les zones où la résolution des capteurs de satellite est limitée ou autrement indisponible.

Les données vectorielles sans résolution peuvent être traduites en tailles d’images beaucoup plus élevées que celles souvent disponibles à partir d’images de satellite réelles, et peuvent rapidement refléter les mises à jour des cartes cartographiques basées sur le réseau, telles que de nouvelles obstructions ou des changements dans l’infrastructure du réseau routier. Source: https://arxiv.org/pdf/2111.03384.pdf

Pour démontrer le pouvoir du système, les chercheurs ont créé un environnement interactif de style Google Earth où le spectateur peut zoomer et observer les images de satellite générées à différentes échelles de rendu et de détail, avec les tuiles qui se mettent à jour en temps réel de la même manière que les systèmes interactifs conventionnels pour les images de satellite:

Zoomer dans l’environnement créé, basé sur une carte cartographique. Voir la vidéo à la fin de l’article pour une meilleure résolution et plus de détails sur le processus. Source: https://www.youtube.com/watch?v=PqFySVpkZzg

En outre, puisque le système peut générer des images de style satellite à partir de toute carte vectorielle, il pourrait en théorie être utilisé pour construire des mondes historiques, projetés ou fictifs, pour incorporation dans des simulateurs de vol et des environnements virtuels. De plus, les chercheurs anticipent la synthèse d’environnements virtuels 3D complets à partir de données cartographiques à l’aide de transformateurs.

À plus court terme, les auteurs croient que leur cadre pourrait être utilisé pour un certain nombre d’applications réelles, notamment la planification urbaine interactive et la modélisation procédurale, en imaginant un scénario où les parties prenantes peuvent éditer une carte de manière interactive et voir des vues aériennes de la topographie projetée dans les secondes.

Le nouveau document provient de deux chercheurs de l’Université de Leeds, et s’intitule Synthèse d’images de satellite sans couture.

L’architecture SSS recrée Londres, avec un aperçu de la structure vectorielle sous-jacente qui alimente la reconstruction. En haut à gauche, l’image complète, disponible en matériel supplémentaire en résolution 8k.

Architecture et données d’entraînement

Le nouveau système utilise l’architecture de synthèse d’images Pix2Pix de l’UCL Berkeley de 2017 et l’architecture SPADE de NVIDIA. Le cadre contient deux réseaux de neurones convolutifs novateurs – map2sat, qui effectue la conversion de vectoriel à pixel; et seam2cont, qui calcule non seulement une méthode sans couture pour rassembler les tuiles de 256×256 pixels, mais fournit également un environnement d’exploration interactif.

L’architecture de SSS.

Le système apprend à synthétiser des vues de satellite en s’entraînant sur des vues vectorielles et leurs équivalents de satellite réels, formant une compréhension généralisée de la façon d’interpréter les facettes vectorielles en interprétations photo-réalistes.

Les images vectorielles utilisées dans le jeu de données sont rasterisées à partir de fichiers GeoPackage (.geo) qui contiennent jusqu’à 13 étiquettes de classe, telles que voie, environnement naturel, bâtiment et route, qui sont utilisées pour décider du type d’image à insérer dans la vue de satellite.

Les images de satellite vectorielles rasterisées conservent également les métadonnées de système de référence de coordonnées locales, qui sont utilisées pour les interpréter dans le contexte du cadre de carte plus large, et pour permettre à l’utilisateur de naviguer de manière interactive dans les cartes créées.

Tuiles sans couture sous contraintes difficiles

La création d’environnements de cartes explorables est un défi, puisque les limitations matérielles du projet limitent les tuiles à une taille de seulement 256 x 256 pixels. Il est donc important que soit le processus de rendu, soit le processus de composition prenne en compte l’image globale, au lieu de se concentrer exclusivement sur la tuile en question, ce qui conduirait à des juxtapositions choquantes lorsque les tuiles sont assemblées, avec des routes qui changent soudainement de couleur, et d’autres artefacts de rendu non réalistes.

Par conséquent, SSS utilise une hiérarchie d’espaces d’échelle de réseaux de générateurs pour générer des variations de contenu à différentes échelles, et le système est capable d’évaluer arbitrairement les tuiles à n’importe quelle échelle intermédiaire que le spectateur peut nécessiter.

La section seam2cont de l’architecture utilise deux couches superposées et indépendantes de la sortie map2sat, et calcule une bordure appropriée dans le contexte de l’image plus large à représenter:

Le module Seam2Cont utilise une image avec une couture et une image sans couture à partir du réseau map2sat, afin de calculer les bordures sans couture entre les tuiles générées de 256×256 pixels.

Le réseau map2sat est une adaptation optimisée d’un réseau SPADE complet, exclusivement formé à 256×256 pixels. Les auteurs notent que c’est une mise en œuvre légère et agile, conduisant à des poids de seulement 31,5 Mo par rapport à 436,9 Mo dans un réseau SPADE complet.

3000 images de satellite réelles ont été utilisées pour former les deux sous-réseaux sur 70 époques de temps de formation; toutes les images contiennent des informations sémantiques équivalentes (c’est-à-dire une compréhension conceptuelle de bas niveau des objets représentés tels que les « routes »), et des métadonnées de positionnement basées sur la géographie.

Des matériaux supplémentaires sont disponibles sur la page du projet, ainsi qu’une vidéo accompagnante (intégrée ci-dessous).