Création d’images satellite à partir de cartes vectorielles

Les chercheurs au Royaume-Uni ont développé un système de synthèse d’images basé sur l’IA qui peut convertir des cartes vectorielles en images de style satellite en temps réel.

L’architecture neuronale est appelée Synthèse d’images satellite sans couture (SSS), et offre la perspective d’environnements virtuels réalistes et de solutions de navigation qui ont une meilleure résolution que les images satellite peuvent offrir ; sont plus à jour (puisquels les systèmes de cartes cartographiques peuvent être mis à jour en temps réel) ; et peuvent faciliter des vues orbitales réalistes dans les zones où la résolution des capteurs satellite est limitée ou autrement indisponible.

Les données vectorielles sans résolution peuvent être traduites en tailles d’images beaucoup plus élevées que celles souvent disponibles à partir d’images satellite réelles, et peuvent rapidement refléter les mises à jour des cartes cartographiques basées sur le réseau, telles que de nouvelles obstructions ou des changements dans les infrastructures de réseau routier. Source: https://arxiv.org/pdf/2111.03384.pdf

Pour démontrer le pouvoir du système, les chercheurs ont créé un environnement interactif de style Google Earth où le spectateur peut zoomer et observer les images satellite générées à différentes échelles de rendu et de détail, avec les tuiles qui se mettent à jour en temps réel de la même manière que les systèmes interactifs conventionnels pour les images satellite :

Zoomer dans l’environnement créé, basé sur une carte cartographique. Voir la vidéo à la fin de l’article pour une meilleure résolution et plus de détails sur le processus. Source: https://www.youtube.com/watch?v=PqFySVpkZzg

De plus, puisque le système peut générer des images de style satellite à partir de n’importe quelle carte vectorielle, il pourrait en théorie être utilisé pour construire des mondes historiques, projetés ou fictifs, pour incorporation dans des simulateurs de vol et des environnements virtuels. De plus, les chercheurs anticipent la synthèse d’environnements virtuels 3D complets à partir de données cartographiques en utilisant des transformateurs.

À court terme, les auteurs pensent que leur cadre pourrait être utilisé pour un certain nombre d’applications réelles, notamment la planification urbaine interactive et la modélisation procédurale, en imaginant un scénario où les parties prenantes peuvent éditer une carte de manière interactive et voir des vues aériennes de la zone projetée dans les secondes.

Le nouveau document vient de deux chercheurs de l’Université de Leeds, et s’intitule Synthèse d’images satellite sans couture.

L’architecture SSS recrée Londres, avec un aperçu de la structure vectorielle sous-jacente qui alimente la reconstruction. En haut à gauche, l’image entière, disponible dans les matériaux supplémentaires à une résolution de 8k.

Architecture et données de formation source

Le nouveau système utilise l’architecture de synthèse d’images Pix2Pix de l’UCL Berkeley de 2017 et l’architecture de synthèse d’images SPADE de NVIDIA. Le cadre contient deux réseaux de neurones convolutifs novateurs – map2sat, qui effectue la conversion de vectoriel à pixel ; et seam2cont, qui non seulement calcule une méthode sans couture pour rassembler les tuiles de 256×256 pixels, mais fournit également un environnement d’exploration interactif.

L’architecture de SSS.

Le système apprend à synthétiser des vues satellite en s’entraînant sur des vues vectorielles et leurs équivalents satellite réels, formant une compréhension généralisée de la façon d’interpréter les facettes vectorielles en interprétations photo-réalistes.

Les images vectorielles utilisées dans le jeu de données sont rasterisées à partir de fichiers GeoPackage (.geo) qui contiennent jusqu’à 13 étiquettes de classe, telles que piste, environnement naturel, bâtiment et route, qui sont utilisées pour décider du type d’images à insérer dans la vue satellite.

Les images satellite rasterisées .geo conservent également les métadonnées du système de référence de coordonnées locales, qui sont utilisées pour les interpréter dans le contexte du cadre cartographique plus large, et pour permettre à l’utilisateur de naviguer de manière interactive dans les cartes créées.

Tuiles sans couture sous contraintes difficiles

La création d’environnements de cartes interactifs est un défi, puisque les limitations matérielles du projet limitent les tuiles à une taille de 256 x 256 pixels. Il est donc important que soit le processus de rendu ou de composition prenne en compte l’image globale, au lieu de se concentrer exclusivement sur la tuile en question, ce qui entraînerait des juxtapositions choquantes lorsque les tuiles sont collectées, avec des routes qui changent soudainement de couleur, et d’autres artefacts de rendu non réalistes.

Par conséquent, SSS utilise une hiérarchie d’espace d’échelle de réseaux de générateurs pour générer des variations de contenu à différentes échelles, et le système est capable d’évaluer arbitrairement les tuiles à n’importe quelle échelle intermédiaire dont le spectateur pourrait avoir besoin.

La section seam2cont de l’architecture utilise deux couches superposées et indépendantes de la sortie map2sat, et calcule une bordure appropriée dans le contexte de l’image plus large à représenter :

Le module seam2cont utilise une image avec une couture et une sans couture à partir du réseau map2sat, afin de calculer des bordures sans couture entre les tuiles de 256×256 pixels générées.

Le réseau map2sat est une adaptation optimisée d’un réseau SPADE complet, exclusivement formé à 256×256 pixels. Les auteurs notent que c’est une mise en œuvre légère et agile, conduisant à des poids de seulement 31,5 Mo par rapport à 436,9 Mo dans un réseau SPADE complet.

3000 images satellite réelles ont été utilisées pour former les deux sous-réseaux sur 70 époques de formation ; toutes les images contiennent des informations sémantiques équivalentes (c’est-à-dire une compréhension conceptuelle de bas niveau des objets représentés tels que les « routes »), et des métadonnées de positionnement basées sur les géodonnées.

Des matériaux supplémentaires sont disponibles sur la page du projet, ainsi qu’une vidéo accompagnante (intégrée ci-dessous).

https://www.youtube.com/watch?v=PqFySVpkZzg