Création d'images satellite à partir de cartes vectorielles

Des chercheurs britanniques ont développé un système de synthèse d'images basé sur l'IA qui peut convertir à la volée des cartes vectorielles en images de type satellite.

L'architecture neuronale s'appelle Synthèse transparente d'images satellites (SSS), et offre la perspective d'environnements virtuels réalistes et de solutions de navigation qui ont une meilleure résolution que l'imagerie satellite peut offrir ; sont plus à jour (puisque les systèmes de cartes cartographiques peuvent être mis à jour en direct); et peut faciliter des vues réalistes de style orbital dans les zones où la résolution du capteur satellite est limitée ou autrement indisponible.

Les données vectorielles sans résolution peuvent être converties en des tailles d'image bien supérieures à celles qui sont souvent disponibles à partir d'images satellite réelles, et peuvent rapidement refléter les mises à jour des cartes cartographiques basées sur le réseau, telles que de nouvelles obstructions ou des modifications de l'infrastructure du réseau routier. Source : https://arxiv.org/pdf/2111.03384.pdf

Pour démontrer la puissance du système, les chercheurs ont créé un environnement interactif de style Google Earth où le spectateur peut zoomer et observer les images satellite générées à une variété d'échelles de rendu et de détails, les tuiles se mettant à jour en direct de la même manière. manière que les systèmes interactifs conventionnels pour l'imagerie satellitaire :

Zoom sur l'environnement créé, basé sur une carte cartographique. Voir la vidéo à la fin de l'article pour une meilleure résolution et plus de détails sur le processus. Source : https://www.youtube.com/watch?v=PqFySVpkZzg

De plus, comme le système peut générer des images de type satellite à partir de n'importe quelle carte vectorielle, il pourrait en théorie être utilisé pour construire des mondes historiques, projetés ou fictifs, à intégrer dans des simulateurs de vol et des environnements virtuels. De plus, les chercheurs prévoient de synthétiser des environnements virtuels entièrement en 3D à partir de données cartographiques à l'aide de transformateurs.

À plus court terme, les auteurs pensent que leur cadre pourrait être utilisé pour un certain nombre d'applications réelles, y compris la planification urbaine interactive et la modélisation procédurale, envisageant un scénario dans lequel les parties prenantes peuvent éditer une carte de manière interactive et voir des images à vol d'oiseau de le terrain projeté en quelques secondes.

Le nouveau système d’ papier vient de deux chercheurs de l'Université de Leeds, et est intitulé Synthèse transparente d'images satellites.

L'architecture SSS recrée Londres, avec un aperçu de la structure vectorielle sous-jacente qui alimente la reconstruction. En haut à gauche, l'image entière, disponible dans des matériaux supplémentaires à une résolution de 8k.

Architecture et données de formation source

Le nouveau système utilise le système 2017 de l'UCL Berkeley Pix2Pix et NVIDIA BÊCHE architecture de synthèse d'images. Le cadre contient deux nouveaux réseaux de neurones convolutifs - carte2sat, qui effectue la conversion d'images vectorielles en images basées sur des pixels ; et couture2cont, qui calcule non seulement une méthode transparente pour rassembler les tuiles 256 × 256, mais fournit également un environnement d'exploration interactif.

L'architecture de SSS.

Le système apprend à synthétiser les vues satellites en s'entraînant sur les vues vectorielles et leurs équivalents satellitaires réels, formant une compréhension généralisée de la façon d'interpréter les facettes vectorielles en interprétations photo-réelles.

Les images vectorielles utilisées dans le jeu de données sont pixellisées à partir de fichiers GeoPackage (.geo) qui contiennent jusqu'à 13 étiquettes de classe, telles que suivre, environnement naturel, bâtiment et routières, qui sont exploités pour décider du type d'imagerie à insérer dans la vue satellite.

Les images satellite .geo tramées conservent également les métadonnées locales du système de référence de coordonnées, qui sont utilisées pour les interpréter dans leur contexte dans le cadre cartographique plus large et pour permettre à l'utilisateur de naviguer de manière interactive dans les cartes créées.

Tuiles sans soudure sous contraintes strictes

Créer des environnements cartographiques explorables représente un défi, car les limitations matérielles du projet limitent la taille des tuiles à 256 x 256 pixels. Il est donc important que le rendu ou la composition prenne en compte la vue d'ensemble, plutôt que de se concentrer exclusivement sur la tuile concernée. Cela entraînerait des juxtapositions discordantes lors de l'assemblage des tuiles, des routes changeant brusquement de couleur et d'autres artefacts de rendu non réalistes.

Par conséquent, SSS utilise une hiérarchie échelle-espace de réseaux de générateurs pour générer une variation de contenu à diverses échelles, et le système est capable d'évaluer arbitrairement les tuiles à n'importe quelle échelle intermédiaire dont le spectateur pourrait avoir besoin.

La section seam2cont de l'architecture utilise deux couches superposées et indépendantes de la sortie map2sat, et calcule une bordure appropriée dans le contexte de l'image plus large à représenter :

Le module seam2cont utilise une image avec couture en mosaïque et une sans couture du réseau map2sat, afin de calculer des bordures transparentes entre les tuiles générées de 256 × 256 pixels.

Le réseau map2sat est une adaptation optimisée d'un réseau SPADE à part entière, exclusivement formé à 256×256 pixels. Les auteurs notent qu'il s'agit d'une implémentation légère et rapide, conduisant à des poids de seulement 31.5 Mo contre 436.9 Mo dans un réseau SPADE complet.

3000 70 images satellites réelles ont été utilisées pour former les deux sous-réseaux sur XNUMX époques de temps de formation ; toutes les images contiennent des informations sémantiques équivalentes (c'est-à-dire une compréhension conceptuelle de bas niveau des objets représentés tels que les « routes ») et des métadonnées de positionnement géographiques.

D'autres documents sont disponibles sur la page du projet, ainsi qu'une vidéo d'accompagnement (intégrée ci-dessous).