Erstellung von Satellitenbildern aus Vektorkarten

Forscher im Vereinigten Königreich haben ein auf künstlicher Intelligenz basierendes Bildsynthesesystem entwickelt, das Vektorkarten in Satellitenbildern umwandeln kann.

Die neurale Architektur wird als Seamless Satellite-image Synthesis (SSS) bezeichnet und bietet die Aussicht auf realistische virtuelle Umgebungen und Navigationssysteme, die eine bessere Auflösung als Satellitenbilder bieten können; aktuellere Daten (da kartografische Karten systeme in Echtzeit aktualisiert werden können); und realistische orbitalähnliche Ansichten in Bereichen, in denen die Auflösung von Satellitensensoren begrenzt oder nicht verfügbar ist.

Auflösungsfreie Vektordaten können in viel höhere Bildgrößen umgewandelt werden, als oft von echten Satellitenbildern verfügbar sind, und können schnell Änderungen in netzwerkbasierenden kartografischen Karten widerspiegeln, wie neue Hindernisse oder Änderungen in der Straßeninfrastruktur. Quelle: https://arxiv.org/pdf/2111.03384.pdf

Um die Leistung des Systems zu demonstrieren, haben die Forscher eine interaktive, Google-Earth-ähnliche Umgebung erstellt, in der der Benutzer hineinzoomen und die generierten Satellitenbilder in verschiedenen Render-Skalen und Details betrachten kann, wobei die Kacheln in Echtzeit aktualisiert werden, ähnlich wie bei herkömmlichen interaktiven Systemen für Satellitenbilder:

Hineinzoomen in die erstellte Umgebung, basierend auf einer kartografischen Karte. Siehe Video am Ende des Artikels für bessere Auflösung und mehr Details zum Prozess. Quelle: https://www.youtube.com/watch?v=PqFySVpkZzg

Darüber hinaus kann das System, da es Satellitenbilder aus jeder vektorbasierten Karte generieren kann, theoretisch verwendet werden, um historische, projizierte oder fiktive Welten zu erstellen, die in Flugsimulatoren und virtuellen Umgebungen integriert werden können. Zusätzlich erwarten die Forscher, vollständig 3D-virtuelle Umgebungen aus kartografischen Daten mithilfe von Transformern zu synthetisieren.

Im Nahbereich glauben die Autoren, dass ihr Rahmenwerk für eine Reihe von realen Anwendungen verwendet werden kann, einschließlich interaktiver Stadtplanung und prozeduraler Modellierung, wobei sie sich eine Szene vorstellen, in der Stakeholder eine Karte interaktiv bearbeiten und innerhalb von Sekunden eine Vogelperspektive des projizierten Terrains sehen können.

Der neue Artikel stammt von zwei Forschern der University of Leeds und trägt den Titel Seamless Satellite-image Synthesis.

Die SSS-Architektur rekonstruiert London, mit einem Blick in die zugrunde liegende Vektorstruktur, die die Rekonstruktion speist. In der oberen linken Ecke, das gesamte Bild, verfügbar in den ergänzenden Materialien in 8k-Auflösung.

Architektur und Quelltrainingsdaten

Das neue System nutzt die Pix2Pix-Architektur von UCL Berkeley aus dem Jahr 2017 und die SPADE-Bildsynthesearchitektur von NVIDIA. Der Rahmen enthält zwei neuartige konvolutionale neuronale Netze – map2sat, das die Umwandlung von Vektor- in Pixel-basierte Bilder durchführt; und seam2cont, das nicht nur eine nahtlose Methode zur Zusammenführung der 256×256-Kacheln berechnet, sondern auch eine interaktive Explorationsumgebung bietet.

Die Architektur von SSS.

Das System lernt, Satellitenansichten zu synthetisieren, indem es auf Vektordaten und ihren realen Satellitenequivalenten trainiert wird, wodurch ein allgemeines Verständnis darüber entsteht, wie Vektorelemente in photo-realistische Interpretationen umgesetzt werden können.

Die vektorbasierten Bilder, die im Datensatz verwendet werden, werden aus GeoPackage (.geo)-Dateien gerastert, die bis zu 13 Klassenlabels enthalten, wie Spur, Naturumgebung, Gebäude und Straße, die bei der Entscheidung über die Art der in die Satellitenansicht zu integrierenden Bilder verwendet werden.

Die gerasterten.geo-Satellitenbilder behalten auch lokale Koordinatenreferenzsystem-Metadaten bei, die verwendet werden, um sie im breiteren Kartengerüst zu interpretieren und es dem Benutzer zu ermöglichen, die erstellten Karten interaktiv zu navigieren.

Nahtlose Kacheln unter harten Einschränkungen

Die Erstellung von explorierbaren Kartenumgebungen ist eine Herausforderung, da die Hardware-Einschränkungen im Projekt die Kacheln auf eine Größe von nur 256 x 256 Pixeln beschränken. Es ist daher wichtig, dass entweder der Render- oder der Kompositionsprozess das “große Bild” berücksichtigt, anstatt sich ausschließlich auf die Kachel zu konzentrieren, was zu unangenehmen Übergängen führen würde, wenn die Kacheln kombiniert werden, mit Straßen, die plötzlich die Farbe wechseln, und anderen nicht realistischen Render-Artefakten.

Daher verwendet SSS eine Skala-Raum-Hierarchie von Generatoren-Netzwerken, um Variationen von Inhalten in verschiedenen Skalen zu generieren, und das System kann willkürlich Kacheln in jeder Zwischenskala auswerten, die der Benutzer benötigt.

Der seam2cont-Teil der Architektur verwendet zwei überlappende und unabhängige Schichten der map2sat-Ausgabe und berechnet eine geeignete Grenze im Kontext des breiteren Bildes, das dargestellt werden soll:

Das Seam2Cont-Modul verwendet ein Bild mit gekachelter Naht und ein Bild ohne Nähte aus dem map2sat-Netzwerk, um nahtlose Grenzen zwischen den 256×256-Pixel-Generierkacheln zu berechnen.

Das map2sat-Netzwerk ist eine optimierte Anpassung eines vollständigen SPADE-Netzwerks, das ausschließlich bei 256×256 Pixeln trainiert wurde. Die Autoren bemerken, dass dies eine leichte und agile Implementierung ist, die zu Gewichten von nur 31,5 MB im Vergleich zu 436,9 MB in einem vollständigen SPADE-Netzwerk führt.

3000 reale Satellitenbilder wurden verwendet, um die beiden Sub-Netzwerke über 70 Epochen Trainingszeit zu trainieren; alle Bilder enthalten äquivalente semantische Informationen (d. h. ein grundlegendes konzeptionelles Verständnis der dargestellten Objekte wie “Straßen”) und geo-basierte Positionsdaten.

Weitere Materialien sind auf der Projektseite verfügbar, sowie ein begleitendes Video (eingebettet unten).