Erstellung von Satellitenbildern aus Vektorkarten

Forscher im Vereinigten Königreich haben ein auf künstlicher Intelligenz basierendes Bildsynthesesystem entwickelt, das Vektorkarten in Satellitenbildern im Stil von Satellitenbildern umwandeln kann.

Die neuronale Architektur wird als Seamless Satellite-image Synthesis (SSS) bezeichnet und bietet die Aussicht auf realistische virtuelle Umgebungen und Navigationslösungen, die eine bessere Auflösung als Satellitenbilder bieten; aktueller sind (da kartografische Karten systeme auf einer Live-Basis aktualisiert werden können); und realistische orbitalähnliche Ansichten in Bereichen ermöglichen, in denen die Auflösung von Satellitensensoren begrenzt oder nicht verfügbar ist.

Auflösungsfreie Vektordaten können in viel höhere Bildgrößen umgewandelt werden, als oft von echten Satellitenbildern verfügbar sind, und können schnell Änderungen in netzwerkbasierten kartografischen Karten widerspiegeln, wie neue Hindernisse oder Änderungen in der Straßennetzinfrastruktur. Quelle: https://arxiv.org/pdf/2111.03384.pdf

Um die Leistung des Systems zu demonstrieren, haben die Forscher eine interaktive, Google-Earth-ähnliche Umgebung erstellt, in der der Betrachter hineinzoomen und die generierten Satellitenbilder in verschiedenen Render-Skalen und Details betrachten kann, wobei die Kacheln live aktualisiert werden, ähnlich wie bei herkömmlichen interaktiven Systemen für Satellitenbilder:

Hineinzoomen in die erstellte Umgebung, basierend auf einer kartografischen Karte. Siehe Video am Ende des Artikels für bessere Auflösung und mehr Details über den Prozess. Quelle: https://www.youtube.com/watch?v=PqFySVpkZzg

Darüber hinaus kann das System, da es Satellitenbilder aus jeder vektorbasierten Karte generieren kann, theoretisch verwendet werden, um historische, projizierte oder fiktive Welten zu erstellen, für die Einbindung in Flugsimulatoren und virtuelle Umgebungen. Zusätzlich erwarten die Forscher, vollständig 3D-virtuelle Umgebungen aus kartografischen Daten mithilfe von Transformern zu synthetisieren.

In naher Zukunft glauben die Autoren, dass ihr Rahmenwerk für eine Reihe von realen Anwendungen verwendet werden kann, einschließlich interaktiver Stadtplanung und prozeduraler Modellierung, wobei sie sich eine Szene vorstellen, in der Stakeholder eine Karte interaktiv bearbeiten und innerhalb von Sekunden eine Vogelperspektive des projizierten Geländes sehen können.

Der neue Artikel stammt von zwei Forschern der University of Leeds und trägt den Titel Seamless Satellite-image Synthesis.

Die SSS-Architektur rekonstruiert London, mit einem Blick auf die zugrunde liegende Vektorstruktur, die die Rekonstruktion speist. Inset oben links, das gesamte Bild, verfügbar in den ergänzenden Materialien in 8k-Auflösung.

Architektur und Quelltrainingsdaten

Das neue System nutzt die UCL Berkeley’s 2017 Pix2Pix und NVIDIA’s SPADE Bildsynthese-Architektur. Das Framework enthält zwei neuartige konvolutionale neuronale Netze – map2sat, das die Umwandlung von Vektor- in Pixel-basierte Bilder durchführt; und seam2cont, das nicht nur eine nahtlose Methode berechnet, um die 256×256-Kacheln zusammenzufügen, sondern auch eine interaktive Explorationsumgebung bietet.

Die Architektur von SSS.

Das System lernt, Satellitenansichten zu synthetisieren, indem es auf Vektoransichten und ihren realen Satellitenequivalenten trainiert, und bildet ein allgemeines Verständnis darüber, wie Vektorfacetten in foto-realistische Interpretationen umgesetzt werden können.

Die vektorbasierten Bilder, die im Datensatz verwendet werden, werden aus GeoPackage (.geo)-Dateien gerasterisiert, die bis zu 13 Klassenlabels enthalten, wie Spur, naturliche Umgebung, Gebäude und Straße, die bei der Entscheidung über die Art der in die Satellitenansicht zu integrierenden Bilder verwendet werden.

Die gerasterisierten .geo-Satellitenbilder enthalten auch lokale Koordinatenreferenzsystem-Metadaten, die verwendet werden, um sie im Kontext des umfassenderen Kartenframeworks zu interpretieren und es dem Benutzer zu ermöglichen, interaktiv die erstellten Karten zu navigieren.

Nahtlose Kacheln unter harten Einschränkungen

Die Erstellung von explorierbaren Kartenumgebungen ist eine Herausforderung, da Hardware-Einschränkungen im Projekt die Kacheln auf eine Größe von nur 256 x 256 Pixeln begrenzen. Daher ist es wichtig, dass entweder der Render- oder der Kompositionsprozess das “größere Bild” berücksichtigt, anstatt sich ausschließlich auf die Kachel zu konzentrieren, was zu unangenehmen Kontrasten führen würde, wenn die Kacheln kombiniert werden, mit plötzlichen Farbänderungen von Straßen und anderen nicht realistischen Render-Artefakten.

Daher verwendet SSS eine Skalierungs-Hierarchie von Generator-Netzwerken, um Variationen von Inhalten in verschiedenen Skalen zu generieren, und das System kann willkürlich Kacheln in jeder Zwischenskala bewerten, die der Betrachter benötigt.

Der seam2cont-Teil der Architektur verwendet zwei überlappende und unabhängige Schichten des map2sat-Ausgangs und berechnet eine geeignete Grenze im Kontext des umfassenderen Bildes, das dargestellt werden soll:

Der seam2cont-Modul verwendet ein Bild mit gekachelter Naht und ein Bild ohne Nähte aus dem map2sat-Netzwerk, um nahtlose Grenzen zwischen den 256×256-Pixel-Generierkacheln zu berechnen.

Das map2sat-Netzwerk ist eine optimierte Anpassung eines vollständigen SPADE-Netzwerks, das ausschließlich bei 256×256 Pixeln trainiert wurde. Die Autoren bemerken, dass dies eine leichte und agile Implementierung ist, die zu einem Gewicht von nur 31,5 MB im Vergleich zu 436,9 MB in einem vollständigen SPADE-Netzwerk führt.

3000 reale Satellitenbilder wurden verwendet, um die beiden Sub-Netzwerke über 70 Trainings-Epochen zu trainieren; alle Bilder enthalten äquivalente semantische Informationen (d. h. ein grundlegendes konzeptuelles Verständnis der dargestellten Objekte wie “Straßen”) und geo-basierte Positions-Metadaten.

Weitere Materialien sind auf der Projektseite verfügbar, sowie ein begleitendes Video (eingebettet unten).

https://www.youtube.com/watch?v=PqFySVpkZzg