Tworzenie obrazów satelitarnych z map wektorowych

Naukowcy w Wielkiej Brytanii opracowali system syntezy obrazu oparty na sztucznej inteligencji, który może przekształcić mapy wektorowe w obrazy satelitarne w czasie rzeczywistym.

Architektura neuronalna nazywa się Ciągła synteza obrazu satelitarnego (SSS), a oferuje perspektywę realistycznych środowisk wirtualnych i rozwiązań nawigacyjnych, które mają lepszą rozdzielczość niż obrazy satelitarne; są bardziej aktualne (ponieważ systemy map kartograficznych mogą być aktualizowane w czasie rzeczywistym); i mogą ułatwić realistyczne widoki orbitalne w obszarach, w których rozdzielczość czujników satelitarnych jest ograniczona lub niedostępna.

Dane wektorowe o dowolnej rozdzielczości mogą być przekształcone w obrazy o znacznie większej rozdzielczości niż te, które są często dostępne z prawdziwych obrazów satelitarnych, i mogą szybko odzwierciedlać aktualizacje w sieciowych mapach kartograficznych, takich jak nowe przeszkody lub zmiany w infrastrukturze sieci drogowej. Źródło: https://arxiv.org/pdf/2111.03384.pdf

Aby zademonstrować możliwości systemu, naukowcy stworzyli interaktywne środowisko w stylu Google Earth, w którym obserwator może przybliżać i obserwować wygenerowane obrazy satelitarne w różnych skalach i szczegółach, z kafelkami aktualizowanymi na żywo w sposób podobny do konwencjonalnych interaktywnych systemów dla obrazów satelitarnych:

Przybliżanie się do stworzonego środowiska, opartego na mapie kartograficznej. Zobacz film na końcu artykułu, aby zobaczyć lepszą rozdzielczość i więcej szczegółów na temat procesu. Źródło: https://www.youtube.com/watch?v=PqFySVpkZzg

Ponadto, ponieważ system może generować obrazy satelitarne z dowolnej mapy wektorowej, można go teoretycznie wykorzystać do budowy historycznych, przyszłych lub fikcyjnych światów, do włączenia do symulatorów lotu i środowisk wirtualnych. Dodatkowo, naukowcy przewidują syntezę w pełni trójwymiarowych środowisk wirtualnych z danych kartograficznych przy użyciu transformatorów.

W bliższej perspektywie, autorzy uważają, że ich ramy mogą być wykorzystane do wielu aplikacji w świecie rzeczywistym, w tym interaktywnego planowania miast i modelowania proceduralnego, wyobrażając sobie scenariusz, w którym interesariusze mogą edytować mapę w sposób interaktywny i zobaczyć widok z lotu ptaka obrazu terenu w ciągu kilku sekund.

Nowy artykuł pochodzi od dwóch naukowców z Uniwersytetu w Leeds i nosi tytuł Ciągła synteza obrazu satelitarnego.

Architektura SSS odtwarza Londyn, z wglądem w podstawową strukturę wektorową, która zasilają odbudowę. Wstawka w lewym górnym rogu, cały obraz, dostępny w materiałach uzupełniających w rozdzielczości 8k.

Architektura i dane szkoleniowe

Nowy system wykorzystuje architekturę syntezy obrazu Pix2Pix z 2017 roku z UCL Berkeley i architekturę SPADE od NVIDIA. Ramy zawierają dwie nowe sieci neuronowe – map2sat, która wykonuje konwersję z wektorowej do pikselowej reprezentacji obrazu; i seam2cont, która nie tylko oblicza sposób łączenia kafelków w sposób ciągły, ale także zapewnia interaktywne środowisko eksploracji.

Architektura SSS.

System uczy się syntezować widoki satelitarne, szkoląc się na widokach wektorowych i ich odpowiednikach w świecie rzeczywistym, tworząc uogólnioną wiedzę o tym, jak interpretować cechy wektorowe w fotorealistyczne interpretacje.

Obrazy wektorowe wykorzystane w zbiorze danych są rastrowane z plików GeoPackage (.geo), które zawierają do 13 etykiet klas, takich jak ścieżka, środowisko naturalne, budynek i droga, które są wykorzystywane do decydowania o rodzaju obrazu do umieszczenia w widoku satelitarnym.

Rastrowane obrazy.geo satelitarne również zachowują metadane systemu odniesienia współrzędnych, które są wykorzystywane do interpretowania ich w kontekście szerszego frameworku mapy i do umożliwienia użytkownikowi interaktywnej nawigacji w stworzonych mapach.

Ciągłe kafelki pod trudnymi ograniczeniami

Tworzenie środowisk map, które można eksplorować, jest wyzwaniem, ponieważ ograniczenia sprzętowe w projekcie ograniczają kafelki do rozmiaru tylko 256 x 256 pikseli. Dlatego ważne jest, aby albo proces renderowania, albo kompozycji brał pod uwagę “większy obraz”, zamiast koncentrować się wyłącznie na kafelku, co prowadziłoby do niezgodności przy łączeniu kafelków, z drogami, które nagle zmieniają kolor, i innymi nieprawidłowymi artefaktami renderowania.

Dlatego SSS wykorzystuje hierarchię generatorów sieci w różnych skalach, aby generować zmiany zawartości w różnych skalach, i system jest w stanie arbitralnie oceniać kafelki w dowolnej skali, jakiej potrzebuje obserwator:

Część seam2cont architektury wykorzystuje dwie nachodzące się i niezależne warstwy wyjścia map2sat, i oblicza odpowiednią granicę w kontekście szerszego obrazu, który ma być reprezentowany:

Moduł seam2cont wykorzystuje jeden obraz z kafelkiem z szwem i jeden bez szwów z sieci map2sat, aby obliczyć ciągłe granice między wygenerowanymi kafelkami o rozmiarze 256×256 pikseli.

Sieć map2sat jest zoptymalizowaną adaptacją pełnej sieci SPADE, wyłącznie szkolonej w rozdzielczości 256×256 pikseli. Autorzy zauważają, że jest to lekka i zwinna implementacja, prowadząca do wag o rozmiarze tylko 31,5 MB w porównaniu z 436,9 MB w pełnej sieci SPADE.

3000 prawdziwych obrazów satelitarnych zostało wykorzystanych do szkolenia dwóch podsieci przez 70 epok szkolenia; wszystkie obrazy zawierają równoważne informacje semantyczne (tj. niskopoziomowe pojęcie rozumienia obiektów, takich jak “drogi”), i metadane położenia geograficznego.

Dalsze materiały są dostępne na stronie projektu, a także towarzyszący film (wstawiony poniżej).