Vytvoření satelitních snímků z vektorových map

Výzkumníci ve Spojeném království vyvinuli systém syntézy obrazu založený na umělých neuronových sítích, který může převést vektorové mapy na satelitní snímky v reálném čase.

Neuronová architektura se nazývá Seamless Satellite-image Synthesis (SSS) a nabízí perspektivu realistických virtuálních prostředí a navigačních řešení, která mají lepší rozlišení než satelitní snímky; jsou aktuální (protože kartografické mapové systémy lze aktualizovat v reálném čase); a mohou umožnit realistické pohledy z oběžné dráhy v oblastech, kde je rozlišení satelitních snímků omezené nebo jinak nedostupné.

Rozlišení-free vektorová data lze přeložit do mnohem větších velikostí obrazu než jsou často k dispozici ze skutečných satelitních snímků a mohou rychle odrážet aktualizace v síťových kartografických mapách, jako jsou nové překážky nebo změny v infrastruktuře silniční sítě. Zdroj: https://arxiv.org/pdf/2111.03384.pdf

Pro demonstraci síly systému vytvořili výzkumníci interaktivní prostředí ve stylu Google Earth, kde může divák přiblížit a pozorovat generované satelitní snímky v různých měřítcích a detailech, přičemž dlaždice se aktualizují v reálném čase podobně jako konvenční interaktivní systémy pro satelitní snímky:

Přiblížení do vytvořeného prostředí založeného na kartografické mapě. Viz video na konci článku pro lepší rozlišení a více detailů o procesu. Zdroj: https://www.youtube.com/watch?v=PqFySVpkZzg

Dále, protože systém může generovat satelitní snímky ze všech vektorových map, mohl by teoreticky být použit pro stavbu historických, projektovaných nebo fiktivních světů, pro začlenění do simulátorů letů a virtuálních prostředí. Kromě toho předpokládají výzkumníci syntézu plně 3D virtuálních prostředí z kartografických dat pomocí transformátorů.

V kratším horizontu se domnívají autoři, že jejich rámec by mohl být použit pro řadu reálných aplikací, včetně interaktivního plánování měst a procedurálního modelování, přičemž si představují scénář, ve kterém mohou účastníci editovat mapu interaktivně a vidět pohledy z ptačí perspektivy projetované krajiny v rámci sekund.

Nová práce pochází od dvou výzkumníků z Univerzity v Leedsu a je nazvána Seamless Satellite-image Synthesis.

Architektura SSS rekonstruuje Londýn, s pohledem na podkladovou vektorovou strukturu, která krmí rekonstrukci. Vložené nahoře vlevo, celý obrázek, dostupný v doplňkových materiálech v rozlišení 8k.

Architektura a zdroj trénovacích dat

Nový systém využívá architekturu Pix2Pix z roku 2017 z UCL Berkeley a architekturu SPADE od NVIDIA. Rámec obsahuje dvě novinky – map2sat, která provádí převod z vektoru na pixelový obraz; a seam2cont, která nejenom počítá bezespasový způsob, jak spojit 256×256 pixelové dlaždice, ale také poskytuje interaktivní prostředí pro prohlížení.

Architektura SSS.

Systém se učí syntetizovat satelitní pohledy tím, že se učí na vektorových pohledech a jejich skutečných satelitních ekvivalentech, vytváří obecné pochopení o tom, jak interpretovat vektorové aspekty do fotorealistických interpretací.

Vektorové obrázky použité v datové sadě jsou rasterizovány z GeoPackage (.geo) souborů, které obsahují až 13 tříd štítků, jako je stopa, přírodní prostředí, budova a silnice, které se používají pro rozhodnutí o druhu obrazu, který se má vložit do satelitního pohledu.

Rasterizované.geo satelitní obrázky také uchovávají metadata místního referenčního systému souřadnic, která se používají pro interpretaci v širším mapovém rámci a pro umožnění uživateli interaktivně navigovat vytvořené mapy.

Bezespasové dlaždice pod tvrdými omezeními

Vytvoření prohlížitelného mapového prostředí je výzvou, protože hardwarová omezení projektu omezují dlaždice na velikost pouze 256 x 256 pixelů. Proto je důležité, aby buď renderovací nebo kompoziční proces bral v úvahu “větší obraz”, místo toho, aby se soustředil výhradně na dlaždici, což by vedlo k nevhodným kombinacím, když jsou dlaždice seskupeny, se silnicemi, které náhle mění barvu, a dalšími nerealistickými renderovacími artefakty.

Proto SSS používá hierarchii generátorových sítí pro generování variací obsahu v různých měřítcích a systém je schopen libovolně vyhodnotit dlaždice v jakémkoli mezilehlém měřítku, které divák potřebuje.

Část seam2cont architektury používá dvě překrývající se a nezávislé vrstvy výstupu map2sat a počítá vhodnou hranici v kontextu širšího obrazu, který má být reprezentován:

Modul Seam2Cont používá jeden obrázek se švů a jeden bez švů z map2sat sítě, aby vypočítal bezespasové hranice mezi 256×256 pixelovými generovanými dlaždicemi.

Síť map2sat je optimalizovaná adaptace plnohodnotné sítě SPADE, výhradně trénovaná na 256×256 pixelových obrázcích. Autoři poznamenávají, že se jedná o lehkou a pružnou implementaci, vedoucí k váze pouze 31,5 MB oproti 436,9 MB v plné síti SPADE.

3000 skutečných satelitních snímků bylo použito pro trénování dvou sub-sítí po 70 epochách trénovacího času; všechny obrázky obsahují ekvivalentní sémantické informace (tj. nízkouhlíkové pochopení zobrazených objektů, jako jsou “silnice”) a geo-založená metadata.

Další materiály jsou k dispozici na projektové stránce, stejně jako doprovodné video (vložené níže).