Vytváření satelitních snímků z vektorových map

Vědci ve Spojeném království vyvinuli systém syntézy obrazu založený na umělé inteligenci, který dokáže za běhu převádět vektorové mapy na snímky satelitního stylu.

Neuronová architektura se nazývá Bezproblémová syntéza satelitního obrazu (SSS) a nabízí vyhlídky na realistická virtuální prostředí a navigační řešení, která mají lepší rozlišení, než může nabídnout satelitní snímky; jsou aktuálnější (protože kartografické mapové systémy lze aktualizovat v reálném čase); a může usnadnit realistické orbitální zobrazení v oblastech, kde je rozlišení satelitního senzoru omezené nebo jinak nedostupné.

Vektorová data bez rozlišení lze převést do mnohem větších velikostí snímků, než jsou často dostupné ze skutečných satelitních snímků, a mohou rychle odrážet aktualizace v síťových kartografických mapách, jako jsou nové překážky nebo změny v infrastruktuře silniční sítě. Zdroj: https://arxiv.org/pdf/2111.03384.pdf

Aby vědci demonstrovali sílu systému, vytvořili interaktivní prostředí ve stylu Google Earth, kde si divák může přibližovat a pozorovat vygenerované satelitní snímky v různých měřítkách vykreslování a detailech, přičemž dlaždice se aktualizují naživo v téměř stejném způsobem jako konvenční interaktivní systémy pro satelitní snímky:

Přiblížení do vytvořeného prostředí na základě kartografické mapy. Podívejte se na video na konci článku pro lepší rozlišení a další podrobnosti o procesu. Zdroj: https://www.youtube.com/watch?v=PqFySVpkZzg

Kromě toho, protože systém může generovat snímky satelitního stylu z jakékoli vektorové mapy, mohl by být teoreticky použit k vytváření historických, projektovaných nebo fiktivních světů pro začlenění do leteckých simulátorů a virtuálních prostředí. Kromě toho vědci předpokládají, že budou z kartografických dat pomocí transformátorů syntetizována plně 3D virtuální prostředí.

V blízké budoucnosti se autoři domnívají, že jejich rámec by mohl být použit pro řadu aplikací v reálném světě, včetně interaktivního plánování měst a procedurálního modelování, počítá se scénářem, kde mohou zúčastněné strany interaktivně upravovat mapu a prohlížet snímky z ptačí perspektivy. projektovaný terén během několika sekund.

Nový papír pochází od dvou výzkumníků z University of Leeds a nese název Bezproblémová syntéza satelitního obrazu.

Architektura SSS znovu vytváří Londýn s pohledem do základní vektorové struktury, která rekonstrukci napájí. Vložka vlevo nahoře, celý obrázek, dostupný v doplňkových materiálech v rozlišení 8k.

Školení o architektuře a zdrojích

Nový systém využívá UCL Berkeley 2017 Pix2Pix a NVIDIA SWORDS architektura syntézy obrazu. Rámec obsahuje dvě nové konvoluční neuronové sítě – mapa2sat, který provádí převod z vektorových na obrázky založené na pixelech; a šev2cont, který nejen vypočítá bezproblémovou metodu shromažďování dlaždic 256×256, ale také poskytuje interaktivní prostředí pro průzkum.

Architektura SSS.

Systém se učí syntetizovat satelitní pohledy trénováním na vektorových pohledech a jejich skutečných ekvivalentech satelitů, čímž si vytváří obecné chápání toho, jak interpretovat vektorové aspekty do fotoreálných interpretací.

Vektorové obrázky použité v datové sadě jsou rastrovány ze souborů GeoPackage (.geo), které obsahují až 13 štítků tříd, jako např. dráha, přírodní prostředí, Budova si silnice, které se využívají při rozhodování o tom, jaký druh snímků vložit do satelitního zobrazení.

Rastrované satelitní snímky .geo si také uchovávají metadata místního referenčního souřadnicového systému, která se používají k jejich interpretaci do kontextu v širším mapovém rámci a umožňují uživateli interaktivní navigaci ve vytvořených mapách.

Bezešvé dlaždice pod tvrdými omezeními

Vytváření prozkoumatelných mapových prostředí je výzvou, protože hardwarová omezení v projektu omezují dlaždice na velikost pouze 256 x 256 pixelů. Proto je důležité, aby proces vykreslování nebo kompozice vzal v úvahu „větší obrázek“ místo toho, aby se soustředil výhradně na dlaždici po ruce, což by vedlo k otřesným juxtapozicím, když jsou dlaždice poskládány, silnice náhle mění barvu a jiné ne -realistické artefakty vykreslování.

SSS proto používá hierarchii měřítko-prostor sítí generátorů pro generování variace obsahu v různých měřítcích a systém je schopen libovolně vyhodnocovat dlaždice v jakémkoli mezilehlém měřítku, které divák může potřebovat.

Sekce seam2cont architektury používá dvě překrývající se a nezávislé vrstvy výstupu map2sat a vypočítává vhodnou hranici v kontextu širšího obrazu, který má být reprezentován:

Modul seam2cont používá jeden obrázek s dlaždicovým švem a jeden bez švů ze sítě map2sat, aby vypočítal bezproblémové hranice mezi dlaždicemi generovanými o velikosti 256 × 256 pixelů.

Síť map2sat je optimalizovaná adaptace plnohodnotné sítě SPADE, výhradně trénovaná na 256×256 pixelů. Autoři poznamenávají, že se jedná o lehkou a rychlou implementaci, která vede k hmotnosti pouze 31.5 MB oproti 436.9 MB v plné síti SPADE.

3000 skutečných satelitních snímků bylo použito k trénování dvou podsítí během 70 epoch tréninkového času; všechny obrázky obsahují ekvivalentní sémantické informace (tj. nízkoúrovňové koncepční chápání zobrazených objektů, jako jsou „silnice“) a metadata o poloze založená na geografickém umístění.

Další materiály jsou k dispozici na stránce projektu a také doprovodné video (vložené níže).