Satelliittikuvien luominen vektorigrafiikasta

Tutkijat Iso-Britanniassa ovat kehittäneet tekoälypohjaisen kuvasynteesijärjestelmän, joka voi muuttaa vektorigrafiikkaa satelliittikuviksi lennossa.

Neuraalinen arkkitehtuuri on nimeltään Tiivis satelliittikuvien synteesi (SSS), ja se tarjoaa mahdollisuuden realistisiin virtuaalisiin ympäristöihin ja navigointiratkaisuihin, joilla on parempi resoluutio kuin satelliittikuvissa; ovat ajantasaisempia (koska kartografiset karttajärjestelmät voidaan päivittää suorassa lähetyksessä); ja voivat mahdollistaa realistiset kiertoradankaltaiset näkymät alueilla, joilla satelliittianturin resoluutio on rajoitettu tai muuten ei käytettävissä.

Resoluutiovapaa vektorigrafiikka voidaan kääntää paljon suuremmaksi kuin usein saatavilla olevat satelliittikuvat, ja se voi nopeasti heijastaa muutoksia verkkopohjaisissa karttajärjestelmissä, kuten uudet esteet tai muutokset tiieverkkojen infrastruktuurissa. Lähde: https://arxiv.org/pdf/2111.03384.pdf

Järjestelmän voiman osoittamiseksi tutkijat ovat luoneet interaktiivisen, Google Earth -tyylisen ympäristön, jossa katsoja voi zoomata ja tarkastella luotuja satelliittikuvia eri renderöintiresoluutioilla ja yksityiskohdilla, ja tiilet päivittyvät suorassa lähetyksessä samalla tavalla kuin perinteiset interaktiiviset järjestelmät satelliittikuvien kanssa:

Zoomataan luotuun ympäristöön, joka perustuu kartografiseen karttaan. Katso video artikkelin lopussa paremman resoluution ja yksityiskohtaisemman prosessin selityksen vuoksi. Lähde: https://www.youtube.com/watch?v=PqFySVpkZzg

Lisäksi, koska järjestelmä voi luoda satelliittikuvia vektorigrafiikasta, se voidaan teoriassa käyttää historiallisten, ennustettujen tai kuvitteellisten maailmojen luomiseen, joita voidaan käyttää lentosimulaattoreissa ja virtuaalisiin ympäristöihin. Tutkijat odottavat myös, että he voivat syntetisoida täysin 3D-virtuaalisiin ympäristöihin kartografisista tiedoista käyttäen transformer-teknologiaa.

Lähiaikoina tutkijat uskovat, että heidän kehittämänsä viitekehyksellä voidaan käyttää useissa käytännön sovelluksissa, kuten interaktiivisessa kaupunkisuunnittelussa ja proseduraalisessa mallinnuksessa, ja he kuvittelevat tilanteen, jossa sidosryhmät voivat muokata karttaa interaktiivisesti ja nähdä linnunsilmin näkymän ennustetusta maastosta sekunneissa.

Uusi artikkeli on kahdelta tutkijalta Leedsin yliopistosta, ja sen otsikko on Tiivis satelliittikuvien synteesi.

SSS-arkkitehtuuri luo Lontoon, ja siinä on vilkaisu taustalla olevaan vektorigrafiikkaan, joka ruokkii rekonstruktioita. Ylävasemmalla, koko kuva, joka on saatavilla liitteissä 8k-resoluutiolla.

Arkkitehtuuri ja koulutusaineisto

Uusi järjestelmä käyttää UCL Berkeley:n 2017 Pix2Pix ja NVIDIA:n SPADE kuvasynteesiarkkitehtuuri. Viitekehyksessä on kaksi uutta konvoluutioneuraalista verkkoa – map2sat, joka suorittaa muunnoksen vektorigrafiikasta pikselipohjaiseen kuvatiedostoon; ja seam2cont, joka ei ainoastaan laska tiivisen menetelmän kerätä 256×256 pikselin tiilet, vaan myös tarjoaa interaktiivisen tutkimisympäristön.

SSS-arkkitehtuuri.

Järjestelmä oppii syntetisoimaan satelliittikuvia kouluttaessaan vektorigrafiikkaa ja niiden vastaavia satelliittikuvia, muodostaen yleistetyn ymmärryksen siitä, miten vektorigrafiikka voidaan tulkita valokuvamaisiin tulkintoihin.

Vektorigrafiikkaa, jota käytetään aineistossa, on rasteroitu GeoPackage (.geo) tiedostoista, jotka sisältävät jopa 13 luokan tunnisteita, kuten rata, luonnonympäristö, rakennus ja tie, jotka ovat hyödyllisiä päättämään, minkälaisia kuvia satelliittikuvat sisältävät.

Rasteroidut.geo satelliittikuvat säilyttävät myös paikallisen koordinaattiviitekehyksen metatiedot, jotka käytetään tulkkaamaan niitä laajemmassa karttkehyksessä ja sallivat käyttäjän interaktiivisesti navigoida luotuja karttoja.

Tiivis tiilet rajoitettujen ehtojen alla

Luojaan kartan tutkimisympäristö on haaste, koska laitteiston rajoitukset hankkeessa rajoittavat tiilien koko 256 x 256 pikseliin. Siksi on tärkeää, että joko renderöinti- tai koostamisprosessi ottaa “isomman kuvan” huomioon, eikä keskity yksinomaan tiileen, mikä johtaisi jyrkkään yhdistämiseen, kun tiilet yhdistetään, ja tiet voivat äkkiä muuttaa väriä, ja muut epärealistiset renderöintihäiriöt.

Siksi SSS käyttää skaalauksen hierarkiaa generoivista verkkoja luomaan sisällön vaihtelua eri skaaloissa, ja järjestelmä pystyy arvioimaan tiilet minkä tahansa keskivaiheisen skaalan, jonka katsoja tarvitsee.

Seam2cont-osa arkkitehtuurista käyttää kahta päällekkäistä ja riippumatonta kerrosta map2sat-tulostetta, ja laskee sopivan reunan laajemman kuvan yhteydessä, jota edustetaan:

Seam2Cont-moduuli käyttää yhtä kuvaa, jossa on tiiliseinä, ja yhtä kuvaa ilman tiiliä map2sat-verkosta, jotta voidaan laskea tiivis reunat 256×256 pikselin generoituille tiilille.

Map2sat-verkko on optimoitu sovellus täydellisestä SPADE-verkosta, joka on koulutettu yksinomaan 256×256 pikselin kokoisilla kuvilla. Tutkijat toteavat, että se on kevyt ja nopea toteutus, joka johtaa 31,5 Mt:n painoihin verrattuna 436,9 Mt:n täydelliseen SPADE-verkkoon.

3000 todellista satelliittikuvaa käytettiin kouluttamaan kahta aliverkkoa 70 koulutuskauden aikana; kaikki kuvat sisältävät vastaavan semanttisen tiedon (ts. alhaisen tason käsitteellisen ymmärryksen kuvaamista kohteista, kuten “tiet”), ja geo-pohjaiset sijaintitiedot.

Lisämateriaalia on saatavilla projektisivulla sekä liitteenä olevassa videossa (upotettu alla).