Luomalla Satelliittikuvia Vektorigrafiikasta

Tutkijat Iso-Britanniassa ovat kehittäneet tekoälypohjaisen kuvasynteesijärjestelmän, joka voi muuttaa vektorigrafiikkaa satelliittikuvaksi lennossa.

Neuraalinen arkkitehtuuri kutsutaan Seamless Satellite-image Synthesis (SSS):ksi, ja tarjoaa mahdollisuuden realistisiin virtuaaliympäristöihin ja navigointiratkaisuihin, joilla on parempi resoluutio kuin satelliittikuvissa; ovat ajantasaisempia (koska kartografiset karttajärjestelmät voidaan päivittää suorana); ja voivat tarjota realistisen kiertoratatyylisen näkymän alueilla, joilla satelliittianturin resoluutio on rajoitettu tai muuten ei ole saatavilla.

Resoluutio-vapaa vektorigrafiikka voidaan kääntää paljon suuremmaksi kuin usein saatavilla olevat satelliittikuvat, ja ne voivat nopeasti heijastaa verkkopohjaisen kartografisen kartan päivityksiä, kuten uusia esteitä tai muutoksia tiieverkon infrastruktuurissa. Source: https://arxiv.org/pdf/2111.03384.pdf

Järjestelmän voiman osoittamiseksi tutkijat ovat luoneet interaktiivisen, Google Earth -tyylisen ympäristön, jossa katselija voi zoomata ja tarkastella luotuja satelliittikuvia eri renderöintiresoluutioilla ja yksityiskohdilla, ja tiilet päivittyvät suorana samalla tavalla kuin perinteiset interaktiiviset järjestelmät satelliittikuvissa:

Zoomataan luotuun ympäristöön, joka perustuu kartografiseen karttaan. Katso video artikkelin lopusta paremman resoluution ja yksityiskohtaisemman prosessin vuoksi. Source: https://www.youtube.com/watch?v=PqFySVpkZzg

Lisäksi, koska järjestelmä voi luoda satelliittityylisiä kuvia minkä tahansa vektorigrafiikkaan perustuvasta kartasta, se voisi teoriassa käyttää historiallisten, projisoitujen tai kuvitteellisten maailmojen luomiseen, joita voidaan käyttää lentosimulaattoreissa ja virtuaaliympäristöissä. Tutkijat odottavat myös, että he voivat syntetisoida täysin 3D-virtuaaliympäristön kartografisista tiedoista käyttäen transformatoreja.

Lähiaikoina kirjoittajat uskovat, että heidän kehysrakenteensa voidaan käyttää useissa käytännön sovelluksissa, kuten interaktiivisessa kaupunkisuunnittelussa ja proseduraalisessa mallinnuksessa, jossa sidosryhmät voivat muokata karttaa interaktiivisesti ja nähdä linnun näkökulmasta kuvan suunnitellusta maastosta sekunneissa.

Uusi artikkeli on kahdelta tutkijalta Leedsin yliopistosta, ja sen otsikko on Seamless Satellite-image Synthesis.

SSS-arkkitehtuuri luo Lontoon, ja antaa vilkaisun taustalla olevaan vektorigrafiikkaan, joka ruokkii rekonstruktioita. Ylävasemmalla, koko kuva, saatavilla liitteissä 8k-resoluutiolla.

Arkkitehtuuri ja lähdeaineisto

Uusi järjestelmä hyödyntää UCL Berkeleyn vuoden 2017 Pix2Pix ja NVIDIAN SPADE kuvasynteesiarkkitehtuuria. Kehys sisältää kaksi uutta konvoluutioneuraaliverkkoa – map2sat, joka suorittaa vektorigrafiikasta pikselipohjaiseen kuvaan muunnoksen; ja seam2cont, joka ei ainoastaan laska täsmällisen menetelmän kerätäksesi 256×256 pikselin tiilet, vaan myös tarjoaa interaktiivisen tutkimisympäristön.

SSS-arkkitehtuuri.

Järjestelmä oppii syntetisoimaan satelliittikuvia kouluttamalla vektorigrafiikkaa ja niiden vastaavia satelliittikuvia, muodostaen yleistetyn ymmärryksen siitä, miten tulkita vektorigrafiikkaa valokuvamaiseen tulkintaan.

Vektorigrafiikkaa, jota käytetään aineistossa, on rasteroitu GeoPackage (.geo) -tiedostoista, jotka sisältävät jopa 13 luokan merkintöjä, kuten raide, luonnonympäristö, rakennus ja tie, jotka ovat käytössä päättämään, minkälaista kuvaa satelliittikuvassa käytetään.

Rasteroidut .geo satelliittikuvat säilyttävät myös paikallisen koordinaattiviitekehyksen metatiedot, jotka käytetään niiden tulkintaan laajemmassa karttkehyksessä ja sallivat käyttäjän interaktiivisesti navigoida luoduissa kartoissa.

Tiivis Tiilet Kovan Rajoituksen Alaisena

Luojaan selailtavat karttaympäristöt on haaste, koska laitteiston rajoitukset hankkeessa rajoittavat tiilien koko 256 x 256 pikseliin. On siis tärkeää, että joko renderöinti- tai kokoonpanoprosessi ottaa “isomman kuvan” huomioon, sen sijaan että keskittyisi ainoastaan tiileen, mikä johtaisi äkkiäiseen vastakkainasetteluun, kun tiilet koostetaan, ja tiet muuttuvat äkkiä väriltään, ja muut epärealistiset renderöinti-ilmiöt.

Siispä SSS käyttää skaalavirhettä generoivien verkkojen hierarkiaa luomaan sisällön eri skaaloissa, ja järjestelmä pystyy arvioimaan tiilet mielivaltaisessa skaalassa, jonka katselija tarvitsee.

Seam2cont -osio arkkitehtuurissa käyttää kahta päällekkäistä ja riippumatonta kerrosta map2sat -tulostetta, ja laskee sopivan reunan laajemman kuvan kontekstissa:

Seam2Cont-moduuli käyttää yhtä kuvaa, jossa on tiiliseinä, ja toista ilman tiiliä map2sat -verkosta, jotta voidaan laskea tiivis reunat 256×256 pikselin tiilien välillä.

Map2sat -verkko on optimoitu sovellus täydellisestä SPADE -verkosta, joka on koulutettu ainoastaan 256×256 pikselin kokoisilla kuvilla. Kirjoittajat toteavat, että tämä on kevyt ja nopea toteutus, joka johtaa 31,5 Mt:n painoihin verrattuna 436,9 Mt:n täyden SPADE -verkon painoihin.

3000 todellista satelliittikuvaa käytettiin kouluttamaan kahta aliverkkoa 70 koulutuskauden ajan; kaikki kuvat sisältävät vastaavan semanttisen tiedon (ts. matalan tason käsitteellisen ymmärryksen kuvaamista objekteista, kuten “tiet”) ja geo-pohjaiset sijaintitiedot.

Lisämateriaalia on saatavilla hankkeen sivulla, sekä liittyvä video (upotettu alla).

https://www.youtube.com/watch?v=PqFySVpkZzg