Opprettelse av satellittbilder fra vektor-kart

Forskere i Storbritannia har utviklet et AI-basert bilde-syntese-system som kan konvertere vektor-baserte kart til satellitt-stil bilder på fly.

Den nevrale arkitekturen kalles Seamless Satellite-image Synthesis (SSS), og tilbyr utsikten til realistiske virtuelle miljøer og navigasjonsløsninger som har bedre oppløsning enn satellitt-bilder kan tilby; er mer oppdatert (siden kartografiske kart-systemer kan oppdateres på en live-basis); og kan fasilitere realistiske orbital-stil-utsikter i områder hvor satellitt-sensor-oppløsning er begrenset eller ellers utilgjengelig.

Oppløsningsfrie vektor-data kan oversettes til mye høyere bilde-størrelser enn som ofte er tilgjengelig fra ekte satellitt-bilder, og kan raskt reflektere oppdateringer i nettbaserte kartografiske kart, som nye hindringer eller endringer i vei-nett-infrastruktur. Kilde: https://arxiv.org/pdf/2111.03384.pdf

For å demonstrere kraften i systemet, har forskerne skapt en interaktiv, Google Earth-stil-miljø hvor brukeren kan zoome inn og observere de genererte satellitt-bildene i ulike render-skalaer og detalj, med tilene som oppdateres live på samme måte som konvensjonelle interaktive systemer for satellitt-bilder:

Zoome inn i den skapte miljøet, basert på et kartografisk kart. Se videoen på slutten av artikkelen for bedre oppløsning og mer detalj om prosessen. Kilde: https://www.youtube.com/watch?v=PqFySVpkZzg

VIDERE, siden systemet kan generere satellitt-stil-bilder fra noen vektor-baserte kart, kunne det i teorien brukes til å bygge historiske, projekterte eller fiktive verdener, for inkorporering i flysimuleringer og virtuelle miljøer. I tillegg forventer forskerne å syntetisere fullstendig 3D-virtuelle miljøer fra kartografiske data ved hjelp av transformers.

På kort sikt tror forfatterne at deres rammeverk kunne brukes til en rekke virkelige anvendelser, inkludert interaktiv byplanlegging og prosedyrisk modellering, og forestiller seg en scenario hvor interessenter kan redigere et kart interaktivt og se fugle-øye-utsikt-bilder av den projekterte terrenget innen sekunder.

Den nye artikkelen kommer fra to forskere ved University of Leeds, og har tittelen Seamless Satellite-image Synthesis.

SSS-arkitekturen rekonstruerer London, med et glimt inn i den underliggende vektor-strukturen som matet gjenoppbyggingen. Innsatt øverst til venstre, hele bildet, tilgjengelig i supplementære materialer i 8k-oppløsning.

Arkitektur og kilde-trening-data

Det nye systemet bruker UCL Berkeleys 2017 Pix2Pix og NVIDIAs SPADE bilde-syntese-arkitektur. Rammeverket inneholder to nye konvolusjons-nevralt nettverk – map2sat, som utfører konverteringen fra vektor til piksel-basert bilde; og seam2cont, som ikke bare beregner en sammenhengende metode for å samle sammen 256×256-tile, men også tilbyr en interaktiv utforsknings-miljø.

Arkitekturen til SSS.

Systemet lærer å syntetisere satellitt-utsikter ved å trene på vektor-utsikter og deres virkelige satellitt-ekvivalenter, og danner en generalisert forståelse av hvordan man skal tolke vektor-facetter til foto-realistiske tolkninger.

De vektor-baserte bildene som brukes i datasettet er rasterisert fra GeoPackage (.geo) filer som inneholder opptil 13 klasselabel, som spor, naturmiljø, bygning og vei, som brukes til å bestemme hvilken type bilde som skal legges til i satellitt-utsikten.

De rasteriserte.geo-satellitt-bildene beholder også lokale koordinat-referanse-system-metadata, som brukes til å tolke dem i sammenheng med det bredere kart-rammeverket, og å tillate brukeren å interaktivt navigere de skapte kartene.

Sammenhengende fliser under harde begrensninger

Å skape utforskbare kart-miljøer er en utfordring, siden maskinvare-begrensninger i prosjektet begrenser flisene til en størrelse på bare 256 x 256 piksler. Derfor er det viktig at enten renderings- eller komposisjons-prosessen tar den “større bildet” i betraktning, i stedet for å konsentrere seg eksklusivt om flisen for hånden, noe som ville føre til urovekkende sammenstillinger når flisene samles, med veier som plutselig endrer farge, og andre urealistiske renderings-arter.

Derfor bruker SSS en skala-rom-hierarki av generator-nettverk for å generere variasjoner av innhold på ulike skalaer, og systemet kan vilkårlig evaluere fliser på enhver mellomliggende skala som brukeren måtte trenge.

Seam2cont-delen av arkitekturen bruker to overlappende og uavhengige lag av map2sat-utgangen, og beregner en passende grense innenfor sammenhengen av det bredere bildet som skal representeres:

Seam2Cont-modulen bruker ett bilde med flis-grense og ett uten grenser fra map2sat-nettverket, for å beregne sammenhengende grenser mellom de 256×256-piksel genererte flisene.

Map2sat-nettverket er en optimert tilpasning av et fullstendig SPADE-nettverk, eksklusivt trent på 256×256-piksel. Forfatterne bemerker at dette er en lett og spry implementering, som fører til vekter på bare 31,5mb mot 436,9mb i et fullt SPADE-nettverk.

3000 ekte satellitt-bilder ble brukt til å trene de to under-nettverkene over 70 epoker med trenings-tid; alle bildene inneholder ekvivalent semantisk informasjon (dvs. en lav-nivå konseptuell forståelse av avbildede objekter som “veier”), og geo-basert posisjons-metadata.

Flere materialer er tilgjengelige på prosjekt-siden, samt en tilhørende video (innlemmet nedenfor).