Lage satellittbilder fra vektorkart

Forskere i Storbritannia har utviklet et AI-basert bildesyntesesystem som kan konvertere vektorbaserte kart til bilder i satellittstil i farten.

Den nevrale arkitekturen kalles Sømløs satellittbildesyntese (SSS), og tilbyr utsikter til realistiske virtuelle miljøer og navigasjonsløsninger som har bedre oppløsning enn satellittbilder kan tilby; er mer oppdatert (siden kartografiske kartsystemer kan oppdateres live); og kan legge til rette for realistiske visninger i orbitalstil i områder der satellittsensoroppløsningen er begrenset eller på annen måte utilgjengelig.

Oppløsningsfri vektordata kan oversettes til mye høyere bildestørrelser enn det som ofte er tilgjengelig fra ekte satellittbilder, og kan raskt gjenspeile oppdateringer i nettverksbaserte kartografiske kart, for eksempel nye hindringer eller endringer i veinettets infrastruktur. Kilde: https://arxiv.org/pdf/2111.03384.pdf

For å demonstrere kraften til systemet har forskerne laget et interaktivt miljø i Google Earth-stil der seeren kan zoome inn og observere de genererte satellittbildene i en rekke gjengivelsesskalaer og detaljer, med flisene som oppdateres live på omtrent det samme måte som konvensjonelle interaktive systemer for satellittbilder:

Zoomer inn i det opprettede miljøet, basert på et kartografisk kart. Se video på slutten av artikkelen for bedre oppløsning og flere detaljer om prosessen. Kilde: https://www.youtube.com/watch?v=PqFySVpkZzg

Videre, siden systemet kan generere bilder i satellittstil fra et hvilket som helst vektorbasert kart, kan det i teorien brukes til å bygge historiske, projiserte eller fiktive verdener, for inkorporering i flysimulatorer og virtuelle miljøer. I tillegg forventer forskerne å syntetisere fullstendig 3D virtuelle miljøer fra kartografiske data ved hjelp av transformatorer.

På kortere sikt tror forfatterne at rammeverket deres kan brukes til en rekke virkelige applikasjoner, inkludert interaktiv byplanlegging og prosedyremodellering, og ser for seg et scenario der interessenter kan redigere et kart interaktivt og se bilder av fugleperspektiv. det projiserte terrenget i løpet av sekunder.

Den nye papir kommer fra to forskere ved University of Leeds, og har tittelen Sømløs satellittbildesyntese.

SSS-arkitekturen gjenskaper London, med et glimt inn i den underliggende vektorstrukturen som mater rekonstruksjonen. Innsatt øverst til venstre, hele bildet, tilgjengelig i tilleggsmateriale med 8k oppløsning.

Arkitektur og kildetreningsdata

Det nye systemet bruker UCL Berkeleys 2017 Pix2Pix og NVIDIAs SVERD bildesyntesearkitektur. Rammeverket inneholder to nye konvolusjonelle nevrale nettverk – map2sat, som utfører konverteringen fra vektor- til pikselbaserte bilder; og søm2 forts, som ikke bare beregner en sømløs metode for å samle sammen 256×256-flisene, men også gir et interaktivt utforskningsmiljø.

Arkitekturen til SSS.

Systemet lærer å syntetisere satellittvisninger ved å trene på vektorvisninger og deres virkelige satellittekvivalenter, og danner en generalisert forståelse av hvordan man tolker vektorfasetter til fotovirkelige tolkninger.

De vektorbaserte bildene som brukes i datasettet er rasterisert fra GeoPackage (.geo)-filer som inneholder opptil 13 klasseetiketter, som f.eks. spor, naturmiljø, bygning og vei, som brukes til å bestemme hva slags bilder som skal settes inn i satellittvisningen.

De rastrerte .geo-satellittbildene beholder også lokale koordinatreferansesystemmetadata, som brukes til å tolke dem inn i kontekst i det bredere kartrammeverket, og for å la brukeren navigere interaktivt i de opprettede kartene.

Sømløse fliser under harde begrensninger

Å lage utforskbare kartmiljøer er en utfordring, siden maskinvarebegrensninger i prosjektet begrenser fliser til en størrelse på bare 256 x 256 piksler. Derfor er det viktig at enten gjengivelsen eller komposisjonsprosessen tar det "større bildet" i betraktning, i stedet for å konsentrere seg utelukkende om flisen for hånden, noe som vil føre til skurrende sammenstillinger når flisene samles, med veier som plutselig endrer farge, og andre ikke -realistiske gjengivelsesartefakter.

Derfor bruker SSS et skala-rom-hierarki av generatornettverk for å generere variasjon av innhold i en rekke skalaer, og systemet er i stand til å vilkårlig evaluere fliser i en hvilken som helst mellomskala seeren måtte trenge.

Seam2cont-delen av arkitekturen bruker to overlappende og uavhengige lag av map2sat-utgangen, og beregner en passende kantlinje innenfor konteksten av det bredere bildet som skal representeres:

Seam2cont-modulen bruker ett bilde med flislagt søm og ett uten sømmer fra map2sat-nettverket, for å beregne sømløse grenser mellom de 256×256 piksler genererte flisene.

Map2sat-nettverket er en optimalisert tilpasning av et fullverdig SPADE-nettverk, eksklusivt trent til 256×256 piksler. Forfatterne bemerker at dette er en lett og spentig implementering, som fører til vekter på bare 31.5 mb vs. 436.9 mb i et fullt SPADE-nettverk.

3000 ekte satellittbilder ble brukt til å trene de to undernettverkene over 70 epoker med treningstid; alle bilder inneholder tilsvarende semantisk informasjon (dvs. en konseptuell forståelse på lavt nivå av avbildede objekter som "veier") og geobaserte posisjoneringsmetadata.

Ytterligere materiell er tilgjengelig på prosjektsiden, samt en tilhørende video (innebygd nedenfor).