Skapande av satellitbilder från vektorkartor

Forskare i Storbritannien har utvecklat ett AI-baserat bildsynthesissystem som kan konvertera vektorbaserade kartor till satellitliknande bilder i realtid.

Den neurale arkitekturen kallas Seamless Satellite-image Synthesis (SSS), och erbjuder utsikter till realistiska virtuella miljöer och navigationslösningar som har bättre upplösning än satellitbilder kan erbjuda; är mer uppdaterade (eftersom kartografiska kartsystem kan uppdateras i realtid); och kan underlätta realistiska orbitala vyer i områden där satellitsensorns upplösning är begränsad eller inte tillgänglig.

Upplösningsfria vektordata kan översättas till mycket större bildstorlekar än vad som ofta är tillgängligt från riktiga satellitbilder, och kan snabbt återspegla uppdateringar i nätverksbaserade kartografiska kartor, såsom nya hinder eller förändringar i vägnätets infrastruktur. Källa: https://arxiv.org/pdf/2111.03384.pdf

För att demonstrera systemets kraft har forskarna skapat en interaktiv, Google Earth-liknande miljö där användaren kan zooma in och observera de genererade satellitbilderna i olika renderingskalor och detaljer, med kakorna som uppdateras i realtid på samma sätt som konventionella interaktiva system för satellitbilder:

Zoomar in i den skapade miljön, baserad på en kartografisk karta. Se video i slutet av artikeln för bättre upplösning och mer information om processen. Källa: https://www.youtube.com/watch?v=PqFySVpkZzg

Dessutom, eftersom systemet kan generera satellitliknande bilder från vilken vektorbaserad karta som helst, kan det i teorin användas för att bygga historiska, projicerade eller fiktiva världar, för införlivande i flygsimulatorer och virtuella miljöer. Dessutom förutser forskarna att de kan syntetisera fullständigt 3D-virtuella miljöer från kartografiska data med hjälp av transformer.

På kort sikt tror författarna att deras ramverk kan användas för ett antal verkliga tillämpningar, inklusive interaktiv stadsplanering och procedurellt modellering, och föreställer sig en scenario där intressenter kan redigera en karta interaktivt och se fågelperspektiv av den projicerade terrängen inom några sekunder.

Den nya artikeln kommer från två forskare vid University of Leeds, och har titeln Seamless Satellite-image Synthesis.

SSS-arkitekturen återskapar London, med en glimt av den underliggande vektorkonstruktionen som matar ombyggnaden. I övre vänstra hörnet, hela bilden, tillgänglig i supplementär material i 8k-upplösning.

Arkitektur och källträningsdata

Det nya systemet använder UCL Berkeleys 2017 Pix2Pix och NVIDIAs SPADE bildsynthesarkitektur. Ramverket innehåller två nya konvolutionsneuronnät – map2sat, som utför omvandlingen från vektor till pixelbaserad bild; och seam2cont, som inte bara beräknar en sömlös metod för att samla ihop 256×256-kakorna, utan också tillhandahåller en interaktiv utforskningsmiljö.

SSS-arkitekturen.

Systemet lär sig att syntetisera satellitvyer genom att träna på vektordata och deras verkliga satellitekvivalenter, och bildar en allmän förståelse för hur man tolkar vektoregenskaper till fotorealistiska tolkningar.

De vektorbaserade bilderna som används i datamängden är rasteriserade från GeoPackage (.geo)-filer som innehåller upp till 13 klassetiketter, såsom spår, naturmiljö, byggnad och väg, som används för att bestämma vilken typ av bild som ska införas i satellitvyn.

De rasteriserade.geo-satellitbilderna behåller också lokala koordinatsystemmetadata, som används för att tolka dem i sammanhanget med den bredare kartramen, och för att tillåta användaren att interaktivt navigera i de skapade kartorna.

Sömlösa kakor under hårda begränsningar

Att skapa utforskbara kartmiljöer är en utmaning, eftersom hårdvarubegränsningar i projektet begränsar kakorna till en storlek på endast 256 x 256 pixlar. Därför är det viktigt att antingen renderings- eller sammansättningsprocessen tar hänsyn till den “större bilden”, snarare än att fokusera exklusivt på kakan i fråga, vilket skulle leda till stötande kontraster när kakorna sätts samman, med vägar som plötsligt ändrar färg, och andra orealistiska renderingsartefakter.

Därför använder SSS en skala-hierarki av generatornätverk för att generera variationer av innehåll i olika skalor, och systemet kan godtyckligt utvärdera kakor i vilken mellanliggande skala som användaren kan behöva.

Seam2cont-delen av arkitekturen använder två överlappande och oberoende lager av map2sat-utdata, och beräknar en lämplig gräns inom ramen för den bredare bilden som ska representeras:

Seam2Cont-modulen använder en bild med kakor och en utan kakor från map2sat-nätverket, för att beräkna sömlösa gränser mellan de 256×256-pixel genererade kakorna.

Map2sat-nätverket är en optimerad anpassning av ett fullständigt SPADE-nätverk, exklusivt tränat på 256×256 pixlar. Författarna noterar att detta är en lätt och smidig implementering, vilket leder till vikter på endast 31,5 MB jämfört med 436,9 MB i ett fullständigt SPADE-nätverk.

3000 riktiga satellitbilder användes för att träna de två undernätverken under 70 epoker av tränningstid; alla bilder innehåller ekvivalent semantisk information (dvs. en lågnivå konceptuell förståelse för avbildade föremål som “vägar”), och geobaserad positionsmetadata.

Ytterligare material finns tillgängligt på projektets sida, samt en tillhörande video (inbäddad nedan).