Oprettelse af satellitbilleder fra vektor-kort

Forskere i Storbritannien har udviklet et AI-baseret billedsynthesesystem, der kan konvertere vektorbaserede kort til satellitlignende billeder på få sekunder.

Den neurale arkitektur kaldes Seamless Satellite-image Synthesis (SSS), og tilbyder muligheden for realistiske virtuelle miljøer og navigationsløsninger, der har bedre opløsning end satellitbilleder kan tilbyde; er mere opdaterede (siden kartografiske kortsystemer kan opdateres i realtid); og kan faciliterer realistiske orbital-lignende visninger i områder, hvor satellitsensoropløsning er begrænset eller utilgængelig.

Opløsningsfrie vektordata kan oversættes til meget højere billedstørrelser end ofte er tilgængelige fra rigtige satellitbilleder, og kan hurtigt reflektere opdateringer i netværksbaserede kartografiske kort, såsom nye forhindringer eller ændringer i vejnetværksinfrastruktur. Kilde: https://arxiv.org/pdf/2111.03384.pdf

For at demonstrere systemets kraft har forskerne oprettet et interaktivt, Google Earth-lignende miljø, hvor brugeren kan zoome ind og observere de genererede satellitbilleder i forskellige render-skalaer og detaljer, med fliserne, der opdateres i realtid på samme måde som konventionelle interaktive systemer for satellitbilleder:

Zoome ind i det oprettede miljø, baseret på et kartografisk kort. Se videoen ved slutningen af artiklen for bedre opløsning og mere detaljer om processen. Kilde: https://www.youtube.com/watch?v=PqFySVpkZzg

Derudover kan systemet i teorien bruges til at oprette historiske, projekterede eller fiktive verdener til brug i flysimulatorer og virtuelle miljøer. Forskerne forventer også at syntetisere fuldt 3D-virtuelle miljøer fra kartografiske data ved hjælp af transformers.

På kort sigt mener forfatterne, at deres ramme kan bruges til en række virkelige anvendelser, herunder interaktiv byplanlægning og procedurmodellering, hvor interessenter kan redigere et kort interaktivt og se fugleperspektivsbilleder af det projekterede terræn inden for sekunder.

Den nye artikel kommer fra to forskere ved University of Leeds og har titlen Seamless Satellite-image Synthesis.

SSS-arkitekturen genskaber London, med et glimt ind i den underliggende vektorstruktur, der føder rekonstruktionen. Indsæt øverst til venstre, hele billedet, tilgængeligt i supplerende materialer i 8k-opløsning.

Arkitektur og kilde-træningsdata

Det nye system benytter UCL Berkeleys 2017 Pix2Pix og NVIDIAs SPADE billedsynthesearkitektur. Rammen indeholder to nyligt udviklede convolutionelle neurale netværk – map2sat, der udfører konverteringen fra vektor til pixelbaseret billedbehandling; og seam2cont, der ikke kun beregner en sammentømning af 256×256-fliser, men også tilbyder et interaktivt udforskningsmiljø.

SSS-arkitekturen.

Systemet lærer at syntetisere satellit-views ved at træne på vektor-views og deres reelle satellit-ækvivalenter, hvilket danner en generaliseret forståelse af, hvordan man kan fortolke vektor-facetter til foto-realistiske fortolkninger.

De vektorbaserede billeder, der bruges i datasset, er rasteriseret fra GeoPackage (.geo) filer, der indeholder op til 13 klasselabel, såsom spor, naturmiljø, bygning og vej, der bruges til at bestemme, hvilken type billedbehandling, der skal indsættes i satellit-views.

De rasteriserede.geo-satellitbilleder beholder også lokale koordinatreference-system-metadata, der bruges til at fortolke dem i kontekst i det bredere kort-ramme, og til at tillade brugeren at navigere interaktivt i de oprettede kort.

Sammentømning af fliser under hårde begrænsninger

At oprette udforsknelige kortmiljøer er en udfordring, da hardware-begrænsninger i projektet begrænser fliserne til en størrelse på kun 256 x 256 pixels. Derfor er det vigtigt, at enten renderings- eller kompositionprocessen tager den “større billed” i betragtning, i stedet for at koncentrere sig eksklusivt om flisen, hvilket ville føre til uharmoniske sammenstilling, når fliserne samles, med veje, der pludselig skifter farve, og andre ikke-realitetsbaserede billedarter.

Derfor bruger SSS en skala-hierarki af generator-netværk til at generere variation af indhold på forskellige skalaer, og systemet kan vilkårligt evaluere fliser på enhver mellemliggende skala, brugeren måtte have brug for.

Seam2cont-sektionen af arkitekturen bruger to overlappende og uafhængige lag af map2sat-udgangen og beregner en passende grænse i kontekst af det bredere billede, der skal repræsenteres:

Seam2Cont-modulen bruger ét billede med fliser og ét uden fliser fra map2sat-netværket til at beregne sammentømning af 256×256-pixel-genererede fliser.

Map2sat-netværket er en optimeret tilpasning af et fuldt udbygget SPADE-netværk, der udelukkende er trænet på 256×256 pixels. Forfatterne bemærker, at dette er en letvægts- og sprød implementering, der fører til vægte på kun 31,5 mb vs. 436,9 mb i et fuldt SPADE-netværk.

3000 rigtige satellitbilleder blev brugt til at træne de to under-netværk over 70 epochs træningstid; alle billeder indeholder ækvivalent semantisk information (dvs. en lavniveau-forståelse af afbildede objekter såsom “veje”), og geo-baseret positioneringsmetadata.

Yderligere materialer er tilgængelige på projektets side, samt en tilhørende video (indlejret nedenfor).