Oprettelse af satellitbilleder fra vektorkort

Forskere i Storbritannien har udviklet et AI-baseret billedsyntesesystem, der kan konvertere vektorbaserede kort til satellitbilleder i farten.

Den neurale arkitektur kaldes Sømløs syntese af satellitbilleder (SSS), og giver mulighed for realistiske virtuelle miljøer og navigationsløsninger, der har bedre opløsning end satellitbilleder kan tilbyde; er mere opdateret (da kartografiske kortsystemer kan opdateres live); og kan lette realistiske orbitale visninger i områder, hvor satellitsensoropløsning er begrænset eller på anden måde utilgængelig.

Opløsningsfri vektordata kan oversættes til meget højere billedstørrelser, end der ofte er tilgængelige fra rigtige satellitbilleder, og kan hurtigt afspejle opdateringer i netværksbaserede kartografiske kort, såsom nye forhindringer eller ændringer i vejnets infrastruktur. Kilde: https://arxiv.org/pdf/2111.03384.pdf

For at demonstrere systemets kraft har forskerne skabt et interaktivt miljø i Google Earth-stil, hvor seeren kan zoome ind og observere de genererede satellitbilleder i en række forskellige gengivelsesskalaer og detaljer, hvor fliserne opdateres live i stort set det samme. måde som konventionelle interaktive systemer til satellitbilleder:

Zoom ind i det skabte miljø, baseret på et kartografisk kort. Se video i slutningen af ​​artiklen for bedre opløsning og flere detaljer om processen. Kilde: https://www.youtube.com/watch?v=PqFySVpkZzg

Da systemet desuden kan generere satellitbilleder fra ethvert vektorbaseret kort, kunne det i teorien bruges til at bygge historiske, projicerede eller fiktive verdener til inkorporering i flysimulatorer og virtuelle miljøer. Derudover forventer forskerne at syntetisere fuldt 3D virtuelle miljøer fra kartografiske data ved hjælp af transformere.

På kortere sigt mener forfatterne, at deres rammer kan bruges til en række applikationer i den virkelige verden, herunder interaktiv byplanlægning og proceduremæssig modellering, og forestiller sig et scenarie, hvor interessenter kan redigere et kort interaktivt og se billeder i fugleperspektiv af det projekterede terræn inden for få sekunder.

Den nye papir kommer fra to forskere ved University of Leeds, og har titlen Sømløs syntese af satellitbilleder.

SSS-arkitekturen genskaber London med et kig ind i den underliggende vektorstruktur, der føder genopbygningen. Indsat øverst til venstre, hele billedet, tilgængeligt i supplerende materialer med 8k opløsning.

Arkitektur og kildetræningsdata

Det nye system gør brug af UCL Berkeleys 2017 Pix2Pix og NVIDIA'er SWORDS billedsyntese arkitektur. Rammen indeholder to nye foldende neurale netværk – map2sat, som udfører konverteringen fra vektor- til pixelbaserede billeder; og søm2 forts, som ikke kun beregner en sømløs metode til at samle 256×256 fliserne, men også giver et interaktivt udforskningsmiljø.

Arkitekturen af ​​SSS.

Systemet lærer at syntetisere satellitbilleder ved at træne vektorvisninger og deres virkelige satellitækvivalenter, hvilket danner en generaliseret forståelse af, hvordan man fortolker vektorfacetter til fotovirkelige fortolkninger.

De vektorbaserede billeder, der bruges i datasættet, er rasteriseret fra GeoPackage (.geo) filer, som indeholder op til 13 klasseetiketter, som f.eks. spor, naturlige miljø, bygning , vej, som udnyttes til at beslutte, hvilken slags billeder der skal sættes i satellitvisningen.

De rasteriserede .geo-satellitbilleder beholder også lokale Coordinate Reference System-metadata, som bruges til at fortolke dem i kontekst i den bredere kortramme og til at give brugeren mulighed for interaktivt at navigere i de oprettede kort.

Sømløse fliser under hårde begrænsninger

At skabe udforskbare kortmiljøer er en udfordring, da hardwarebegrænsninger i projektet begrænser fliser til en størrelse på kun 256 x 256 pixels. Derfor er det vigtigt, at enten gengivelses- eller kompositionsprocessen tager det "store billede" i betragtning, i stedet for udelukkende at koncentrere sig om flisen ved hånden, hvilket ville føre til skurrende sidestillinger, når fliserne samles, med veje, der pludselig skifter farve, og andre ikke -realistiske gengivelsesartefakter.

Derfor bruger SSS et skala-rum-hierarki af generatornetværk til at generere variation af indhold i en række forskellige skalaer, og systemet er i stand til vilkårligt at evaluere fliser i enhver mellemskala, som seeren måtte have brug for.

Seam2cont-sektionen af ​​arkitekturen bruger to overlappende og uafhængige lag af map2sat-outputtet og beregner en passende grænse inden for konteksten af ​​det bredere billede, der skal repræsenteres:

Seam2cont-modulet bruger et billede med flisesøm og et uden sømme fra map2sat-netværket, for at beregne sømløse grænser mellem de 256×256 pixel genererede fliser.

Map2sat-netværket er en optimeret tilpasning af et fuldgyldigt SPADE-netværk, udelukkende trænet til 256×256 pixels. Forfatterne bemærker, at dette er en letvægts og spray implementering, der fører til vægte på kun 31.5 mb vs. 436.9 mb i et fuldt SPADE-netværk.

3000 rigtige satellitbilleder blev brugt til at træne de to undernetværk over 70 epoker af træningstid; alle billeder indeholder tilsvarende semantisk information (dvs. en begrebsmæssig forståelse på lavt niveau af afbildede objekter såsom 'veje') og geo-baserede positioneringsmetadata.

Yderligere materialer er tilgængelige på projektsiden, samt en tilhørende video (indlejret nedenfor).