Het creëren van satellietbeelden uit vectorkaarten

Onderzoekers in het VK hebben een AI-gebaseerd beeldsynthesesysteem ontwikkeld dat vectorgebaseerde kaarten om kan zetten in satellietstijlbeelden in real-time.

De neurale architectuur heet Naadloze satellietbeeldsynthese (SSS) en biedt de mogelijkheid van realistische virtuele omgevingen en navigatieoplossingen die een betere resolutie hebben dan satellietbeelden kunnen bieden; zijn meer up-to-date (aangezien cartografische kaartsystemen live kunnen worden bijgewerkt); en kunnen realistische orbitale weergaven mogelijk maken in gebieden waar de resolutie van satellietgegevens beperkt is of niet beschikbaar is.

Resolutievrije vectorgegevens kunnen worden omgezet in veel grotere beeldformaten dan vaak beschikbaar zijn van echte satellietbeelden, en kunnen snel wijzigingen weerspiegelen in netwerkgebaseerde cartografische kaarten, zoals nieuwe obstakels of wijzigingen in de infrastructuur van het wegennet. Bron: https://arxiv.org/pdf/2111.03384.pdf

Om de kracht van het systeem te demonstreren, hebben de onderzoekers een interactieve, Google Earth-achtige omgeving gemaakt waarin de kijker kan inzoomen en de gegenereerde satellietbeelden kan observeren op verschillende weergavegrootten en details, met de tegels die live worden bijgewerkt op een manier die vergelijkbaar is met conventionele interactieve systemen voor satellietbeelden:

Inzoomen op de gegenereerde omgeving, op basis van een cartografische kaart. Zie de video aan het einde van het artikel voor een betere resolutie en meer details over het proces. Bron: https://www.youtube.com/watch?v=PqFySVpkZzg

Verder kan het systeem, aangezien het satellietstijlbeelden kan genereren uit elke vectorgebaseerde kaart, in theorie worden gebruikt om historische, toekomstige of fictieve werelden te bouwen, voor incorporatie in vluchtsimulatoren en virtuele omgevingen. Bovendien verwachten de onderzoekers volledig 3D-virtuele omgevingen te synthetiseren uit cartografische gegevens met behulp van transformatoren.

Op korte termijn geloven de auteurs dat hun kader kan worden gebruikt voor een aantal reële toepassingen, waaronder interactieve stadsplanning en procedurele modellering, waarbij een scenario wordt voorgesteld waarin belanghebbenden een kaart interactief kunnen bewerken en vogelvluchten van het voorgestelde terrein kunnen zien binnen enkele seconden.

Het nieuwe artikel komt van twee onderzoekers aan de University of Leeds en heeft als titel Naadloze satellietbeeldsynthese.

De SSS-architectuur reconstrueert Londen, met een blik op de onderliggende vectorstructuur die de reconstructie voedt. Inset linksboven, het hele beeld, beschikbaar in aanvullende materialen in 8k-resolutie.

Architectuur en brontrainingsgegevens

Het nieuwe systeem maakt gebruik van UCL Berkeley’s 2017 Pix2Pix en NVIDIA’s SPADE beeldsynthesearchitectuur. Het kader bevat twee nieuwe convolutionele neurale netwerken – map2sat, die de conversie van vector naar pixelgebaseerde beelden uitvoert; en seam2cont, die niet alleen een naadloze methode berekent om de 256×256-tegels samen te voegen, maar ook een interactieve exploratieomgeving biedt.

De architectuur van SSS.

Het systeem leert satellietweergaven te synthetiseren door te trainen op vectorweergaven en hun reële satelliet-equivalenten, waardoor een gegeneraliseerde kennis wordt gevormd over hoe vectorfacetten in foto-reële interpretaties kunnen worden omgezet.

De vectorgebaseerde beelden die in de dataset worden gebruikt, zijn gerasterd van GeoPackage (.geo)-bestanden die tot 13 classificatielabels bevatten, zoals spoor, natuurlijke omgeving, gebouw en weg, die worden gebruikt om te beslissen over het type beeld dat in de satellietweergave moet worden geplaatst.

De gerasterde.geo-satellietbeelden behouden ook lokale Coordinate Reference System-metadata, die worden gebruikt om ze in context te interpreteren in het bredere kaartkader en om de gebruiker in staat te stellen interactief de gegenereerde kaarten te navigeren.

Naadloze tegels onder harde beperkingen

Het creëren van interactieve kaartomgevingen is een uitdaging, aangezien hardwarebeperkingen in het project de tegels beperken tot een formaat van slechts 256 x 256 pixels. Daarom is het belangrijk dat het render- of compositieproces rekening houdt met het ‘grotere plaatje’, in plaats van zich exclusief te concentreren op de tegel in kwestie, wat zou leiden tot storende juxtapositie wanneer de tegels worden samengevoegd, met wegen die plotseling van kleur veranderen en andere niet-realistische renderartefacten.

Daarom gebruikt SSS een schaalruimtehiërarchie van generatienetwerken om variatie in inhoud te genereren op verschillende schalen, en het systeem kan willekeurig tegels op elke tussenliggende schaal die de kijker nodig heeft, evalueren.

Het seam2cont-gedeelte van de architectuur gebruikt twee overlappende en onafhankelijke lagen van de map2sat-uitvoer en berekent een geschikte grens binnen de context van het bredere beeld dat moet worden weergegeven:

Het seam2cont-module gebruikt één beeld met getilede naad en één zonder naad van het map2sat-netwerk, om naadloze grenzen tussen de 256×256 pixel gegenereerde tegels te berekenen.

Het map2sat-netwerk is een geoptimaliseerde adaptatie van een volledig SPADE-netwerk, exclusief getraind op 256×256 pixels. De auteurs merken op dat dit een lichtgewicht en soepele implementatie is, wat leidt tot gewichten van slechts 31,5 MB versus 436,9 MB in een volledig SPADE-netwerk.

3000 echte satellietbeelden werden gebruikt om de twee sub-netwerken te trainen over 70 epochs van trainingsduur; alle beelden bevatten equivalente semantische informatie (d.w.z. een laagconceptueel begrip van afgebeelde objecten zoals ‘wegen’), en geo-gebaseerde positioneringsmetadata.

Verdere materialen zijn beschikbaar op de projectpagina, evenals een begeleidende video (ingesloten hieronder).