Creazione di immagini satellitari da mappe vettoriali

I ricercatori nel Regno Unito hanno sviluppato un sistema di sintesi delle immagini basato sull'intelligenza artificiale in grado di convertire al volo mappe basate su vettori in immagini in stile satellitare.

L'architettura neurale è chiamata Sintesi senza soluzione di continuità di immagini satellitari (SSS) e offre la prospettiva di ambienti virtuali realistici e soluzioni di navigazione con una risoluzione migliore di quella offerta dalle immagini satellitari; sono più aggiornati (poiché i sistemi di mappe cartografiche possono essere aggiornati in tempo reale); e può facilitare visualizzazioni realistiche in stile orbitale in aree in cui la risoluzione del sensore satellitare è limitata o altrimenti non disponibile.

I dati vettoriali privi di risoluzione possono essere tradotti in immagini di dimensioni molto più elevate rispetto a quelle spesso disponibili da immagini satellitari reali e possono riflettere rapidamente gli aggiornamenti nelle mappe cartografiche basate sulla rete, come nuovi ostacoli o cambiamenti nell'infrastruttura della rete stradale. Fonte: https://arxiv.org/pdf/2111.03384.pdf

Per dimostrare la potenza del sistema, i ricercatori hanno creato un ambiente interattivo in stile Google Earth in cui lo spettatore può ingrandire e osservare le immagini satellitari generate in una varietà di scale di rendering e dettagli, con l'aggiornamento dei riquadri in tempo reale più o meno allo stesso modo. come sistemi interattivi convenzionali per immagini satellitari:

Zoom sull'ambiente creato, sulla base di una mappa cartografica. Guarda il video alla fine dell'articolo per una migliore risoluzione e maggiori dettagli sul processo. Fonte: https://www.youtube.com/watch?v=PqFySVpkZzg

Inoltre, poiché il sistema può generare immagini in stile satellitare da qualsiasi mappa vettoriale, potrebbe in teoria essere utilizzato per costruire mondi storici, proiettati o fittizi, da incorporare in simulatori di volo e ambienti virtuali. Inoltre, i ricercatori prevedono di sintetizzare ambienti virtuali completamente 3D dai dati cartografici utilizzando trasformatori.

A breve termine, gli autori ritengono che la loro struttura potrebbe essere utilizzata per una serie di applicazioni del mondo reale, tra cui la pianificazione urbana interattiva e la modellazione procedurale, prevedendo uno scenario in cui le parti interessate possono modificare una mappa in modo interattivo e vedere immagini a volo d'uccello di il terreno proiettato in pochi secondi.

La nuova carta proviene da due ricercatori dell'Università di Leeds e si intitola Sintesi senza soluzione di continuità di immagini satellitari.

L'architettura SSS ricrea Londra, con uno sguardo alla struttura vettoriale sottostante che alimenta la ricostruzione. Riquadro in alto a sinistra, l'intera immagine, disponibile in materiali supplementari a risoluzione 8k.

Architettura e dati di addestramento di origine

Il nuovo sistema utilizza il 2017 di UCL Berkeley Pix2Pix e di NVIDIA VANGA architettura di sintesi delle immagini. Il framework contiene due nuove reti neurali convoluzionali: mappa2sat, che esegue la conversione da immagini vettoriali a immagini basate su pixel; E cucitura2cont, che non solo calcola un metodo continuo per riunire le tessere 256×256, ma fornisce anche un ambiente di esplorazione interattivo.

L'architettura di SSS.

Il sistema impara a sintetizzare le viste satellitari addestrandosi sulle viste vettoriali e sui loro equivalenti satellitari nella vita reale, formando una comprensione generalizzata su come interpretare le sfaccettature vettoriali in interpretazioni fotorealistiche.

Le immagini vettoriali utilizzate nel set di dati vengono rasterizzate da file GeoPackage (.geo) che contengono fino a 13 etichette di classe, ad esempio pista, ambiente naturale, edificio e strada, che vengono sfruttati per decidere il tipo di immagini da inserire nella visualizzazione satellitare.

Le immagini satellitari .geo rasterizzate conservano anche i metadati del sistema di riferimento delle coordinate locali, che vengono utilizzati per interpretarli nel contesto della struttura cartografica più ampia e per consentire all'utente di navigare in modo interattivo nelle mappe create.

Piastrelle Senza Soluzione Di Continuità Sotto Vincoli Rigidi

La creazione di ambienti di mappe esplorabili è una sfida, poiché le limitazioni hardware nel progetto vincolano le tessere a una dimensione di soli 256 x 256 pixel. Pertanto è importante che il processo di rendering o composizione tenga conto del "quadro più ampio", invece di concentrarsi esclusivamente sulla piastrella a portata di mano, che porterebbe a stridenti giustapposizioni quando le piastrelle vengono raccolte, con strade che cambiano improvvisamente colore e altri non - artefatti di rendering realistici.

Pertanto, SSS utilizza una gerarchia spazio-scala di reti di generatori per generare variazioni di contenuto su una varietà di scale e il sistema è in grado di valutare arbitrariamente i riquadri su qualsiasi scala intermedia di cui il visualizzatore potrebbe aver bisogno.

La sezione seam2cont dell'architettura utilizza due livelli sovrapposti e indipendenti dell'output map2sat e calcola un bordo appropriato all'interno del contesto dell'immagine più ampia da rappresentare:

Il modulo seam2cont utilizza un'immagine con giunzione affiancata e una senza giunzione dalla rete map2sat, al fine di calcolare i bordi continui tra le tessere generate da 256×256 pixel.

La rete map2sat è un adattamento ottimizzato di una rete SPADE completa, addestrata esclusivamente a 256×256 pixel. Gli autori notano che si tratta di un'implementazione leggera e scattante, che porta a pesi di soli 31.5 MB contro 436.9 MB in una rete SPADE completa.

3000 immagini satellitari reali sono state utilizzate per addestrare le due sottoreti in 70 epoche di tempo di addestramento; tutte le immagini contengono informazioni semantiche equivalenti (vale a dire una comprensione concettuale di basso livello degli oggetti raffigurati come le "strade") e metadati di posizionamento geografici.

Ulteriori materiali sono disponibili sulla pagina del progetto, nonché un video di accompagnamento (incorporato di seguito).