Creazione di immagini satellitari da mappe vettoriali

Ricercatori nel Regno Unito hanno sviluppato un sistema di sintesi di immagini basato su intelligenza artificiale che può convertire mappe vettoriali in immagini satellitari in tempo reale.

L’architettura neurale si chiama Sintesi di immagini satellitari senza soluzione di continuità (SSS) e offre la prospettiva di ambienti virtuali realistici e soluzioni di navigazione che hanno una risoluzione migliore di quella delle immagini satellitari; sono più aggiornate (poiché i sistemi di mappe cartografiche possono essere aggiornati in tempo reale); e possono facilitare viste orbitali realistiche in aree dove la risoluzione dei sensori satellitari è limitata o altrimenti non disponibile.

I dati vettoriali senza limiti di risoluzione possono essere tradotti in dimensioni di immagine molto più grandi di quelle disponibili dalle immagini satellitari reali e possono riflettere rapidamente gli aggiornamenti nelle mappe cartografiche basate su rete, come nuove ostruzioni o modifiche alle infrastrutture della rete stradale. Fonte: https://arxiv.org/pdf/2111.03384.pdf

Per dimostrare la potenza del sistema, i ricercatori hanno creato un ambiente interattivo, simile a Google Earth, dove l’utente può zoomare e osservare le immagini satellitari generate a varie scale di rendering e dettaglio, con le tessere che si aggiornano in tempo reale in modo simile ai sistemi interattivi convenzionali per le immagini satellitari:

Zoomando nell’ambiente creato, basato su una mappa cartografica. Vedi il video alla fine dell’articolo per una risoluzione migliore e più dettagli sul processo. Fonte: https://www.youtube.com/watch?v=PqFySVpkZzg

Inoltre, poiché il sistema può generare immagini satellitari da qualsiasi mappa vettoriale, potrebbe in teoria essere utilizzato per costruire mondi storici, proiettati o fittizi, per l’inserimento in simulatori di volo e ambienti virtuali. Inoltre, i ricercatori anticipano la sintesi di ambienti virtuali 3D completi da dati cartografici utilizzando trasformatori.

Nel breve termine, gli autori ritengono che la loro struttura potrebbe essere utilizzata per una serie di applicazioni nel mondo reale, tra cui la pianificazione urbana interattiva e la modellazione procedurale, immaginando uno scenario in cui gli stakeholder possano modificare una mappa in modo interattivo e visualizzare immagini a volo d’uccello del terreno proiettato entro pochi secondi.

Il nuovo documento proviene da due ricercatori dell’Università di Leeds e si intitola Sintesi di immagini satellitari senza soluzione di continuità.

L’architettura SSS ricrea Londra, con uno sguardo alla struttura vettoriale sottostante che alimenta la ricostruzione. In alto a sinistra, l’immagine completa, disponibile nel materiale supplementare a risoluzione 8k.

Architettura e dati di addestramento di origine

Il nuovo sistema utilizza l’architettura di sintesi di immagini Pix2Pix dell’UCL Berkeley del 2017 e l’architettura SPADE di NVIDIA. La struttura contiene due reti neurali convoluzionali innovative – map2sat, che esegue la conversione da vettoriale a immagine basata su pixel; e seam2cont, che non solo calcola un metodo senza soluzione di continuità per raccogliere le tessere di 256×256 pixel, ma fornisce anche un ambiente di esplorazione interattivo.

L’architettura di SSS.

Il sistema apprende a sintetizzare viste satellitari addestrando su viste vettoriali e sui loro equivalenti satellitari reali, formando una comprensione generalizzata di come interpretare aspetti vettoriali in interpretazioni foto-realistiche.

Le immagini vettoriali utilizzate nel set di dati sono rasterizzate da file GeoPackage (.geo) che contengono fino a 13 etichette di classe, come tracciato, ambiente naturale, edificio e strada, che vengono sfruttate per decidere il tipo di immagine da inserire nella vista satellitare.

Le immagini satellitari rasterizzate.geo conservano anche i metadati del sistema di riferimento delle coordinate locali, che vengono utilizzati per interpretarle nel contesto più ampio della struttura della mappa e per consentire all’utente di navigare interattivamente le mappe create.

Tessere senza soluzione di continuità sotto vincoli rigidi

Creare ambienti di mappe esplorabili è una sfida, poiché le limitazioni hardware del progetto limitano le tessere a una dimensione di solo 256 x 256 pixel. Pertanto, è importante che il processo di rendering o di composizione tenga conto della “visione d’insieme”, invece di concentrarsi esclusivamente sulla tessera in questione, il che porterebbe a giustapposizioni stridenti quando le tessere vengono combinate, con strade che cambiano improvvisamente colore e altri artifact di rendering non realistici.

Pertanto, SSS utilizza una gerarchia di spazio di scala di reti generative per generare variazioni di contenuto a varie scale e il sistema è in grado di valutare in modo arbitrario le tessere a qualsiasi scala intermedia che l’utente possa richiedere.

La sezione seam2cont dell’architettura utilizza due strati sovrapposti e indipendenti dell’output di map2sat e calcola un confine appropriato nel contesto dell’immagine più ampia da rappresentare:

Il modulo Seam2Cont utilizza un’immagine con una cucitura tessellata e un’altra senza cuciture dalla rete map2sat, per calcolare i bordi senza soluzione di continuità tra le tessere generate di 256×256 pixel.

La rete map2sat è un adattamento ottimizzato di una rete SPADE completa, addestrata esclusivamente a 256×256 pixel. Gli autori notano che si tratta di un’implementazione leggera e agile, che porta a pesi di solo 31,5 MB rispetto a 436,9 MB in una rete SPADE completa.

Sono state utilizzate 3000 immagini satellitari reali per addestrare le due sottoreti nel corso di 70 epoche di tempo di addestramento; tutte le immagini contengono informazioni semantiche equivalenti (cioè una comprensione concettuale di basso livello degli oggetti rappresentati, come “strade”) e metadati di posizionamento geografico.

Ulteriori materiali sono disponibili nella pagina del progetto, nonché in un video accompagnatore (incluso di seguito).