Crearea de imagini satelitare din hărți vectoriale

Cercetătorii din Regatul Unit au dezvoltat un sistem de sinteză de imagini bazat pe inteligență artificială care poate converti hărți vectoriale în imagini satelitare în timp real.

Arhitectura neurală se numește Sinteză de imagini satelitare fără cusături (SSS) și oferă perspectiva unor medii virtuale realiste și soluții de navigație care au o rezoluție mai bună decât imaginile satelitare; sunt mai actualizate (deoarece sistemele de hărți cartografice pot fi actualizate în timp real); și pot facilita vedere orbitală realistă în zone unde rezoluția senzorilor sateliți este limitată sau nu este disponibilă.

Datele vectoriale fără rezoluție pot fi traduse în dimensiuni de imagine mult mai mari decât cele oferite de obicei de imagini satelitare reale și pot reflecta rapid actualizări în hărțile cartografice bazate pe rețea, cum ar fi noi obstacole sau schimbări în infrastructura rețelei de drumuri. Sursă: https://arxiv.org/pdf/2111.03384.pdf

Pentru a demonstra puterea sistemului, cercetătorii au creat un mediu interactiv, în stilul Google Earth, unde spectatorul poate mări și observa imaginile satelitare generate la diverse scări de render și detalii, cu tile-urile care se actualizează în timp real, similar cu sistemele convenționale interactive pentru imagini satelitare:

Mărire în mediul creat, pe baza unei hărți cartografice. Vezi videoclipul de la sfârșitul articolului pentru o rezoluție mai bună și mai multe detalii despre proces. Sursă: https://www.youtube.com/watch?v=PqFySVpkZzg

Mai mult, deoarece sistemul poate genera imagini satelitare din orice hartă vectorială, el poate fi utilizat, în teorie, pentru a construi lumi istorice, proiectate sau fictive, pentru a fi incorporate în simulatoare de zbor și medii virtuale. În plus, cercetătorii anticipează sintetizarea unor medii virtuale tridimensionale complete din date cartografice utilizând transformatori.

În termen scurt, autorii cred că cadrul lor poate fi utilizat pentru o serie de aplicații din lumea reală, inclusiv planificarea urbană interactivă și modelarea procedurală, imaginând un scenariu în care părțile interesate pot edita o hartă în mod interactiv și pot vedea imagini aeriene ale terenului proiectat în câteva secunde.

Noul articol provine de la doi cercetători de la Universitatea din Leeds și se intitulează Sinteză de imagini satelitare fără cusături.

Arhitectura SSS re creează Londra, cu o privire asupra structurii vectoriale subiacente care alimentează reconstrucția. Înset top stânga, întreaga imagine, disponibilă în materialele suplimentare la rezoluție de 8k.

Arhitectură și date de antrenare

Noul sistem utilizează arhitectura de sinteză de imagini Pix2Pix a UCL Berkeley din 2017 și arhitectura SPADE a NVIDIA. Cadrul conține două rețele neurale convoluționale noi – map2sat, care efectuează conversia de la vector la imagine bazată pe pixeli; și seam2cont, care nu numai că calculează o metodă fără cusături pentru a aduna împreună tile-urile de 256×256, dar oferă și un mediu de explorare interactiv.

Arhitectura SSS.

Sistemul învață să sintetizeze vederi satelitare prin antrenarea pe vederi vectoriale și echivalenții lor reali satelitari, formând o înțelegere generalizată despre cum să interpreteze fețele vectoriale în interpretări foto-reale.

Imaginile vectoriale utilizate în setul de date sunt rasterizate din fișiere GeoPackage (.geo) care conțin până la 13 etichete de clasă, cum ar fi drum, mediu natural, clădire și drum, care sunt utilizate pentru a decide ce tip de imagine să se introducă în vedere satelită.

Imaginile satelitare rasterizate .geo păstrează, de asemenea, metadatele sistemului de referință spațială local, care sunt utilizate pentru a le interpreta în contextul mai larg al hărții și pentru a permite utilizatorului să navigheze interactiv hărțile create.

Tile-urile fără cusături sub constrângeri dificile

Crearea unor medii de hartă explorabile este o provocare, deoarece limitările hardware ale proiectului restricționează tile-urile la o dimensiune de numai 256 x 256 pixeli. Prin urmare, este important ca procesul de rendering sau compoziție să ia în considerare “imaginea mai mare”, în loc să se concentreze exclusiv asupra tile-ului în cauză, ceea ce ar duce la juxtapuneri jarring atunci când tile-urile sunt combinate, cu drumuri care schimbă brusc culoarea și alte artefacte de rendering nerealiste.

Prin urmare, SSS utilizează o ierarhie spațială de rețele generatoare pentru a genera variații de conținut la diverse scări și sistemul este capabil să evalueze în mod arbitrar tile-urile la orice scară intermediară pe care utilizatorul o poate necesita.

Secțiunea seam2cont a arhitecturii utilizează două straturi suprapuse și independente ale ieșirii map2sat și calculează o margine adecvată în contextul imaginii mai largi care urmează a fi reprezentată:

Modulul Seam2Cont utilizează o imagine cu cusătură și una fără cusături din rețeaua map2sat, pentru a calcula margini fără cusături între tile-urile generate de 256×256 pixeli.

Rețeaua map2sat este o adaptare optimizată a unei rețele SPADE complete, antrenată exclusiv la 256×256 pixeli. Autorii notează că aceasta este o implementare ușoară și agilă, ceea ce duce la greutăți de numai 31,5 MB, comparativ cu 436,9 MB într-o rețea SPADE completă.

3000 de imagini satelitare reale au fost utilizate pentru a antrena cele două sub-rețele timp de 70 de epoci de antrenament; toate imaginile conțin informații semantice echivalente (adică o înțelegere conceptuală de nivel scăzut a obiectelor reprezentate, cum ar fi “drumuri”) și metadate de poziționare geografică.

Materiale suplimentare sunt disponibile pe pagina proiectului, precum și un videoclip însoțitor (încorporat mai jos).

https://www.youtube.com/watch?v=PqFySVpkZzg