Crearea imaginilor din satelit din hărți vectoriale

Cercetătorii din Marea Britanie au dezvoltat un sistem de sinteză a imaginilor bazat pe inteligență artificială care poate converti hărțile bazate pe vectori în imagini în stil satelit din mers.

Arhitectura neuronală se numește Sinteză fără întreruperi a imaginilor din satelit (SSS) și oferă perspectiva unor medii virtuale realiste și soluții de navigație care au o rezoluție mai bună decât poate oferi imaginile prin satelit; sunt mai actualizate (deoarece sistemele de hărți cartografice pot fi actualizate în direct); și poate facilita vizualizări realiste în stil orbital în zonele în care rezoluția senzorului de satelit este limitată sau indisponibilă în alt mod.

Datele vectoriale fără rezoluție pot fi traduse în imagini de dimensiuni mult mai mari decât sunt adesea disponibile din imaginile din satelit reale și pot reflecta rapid actualizări în hărțile cartografice bazate pe rețea, cum ar fi noi obstacole sau modificări ale infrastructurii rețelei rutiere. Sursă: https://arxiv.org/pdf/2111.03384.pdf

Pentru a demonstra puterea sistemului, cercetătorii au creat un mediu interactiv, în stil Google Earth, în care spectatorul poate mări și observa imaginile din satelit generate la o varietate de scări și detalii de randare, cu plăcile actualizându-se în direct în același mod. ca sistemele interactive convenționale pentru imagini prin satelit:

Mărirea în mediul creat, pe baza unei hărți cartografice. Vedeți videoclipul de la sfârșitul articolului pentru o rezoluție mai bună și mai multe detalii despre proces. Sursa: https://www.youtube.com/watch?v=PqFySVpkZzg

În plus, deoarece sistemul poate genera imagini în stil satelit de pe orice hartă bazată pe vector, ar putea fi, teoretic, utilizat pentru a construi lumi istorice, proiectate sau fictive, pentru a fi încorporate în simulatoare de zbor și medii virtuale. În plus, cercetătorii anticipează sintetizarea mediilor virtuale complet 3D din date cartografice folosind transformatoare.

Pe termen mai apropiat, autorii cred că cadrul lor ar putea fi utilizat pentru o serie de aplicații din lumea reală, inclusiv planificarea interactivă a orașului și modelarea procedurală, prevăzând un scenariu în care părțile interesate pot edita o hartă în mod interactiv și pot vedea imagini de vedere de păsări. terenul proiectat în câteva secunde.

Noul hârtie vine de la doi cercetători de la Universitatea din Leeds și poartă titlul Sinteză fără întreruperi a imaginilor din satelit.

Arhitectura SSS recreează Londra, cu o privire asupra structurii vectoriale subiacente care alimentează reconstrucția. Inserat din stânga sus, întreaga imagine, disponibilă în materiale suplimentare la rezoluție de 8k.

Arhitectură și sursă de date de instruire

Noul sistem folosește UCL Berkeley 2017 Pix2Pix și NVIDIA SWORDS arhitectura de sinteză a imaginilor. Cadrul conține două rețele neuronale convoluționale noi - map2sat, care realizează conversia de la imagini vectoriale la imagini bazate pe pixeli; și seam2cont, care nu numai că calculează o metodă fără întreruperi de a aduna împreună plăcile de 256×256, dar oferă și un mediu de explorare interactiv.

Arhitectura SSS.

Sistemul învață să sintetizeze vizualizările satelitului prin antrenamentul asupra vizualizărilor vectoriale și echivalentelor acestora din viața reală, formând o înțelegere generalizată despre cum să interpreteze fațetele vectoriale în interpretări foto-reale.

Imaginile bazate pe vectori utilizate în setul de date sunt rasterizate din fișierele GeoPackage (.geo) care conțin până la 13 etichete de clasă, cum ar fi urmări, mediul natural, constructii și drum, care sunt utilizate pentru a decide asupra tipului de imagini care să fie introduse în vizualizarea prin satelit.

Imaginile satelit .geo rasterizate rețin, de asemenea, metadatele locale ale Sistemului de Referință de Coordonate, care sunt folosite pentru a le interpreta în context în cadrul mai larg al hărții și pentru a permite utilizatorului să navigheze interactiv pe hărțile create.

Placi fără sudură sub constrângeri dure

Crearea unor medii de hărți explorabile este o provocare, deoarece limitările hardware din proiect constrâng plăcile la o dimensiune de numai 256 x 256 pixeli. Prin urmare, este important ca fie procesul de randare, fie procesul de compoziție să ia în considerare „imaginea de ansamblu”, în loc să se concentreze exclusiv asupra plăcilor în cauză, ceea ce ar duce la juxtapoziții discontinue atunci când plăcile sunt adunate, cu drumurile care își schimbă brusc culoarea și alte elemente care nu -artefacte de redare realiste.

Prin urmare, SSS utilizează o ierarhie scară-spațială a rețelelor generatoare pentru a genera variații de conținut la o varietate de scări, iar sistemul este capabil să evalueze în mod arbitrar plăcile la orice scară intermediară de care ar putea avea nevoie vizualizatorul.

Secțiunea seam2cont a arhitecturii folosește două straturi suprapuse și independente ale ieșirii map2sat și calculează o margine adecvată în contextul imaginii mai largi care trebuie reprezentată:

Modulul seam2cont folosește o imagine cu cusătură de plăci și una fără cusături din rețeaua map2sat, pentru a calcula granițele fără sudură între plăcile de 256×256 pixeli generate.

Rețeaua map2sat este o adaptare optimizată a unei rețele SPADE cu drepturi depline, antrenată exclusiv la 256×256 pixeli. Autorii notează că aceasta este o implementare ușoară și rapidă, ceea ce duce la greutăți de numai 31.5 MB față de 436.9 MB într-o rețea SPADE completă.

Au fost folosite 3000 de imagini satelit reale pentru a antrena cele două subrețele peste 70 de epoci de timp de antrenament; toate imaginile conțin informații semantice echivalente (adică o înțelegere conceptuală la nivel scăzut a obiectelor reprezentate, cum ar fi „drumuri”) și metadate de poziționare bazate pe geometrie.

Mai multe materiale sunt disponibile pe pagina proiectului, precum și un videoclip însoțitor (încorporat mai jos).