Crearea de imagini din satelit din hărți vectoriale

Cercetătorii din Regatul Unit au dezvoltat un sistem de sinteză de imagini bazat pe inteligență artificială care poate converti hărți vectoriale în imagini de satelit în timp real.

Arhitectura neurală se numește Sinteză de imagini de satelit fără cusur (SSS) și oferă perspectiva unor medii virtuale realiste și soluții de navigație care au o rezoluție mai bună decât cea a imaginilor de satelit; sunt mai actualizate (deoarece sistemele de hărți cartografice pot fi actualizate în timp real); și pot facilita vederi orbitale realiste în zone unde rezoluția senzorilor de satelit este limitată sau nu este disponibilă.

Datele vectoriale fără rezoluție pot fi traduse în dimensiuni de imagine mult mai mari decât cele disponibile de obicei de la imagini de satelit reale și pot reflecta rapid actualizările în hărțile cartografice bazate pe rețea, cum ar fi noi obstacole sau modificări în infrastructura rețelei de drumuri. Sursă: https://arxiv.org/pdf/2111.03384.pdf

Pentru a demonstra puterea sistemului, cercetătorii au creat un mediu interactiv, similar cu Google Earth, unde spectatorul poate mări imaginea și observa imaginile de satelit generate la diverse scări de render și detalii, cu tile-urile actualizându-se în timp real, similar cu sistemele interative convenționale pentru imagini de satelit:

Mărire în mediul creat, pe baza unei hărți cartografice. Vezi videoul de la sfârșitul articolului pentru o rezoluție mai bună și mai multe detalii despre proces. Sursă: https://www.youtube.com/watch?v=PqFySVpkZzg

În plus, deoarece sistemul poate genera imagini de satelit din orice hartă vectorială, el ar putea fi utilizat, în teorie, pentru a construi lumi istorice, proiectate sau fictive, pentru a fi integrate în simulatoare de zbor și medii virtuale. În plus, cercetătorii anticipează sintetizarea unor medii virtuale tridimensionale complete din date cartografice, utilizând transformatori.

În termen scurt, autorii cred că cadrul lor ar putea fi utilizat pentru o serie de aplicații din lumea reală, inclusiv planificarea urbană interactivă și modelarea procedurală, imaginând un scenariu în care părțile interesate pot edita o hartă interactiv și pot vedea imagini aeriene ale terenului proiectat în câteva secunde.

Noul articol provine de la doi cercetători de la Universitatea din Leeds și se intitulează Sinteză de imagini de satelit fără cusur.

Arhitectura SSS re creează Londra, cu o privire în structura vectorială subiacentă care alimentează reconstrucția. În partea superioară stângă, întreaga imagine, disponibilă în materialele suplimentare la rezoluție de 8k.

Arhitectură și date de antrenament

Noul sistem utilizează arhitectura de sinteză de imagini Pix2Pix de la UCL Berkeley din 2017 și arhitectura SPADE de la NVIDIA. Cadrul conține două rețele neuronale convoluționale noi – map2sat, care efectuează conversia de la vector la imagine bazată pe pixeli; și seam2cont, care nu numai că calculează o metodă fără cusur pentru a aduna tile-urile de 256×256, dar oferă și un mediu de explorare interactiv.

Arhitectura SSS.

Sistemul învață să sintetizeze vederi de satelit prin antrenarea pe vederi vectoriale și echivalenții lor din viața reală, formând o înțelegere generalizată despre cum să interpreteze facetelor vectoriale în interpretări foto-reale.

Imaginile vectoriale utilizate în setul de date sunt rasterizate din fișiere GeoPackage (.geo) care conțin până la 13 etichete de clasă, cum ar fi drum, mediu natural, clădire și drum, care sunt utilizate pentru a decide ce fel de imagine să se introducă în vederea de satelit.

Imaginile vectoriale rasterizate.geo rețin, de asemenea, metadatele sistemului de referință spațială local, care sunt utilizate pentru a le interpreta în contextul mai larg al hărții și pentru a permite utilizatorului să navigheze interactiv hărțile create.

Tile-uri fără cusur sub constrângeri dure

Crearea unor medii de hartă explorabile este o provocare, deoarece limitările hardware din proiect limitează tile-urile la o dimensiune de numai 256 x 256 de pixeli. Prin urmare, este important ca procesul de renderizare sau compunere să ia în considerare “imaginea mai mare”, în loc să se concentreze exclusiv pe tile-ul în cauză, ceea ce ar duce la juxtapuneri jarring atunci când tile-urile sunt adunate, cu drumuri care schimbă brusc culoarea și alte artefacte de render nerealiste.

Prin urmare, SSS utilizează o ierarhie spațială de rețele generatoare pentru a genera variații de conținut la diverse scări și sistemul poate evalua în mod arbitrar tile-urile la orice scară intermediară pe care spectatorul o poate necesita.

Secțiunea seam2cont a arhitecturii utilizează două straturi suprapuse și independente ale ieșirii rețelei map2sat și calculează o margine adecvată în contextul imaginii mai largi care urmează a fi reprezentată:

Modulul Seam2Cont utilizează o imagine cu tile cu cusur și una fără cusur de la rețeaua map2sat, pentru a calcula marginile fără cusur între tile-urile generate de 256×256 de pixeli.

Rețeaua map2sat este o adaptare optimizată a unei rețele SPADE complete, antrenată exclusiv la 256×256 de pixeli. Autorii notează că aceasta este o implementare ușoară și rapidă, ceea ce duce la greutăți de numai 31,5 MB, comparativ cu 436,9 MB într-o rețea SPADE completă.

Au fost utilizate 3000 de imagini de satelit reale pentru a antrena cele două sub-rețele timp de 70 de epoci de antrenament; toate imaginile conțin informații semantice echivalente (adică o înțelegere conceptuală de nivel scăzut a obiectelor reprezentate, cum ar fi “drumuri”) și metadate de poziționare bazate pe geo.

Materiale suplimentare sunt disponibile pe pagina proiectului, precum și un videoclip însoțitor (încorporat mai jos).