Kunsmatige Intelligensie
Die skep van satellietbeelde vanaf vektorkaarte
Navorsers in die VK het 'n KI-gebaseerde beeldsintesestelsel ontwikkel wat vektorgebaseerde kaarte in satellietstylbeelde kan omskep.
Die neurale argitektuur word genoem Naatlose satellietbeeldsintese (SSS), en bied die vooruitsig van realistiese virtuele omgewings en navigasie-oplossings wat beter resolusie het as wat satellietbeelde kan bied; is meer op datum (aangesien kartografiese kaartstelsels op 'n lewendige basis opgedateer kan word); en kan realistiese orbitaal-styl aansigte fasiliteer in gebiede waar satellietsensorresolusie beperk of andersins onbeskikbaar is.
Resolusievrye vektordata kan vertaal word na baie groter beeldgroottes as wat dikwels van regte satellietbeelde beskikbaar is, en kan vinnig opdaterings in netwerkgebaseerde kartografiese kaarte weerspieël, soos nuwe obstruksies of veranderinge in padnetwerkinfrastruktuur. Bron: https://arxiv.org/pdf/2111.03384.pdf
Om die krag van die stelsel te demonstreer, het die navorsers 'n interaktiewe, Google Earth-styl omgewing geskep waar die kyker kan inzoem en die gegenereerde satellietbeelde kan waarneem op 'n verskeidenheid van weergawe skale en detail, met die teëls wat lewendig opgedateer word in baie dieselfde manier as konvensionele interaktiewe stelsels vir satellietbeelde:
Inzoomen in die geskepte omgewing, gebaseer op 'n kartografiese kaart. Sien video aan die einde van artikel vir beter resolusie en meer besonderhede oor die proses. Bron: https://www.youtube.com/watch?v=PqFySVpkZzg
Verder, aangesien die stelsel satelliet-styl beelde van enige vektor-gebaseerde kaart kan genereer, kan dit in teorie gebruik word om historiese, geprojekteerde of fiktiewe wêrelde te bou, vir inkorporering in vlugsimulators en virtuele omgewings. Daarbenewens verwag die navorsers om volledig 3D virtuele omgewings te sintetiseer vanaf kartografiese data met behulp van transformators.
Op die korter termyn glo die skrywers dat hul raamwerk gebruik kan word vir 'n aantal werklike toepassings, insluitend interaktiewe stadsbeplanning en prosedurele modellering, wat 'n scenario in die vooruitsig stel waar belanghebbendes 'n kaart interaktief kan redigeer en voëlkykbeelde van die geprojekteerde terrein binne sekondes.
Die nuwe papier kom van twee navorsers aan die Universiteit van Leeds, en is getitel Naatlose satellietbeeldsintese.
Die SSS-argitektuur herskep Londen, met 'n blik op die onderliggende vektorstruktuur wat die rekonstruksie voed. Ingevoeg links bo, die hele prent, beskikbaar in aanvullende materiaal teen 8k resolusie.
Argitektuur en Bron Opleiding Data
Die nuwe stelsel maak gebruik van UCL Berkeley se 2017 Pix2Pix en NVIDIA's GRAAF beeldsintese argitektuur. Die raamwerk bevat twee nuwe konvolusionele neurale netwerke - kaart2sat, wat die omskakeling van vektor- na pixel-gebaseerde beelde uitvoer; en naat2vervolg, wat nie net 'n naatlose metode bereken om die 256×256-teëls bymekaar te maak nie, maar ook 'n interaktiewe verkenningsomgewing bied.
Die argitektuur van SSS.
Die stelsel leer om satellietaansigte te sintetiseer deur opleiding oor vektoraansigte en hul werklike satellietekwivalente, wat 'n algemene begrip vorm oor hoe om vektorfasette in foto-werklike interpretasies te interpreteer.
Die vektor-gebaseerde beelde wat in die datastel gebruik word, word geraster van GeoPackage (.geo)-lêers wat tot 13 klasetikette bevat, soos bv. dop, die natuurlike omgewing, gebou en pad, wat aangewend word om te besluit oor die soort beeldmateriaal wat in die satellietaansig geplaas moet word.
Die gerasterde .geo-satellietbeelde behou ook plaaslike koördinaatverwysingstelsel-metadata, wat gebruik word om dit in konteks te interpreteer in die breër kaartraamwerk, en om die gebruiker in staat te stel om interaktief deur die geskepte kaarte te navigeer.
Naatlose teëls onder harde beperkings
Die skep van verkenbare kaartomgewings is 'n uitdaging, aangesien hardeware beperkings in die projek teëls beperk tot 'n grootte van slegs 256 x 256 pixels. Daarom is dit belangrik dat óf die weergawe óf die komposisieproses die 'groter prentjie' in ag neem, in plaas daarvan om uitsluitlik op die teël voorhande te konsentreer, wat sal lei tot skokkende jukstaposisies wanneer die teëls saamgevoeg word, met paaie wat skielik van kleur verander, en ander nie -realistiese lewering artefakte.
Daarom gebruik SSS 'n skaal-ruimte hiërargie van generator netwerke om variasie van inhoud op 'n verskeidenheid van skale te genereer, en die stelsel is in staat om teëls arbitrêr te evalueer op enige intermediêre skaal wat die kyker mag benodig.
Die seam2cont-afdeling van die argitektuur gebruik twee oorvleuelende en onafhanklike lae van die map2sat-afvoer, en bereken 'n gepaste grens binne die konteks van die breër beeld wat voorgestel moet word:
Die seam2cont-module gebruik een beelde met geteëlde naat en een sonder nate van die map2sat-netwerk, om naatlose grense tussen die 256×256 pixel-gegenereerde teëls te bereken.
Die map2sat-netwerk is 'n geoptimaliseerde aanpassing van 'n volwaardige SPADE-netwerk, uitsluitlik opgelei teen 256×256 piksels. Die skrywers merk op dat dit 'n liggewig en vinnige implementering is, wat lei tot gewigte van slegs 31.5mb vs. 436.9mb in 'n volle SPADE-netwerk.
3000 regte satellietbeelde is gebruik om die twee subnetwerke oor 70 tydperke van opleidingstyd op te lei; alle beelde bevat ekwivalente semantiese inligting (dws 'n lae-vlak konseptuele begrip van uitgebeelde voorwerpe soos 'paaie'), en geo-gebaseerde posisionering metadata.
Verdere materiaal is beskikbaar by die projekbladsy, sowel as 'n meegaande video (onder ingebed).
