NeRF: dronų mokymas nervinio spinduliavimo aplinkoje

Stenfordo universiteto mokslininkai sukūrė naują dronų mokymo būdą, kad jie galėtų naršyti fotorealistinėje ir labai tikslioje aplinkoje, pasinaudodami naujausiais susidomėjimo lavina Nervinio spinduliavimo laukuose (NeRF).

Dronai gali būti treniruojami virtualiose aplinkose, tiesiogiai susietose su realiomis vietomis, nereikalaujant specializuotos 3D scenos rekonstrukcijos. Šiame projekto vaizde vėjo trukdymas buvo įtrauktas kaip galima kliūtis dronui, ir matome, kad dronas akimirksniu nukrypsta nuo trajektorijos ir paskutinę akimirką kompensuoja, kad išvengtų galimos kliūties. Šaltinis: https://mikh3x4.github.io/nerf-navigation/

Šis metodas suteikia galimybę interaktyviai treniruoti dronus (ar kitų tipų objektus) virtualiuose scenarijuose, į kuriuos automatiškai įtraukiama apimties informacija (susidūrimo išvengimui apskaičiuoti), tekstūra, nubrėžta tiesiogiai iš tikro gyvenimo nuotraukų (siekiant padėti apmokyti dronų vaizdo atpažinimo tinklus tikroviškesnė mada) ir realaus pasaulio apšvietimas (siekiant užtikrinti, kad įvairūs apšvietimo scenarijai būtų įtraukti į tinklą, išvengiant per didelio pritaikymo ar optimizavimo prie pradinės momentinės scenos nuotraukos).

Sofos objektas naršo sudėtingoje virtualioje aplinkoje, kurią būtų buvę labai sunku atvaizduoti naudojant geometrijos fiksavimą ir retekstūravimą tradicinėse AR/VR darbo eigose, bet kuri buvo automatiškai atkurta NeRF naudojant ribotą skaičių nuotraukų. Šaltinis: https://www.youtube.com/watch?v=5JjWpv9BaaE

Įprasti NeRF diegimai neturi trajektorijos mechanizmų, nes dauguma NeRF projektų per pastaruosius 18 mėnesių buvo sutelkti į kitus iššūkius, pvz. scenos pakartotinis apšvietimas, atspindžio perteikimas, Kompozicija ir išskyrimas užfiksuotų elementų. Todėl naujojo dokumento pagrindinė naujovė yra įdiegti NeRF aplinką kaip navigacinę erdvę, be didelės įrangos ir daug pastangų reikalaujančių procedūrų, kurių prireiktų modeliuoti kaip 3D aplinką, pagrįstą jutiklių fiksavimu ir CGI rekonstrukcija.

NeRF kaip VR/AR

Nauja popierius yra tituluojamas Tik regėjimo roboto navigacija neuroninio spinduliavimo pasaulyje, ir yra trijų Stenfordo skyrių bendradarbiavimas: aeronautikos ir astronautikos, mechanikos inžinerijos ir kompiuterių mokslo.

Darbe siūloma navigacijos sistema, kuri suteikia robotui iš anksto paruoštą NeRF aplinką, kurios tūrio tankis riboja galimus įrenginio kelius. Jame taip pat yra filtras, skirtas įvertinti, kur robotas yra virtualioje aplinkoje, remiantis roboto integruotos RGB kameros vaizdo atpažinimu. Tokiu būdu dronas ar robotas gali tiksliau „haliucinuoti“ tai, ką gali tikėtis pamatyti tam tikroje aplinkoje.

Projekto trajektorijos optimizavimo priemonė naršo per NeRF Stounhendžo modelį, kuris buvo sukurtas naudojant fotogrammetriją ir vaizdo interpretaciją (šiuo atveju tinklelio modelius), į Neural Radiance aplinką. Prieš nustatydamas optimalią trajektoriją per arką, trajektorijų planuotojas apskaičiuoja daugybę galimų takų.

Kadangi NeRF aplinkoje yra visiškai sumodeliuotų okliuzijų, dronas gali lengviau išmokti apskaičiuoti kliūtis, nes už NeRF esantis neuroninis tinklas gali nustatyti ryšį tarp okliuzijų ir būdo, kaip drono integruotos regėjimo navigacijos sistemos suvokia aplinką. Automatizuotas NeRF kartos dujotiekis siūlo gana trivialų būdą sukurti hiperrealias treniruočių erdves su tik keliomis nuotraukomis.

Stenfordo projektui sukurta internetinė perplanavimo sistema palengvina atsparų ir visiškai vizija pagrįstą navigacijos vamzdyną.

Stanfordo iniciatyva yra viena iš pirmųjų, nagrinėjusių NeRF erdvės tyrinėjimo galimybes navigacinėje ir įtraukiančioje VR stiliaus aplinkoje. Neuroninio spinduliavimo laukai yra nauja technologija, kuriai šiuo metu taikomos daug akademinės pastangos optimizuoti didelius skaičiavimo išteklių poreikius, taip pat atskirti užfiksuotus elementus.

Nerf nėra (tikrai) CGI

Kadangi NeRF aplinka yra naršoma 3D scena, nuo tada, kai atsirado 2020 m., ji tapo nesuprasta technologija, dažnai suvokiama kaip tinklelių ir tekstūrų kūrimo automatizavimo metodas, o ne pakeičiantis 3D aplinkas, pažįstamas žiūrovams iš Holivudo VFX skyrių ir fantastiškos papildytos realybės ir virtualios realybės aplinkų scenos.

NeRF išgauna geometrijos ir tekstūros informaciją iš labai riboto skaičiaus vaizdo požiūrio taškų, apskaičiuodamas skirtumą tarp vaizdų kaip tūrinę informaciją. Šaltinis: https://www.matthewtancik.com/nerf

Tiesą sakant, NeRF aplinka labiau primena „gyvą“ atvaizdavimo erdvę, kurioje pikselių ir apšvietimo informacijos sujungimas išsaugomas ir naršoma aktyviame ir veikiančiame neuroniniame tinkle.

NeRF potencialo raktas yra tas, kad norint atkurti aplinką reikia tik riboto vaizdų skaičiaus ir kad sukurtose aplinkose būtų visa reikalinga informacija, reikalinga didelio tikslumo rekonstrukcijai, nereikalaujant modeliuotojų, tekstūrų menininkų, apšvietimo paslaugų. specialistų ir daugybės kitų „tradicinio“ CGI prisidėjusiųjų.

Semantinis segmentavimas

Net jei NeRF veiksmingai sudaro „kompiuterinius vaizdus“ (CGI), jis siūlo visiškai kitokią metodiką ir labai automatizuotą vamzdyną. Be to, NeRF gali izoliuoti ir „apklijuoti“ judančias scenos dalis, kad jas būtų galima pridėti, pašalinti, paspartinti ir paprastai veikti kaip atskiri aspektai virtualioje aplinkoje – ši galimybė yra daug didesnė už dabartinę padėtį. „Holivudo“ interpretacija, kas yra CGI.

A bendradarbiavimas 2021 m. vasarą išleistas Šanchajaus Technologijos Universitetas siūlo metodą, kaip individualizuoti judančius NeRF elementus į „apdorotus“ scenos aspektus. Šaltinis: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Neigiama, NeRF architektūra yra šiek tiek „juodoji dėžė“; šiuo metu neįmanoma ištraukti objekto iš NeRF aplinkos ir tiesiogiai juo manipuliuoti naudojant tradicinius tinklelio ir vaizdo pagrindu veikiančius įrankius, nors daugelis tyrimų pradeda daryti proveržį dekonstruojant NeRF neuroninio tinklo tiesioginio atvaizdavimo aplinkų matricą.