NeRF: Uvježbavanje dronova u okruženjima neuralnog zračenja

Istraživači sa Sveučilišta Stanford osmislili su novi način treniranja dronova za navigaciju u fotorealističnim i vrlo preciznim okruženjima, koristeći nedavne lavina interesa u neuralnim poljima zračenja (NeRF).

Dronovi se mogu trenirati u virtualnim okruženjima mapiranim izravno s lokacija iz stvarnog života, bez potrebe za specijaliziranom 3D rekonstrukcijom scene. Na ovoj slici iz projekta, poremećaj vjetra je dodan kao potencijalna prepreka za dron, a možemo vidjeti kako dron trenutno skreće sa svoje putanje i kompenzira u zadnjem trenutku kako bi izbjegao potencijalnu prepreku. Izvor: https://mikh3x4.github.io/nerf-navigation/

Metoda nudi mogućnost interaktivnog uvježbavanja dronova (ili drugih vrsta objekata) u virtualnim scenarijima koji automatski uključuju informacije o volumenu (za izračun izbjegavanja sudara), teksture nacrtane izravno iz fotografija iz stvarnog života (kako bi se pomoglo uvežbavanju mreža za prepoznavanje slike dronova u realističniji način) i osvjetljenje u stvarnom svijetu (kako bi se osiguralo da se različiti scenariji osvjetljenja uvježbaju u mrežu, izbjegavajući pretjerano prilagođavanje ili pretjeranu optimizaciju izvorne snimke scene).

Kauč-objekt se kreće složenim virtualnim okruženjem koje bi bilo vrlo teško mapirati korištenjem snimanja geometrije i ponovnog teksturiranja u tradicionalnim AR/VR tijekovima rada, ali koje je automatski rekreirano u NeRF-u iz ograničenog broja fotografija. Izvor: https://www.youtube.com/watch?v=5JjWpv9BaaE

Tipične implementacije NeRF-a ne sadrže mehanizme putanje, budući da je većina NeRF projekata u posljednjih 18 mjeseci koncentrirana na druge izazove, kao što je ponovno osvjetljavanje scene, prikaz refleksije, compositing i prevazilaženje teškoća zarobljenih elemenata. Stoga je primarna inovacija novog dokumenta implementacija NeRF okruženja kao navigacijskog prostora, bez opsežne opreme i napornih procedura koje bi bile potrebne za modeliranje kao 3D okruženje temeljeno na snimanju senzora i CGI rekonstrukciji.

NeRF kao VR/AR

Novo papir naslovljen je Navigacija robota samo za vid u svijetu neuralnog zračenja, a suradnja je triju odjela Stanforda: aeronautike i astronautike, strojarstva i računalnih znanosti.

Rad predlaže navigacijski okvir koji robotu pruža unaprijed obučeno NeRF okruženje, čija gustoća volumena ograničava moguće staze za uređaj. Također uključuje filter za procjenu gdje se robot nalazi unutar virtualnog okruženja, na temelju prepoznavanja slike RGB kamere robota. Na ovaj način, dron ili robot može točnije 'halucinirati' što može očekivati ​​da će vidjeti u određenom okruženju.

Optimizator putanje projekta navigira kroz NeRF model Stonehengea koji je generiran fotogrametrijom i interpretacijom slike (u ovom slučaju, mrežastih modela) u okruženje Neural Radiance. Planer putanje izračunava niz mogućih putanja prije uspostavljanja optimalne putanje preko luka.

Budući da NeRF okruženje sadrži potpuno modelirane okluzije, dron može lakše izračunati prepreke, budući da neuronska mreža iza NeRF-a može mapirati odnos između okluzija i načina na koji ugrađeni navigacijski sustavi temeljeni na viziji drona percipiraju okolinu. Automatizirani cjevovod za generiranje NeRF-a nudi relativno trivijalnu metodu stvaranja hiperstvarnih prostora za vježbanje sa samo nekoliko fotografija.

Okvir za mrežno ponovno planiranje razvijen za projekt Stanford olakšava otporan i potpuno vizionarski navigacijski cjevovod.

Stanfordska inicijativa među prvima je koja razmatra mogućnosti istraživanja NeRF prostora u kontekstu navigacijskog i impresivnog okruženja u VR stilu. Polja neuronskog zračenja tehnologija su u nastajanju i trenutno podliježu brojnim akademskim naporima da optimiziraju svoje visoke zahtjeve za računalnim resursima, kao i da razdvoje snimljene elemente.

Nerf nije (stvarno) CGI

Budući da je NeRF okruženje 3D scena kojom se može upravljati, postalo je pogrešno shvaćena tehnologija od svoje pojave 2020., često se široko percipira kao metoda automatizacije stvaranja mreža i tekstura, umjesto da zamjenjuje 3D okruženja poznata gledateljima iz holivudskih VFX odjela i fantastične scene okruženja proširene stvarnosti i virtualne stvarnosti.

NeRF izvlači informacije o geometriji i teksturi iz vrlo ograničenog broja točaka gledišta slike, izračunavajući razliku između slika kao volumetrijsku informaciju. Izvor: https://www.matthewtancik.com/nerf

Zapravo, NeRF okruženje je više poput 'živog' prostora za renderiranje, gdje se amalgamacija informacija o pikselima i osvjetljenju zadržava i njima se upravlja u aktivnoj neuronskoj mreži koja radi.

Ključ potencijala NeRF-a je da zahtijeva samo ograničen broj slika kako bi se ponovno stvorila okruženja i da generirano okruženje sadrži sve potrebne informacije za rekonstrukciju visoke vjernosti, bez potrebe za uslugama modelara, umjetnika teksture, rasvjete stručnjaci i horde drugih suradnika 'tradicionalnom' CGI-ju.

Semantička segmentacija

Čak i ako NeRF učinkovito predstavlja 'računalno generirane slike' (CGI), nudi potpuno drugačiju metodologiju i visokoautomatizirani cjevovod. Dodatno, NeRF može izolirati i 'inkapsulirati' pokretne dijelove scene, tako da se mogu dodavati, uklanjati, ubrzavati i općenito raditi kao diskretni aspekti u virtualnom okruženju – sposobnost koja daleko nadilazi trenutno stanje the-art u 'holivudskoj' interpretaciji onoga što CGI jest.

A kolaboracija sa Shanghai Tech University, objavljen u ljeto 2021., nudi metodu za individualiziranje pokretnih NeRF elemenata u 'pastabilne' aspekte za scenu. Izvor: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Negativno, NeRF-ova arhitektura pomalo je 'crna kutija'; trenutačno nije moguće izdvojiti objekt iz NeRF okruženja i njime izravno manipulirati s tradicionalnim alatima koji se temelje na mreži i slikama, iako brojni istraživački napori počinju činiti pomake u dekonstrukciji matrice koja stoji iza NeRF-ovih okruženja za renderiranje uživo neuronske mreže.