NeRF: Koulutuslennokeissa Neuroverkkoradianssien Ympäristössä

Stanfordin yliopiston tutkijat ovat kehittäneet uuden tavan kouluttaa lennokeita navigoimaan fotorealististen ja erittäin tarkin ympäristöjen läpi hyödyntämällä viimeaikaisen kiinnostuksen vyöryn Neural Radiance Fields (NeRF) -tekniikkaa.

Lennokeita voidaan kouluttaa virtuaaliympäristöissä, jotka on kartoitettu suoraan oikeista paikoista, ilman erityistä 3D-kohteen kartoitusta. Tässä kuvassa projektiin liittyen, tuulen häiriö on lisätty mahdollisena esteenä lennokille, ja voidaan nähdä, kuinka lennokki poikkeaa hetkellisesti reitiltään ja korjaa viime hetkellä välttääkseen mahdollisen esteen. Source: https://mikh3x4.github.io/nerf-navigation/

Menetelmä tarjoaa mahdollisuuden interaktiiviseen lennokkien (tai muiden esineiden) koulutukseen virtuaalitilanteissa, jotka sisältävät automaattisesti tilavuustiedon (törmäyksen välttämiseksi), tekstuureja, jotka on piirretty suoraan oikeista valokuvista (jotta lennokkien kuvantunnistusverkot voivat kouluttautua realistisemmin), ja oikean maailman valaistuksen (jotta varmistetaan, että verkko koulutetaan moniin valaistustilanteisiin, välttäen ylioppimisen tai ylioptimoinnin alkuperäiseen valokuvakohtaukseen).

Sohva-objekti navigoi monimutkaisessa virtuaaliympäristössä, joka olisi ollut hyvin vaikea kartoittaa perinteisillä AR/VR-työvirroilla, mutta joka luotiin automaattisesti NeRF:stä rajoitetusta määrästä paikalla otettuja valokuvia. Source: https://www.youtube.com/watch?v=5JjWpv9BaaE

Tyypilliset NeRF-toteutukset eivät sisällä reitinmekanismeja, koska suurin osa NeRF-projekteista viimeisen 18 kuukauden aikana on keskittynyt muihin haasteisiin, kuten kohtauksen uudelleenvalaistukseen, heijastusrenderöintiin, kompositointiin ja eriyttämiseen tallennetuista elementeistä.

NeRF as VR/AR

Uusi artikkeli on otsikoitu Vision-Only Robot Navigation in a Neural Radiance World, ja se on yhteistyö Stanfordin yliopiston kolmen laitoksen välillä: Aeronautiikka ja Astronautiikka, Mekaaninen Insinööritiede ja Tietojenkäsittelytiede.

Työ esittää navigointikehikon, joka tarjoaa robotille esikoulutetun NeRF-ympäristön, jonka tilavuuspaksuus rajoittaa laitteen mahdollisia reittejä. Se sisältää myös suodattimen, joka arvioi, missä robotti on virtuaaliympäristössä, perustuen laitteen kannen RGB-kameran kuvantunnistukseen. Tällä tavoin lennokki tai robotti pystyy “hallusinoimaan” tarkemmin, mitä se voi odottaa näkevänsä tietyssä ympäristössä.

Projektin reitin optimoija navigoi NeRF-mallissa Stonehengestä, joka on luotu fotogrammetriasta ja kuvatulkinnasta (tässä tapauksessa mesh-malleista) Neural Radiance -ympäristöön. Reitin suunnittelija laskee useita mahdollisia reittejä ennen kuin vahvistaa optimaalisen reitin kaaren yli.

Koska NeRF-ympäristö sisältää täydellisesti mallinnetut peitokset, lennokki voi oppia laskemaan esteitä helpommin, koska NeRF:n takana oleva neuroverkko voi kartoittaa suhteen peitosten ja lennokin näköperäisen navigointijärjestelmän välillä. Automatisoidun NeRF-generointiputken tarjoaa suhteellisen helpon tavan luoda hyperrealistisia koulutuspaikkoja vain muutamalla valokuvalla.

Stanfordin projektin kehittämä online-uudelleen-suunnittelukehikko mahdollistaa kestävän ja täysin näköperäisen navigointiputken.

Stanfordin aloite on yksi ensimmäisistä, jotka tutkivat NeRF-avaruuden mahdollisuuksia navigoitavassa ja immersiivisessä VR-tyylisessä ympäristössä. Neuroverkkoradianssit ovat kehittyvä tekniikka, ja niitä tutkitaan tällä hetkellä useissa akateemisissa pyrkimyksissä optimoida niiden suuria laskentaresursseja sekä eriyttämään tallennetut elementit.

Nerf Ei Ole (Toisiaan) CGI

Koska NeRF-ympäristö on navigoitu 3D-kohtaus, se on väärin ymmärretty tekniikka sen ilmestymisestä 2020 lähtien, usein laajasti ymmärretty menetelmäksi automatisoida meshien ja tekstuurien luomista, sen sijaan että se korvaisi 3D-ympäristöt, joita katsojat tuntevat Hollywoodin VFX-osastoista ja AR/VR-ympäristöistä.

NeRF poistaa geometria- ja tekstuuritiedon hyvin rajoitetusta määrästä kuvakulmista, laskien kuvien välisen eron tilavuustiedoksi. Source: https://www.matthewtancik.com/nerf

Itse asiassa NeRF-ympäristö on enemmän “elävä” renderöintitila, jossa yhdistelmä pikseli- ja valaistustietoa säilytetään ja navigoidaan aktiivisessa ja suoritettavassa neuroverkossa.

NeRF:n avain on, että se vaatii vain rajoitetun määrän kuvia ympäristön rekonstruoimiseksi, ja että luodut ympäristöt sisältävät kaiken tarvittavan tiedon korkealaatuiseen rekonstruktioon ilman tarvetta mallintajien, tekstuuritaiteilijoiden, valaistusasiantuntijoiden ja muiden “perinteisen” CGI:n avustajien palveluille.

Semanttinen Segmentointi

Vaikka NeRF käytännössä muodostaa “tietokoneella luodun kuvan” (CGI), se tarjoaa täysin erilaisen metodologian ja korkeasti automatisoidun putken. Lisäksi NeRF voi erottaa ja “kapseloida” liikkuvat osat kohtauksesta, jotta ne voidaan lisätä, poistaa, nopeuttaa ja toimia erillisinä osina virtuaaliympäristössä – kyky, joka on paljon nykyisen Hollywood-tason CGI:n yläpuolella.

Yhteistyö Shanghain Teknillisen yliopiston kanssa, joka julkaistiin kesällä 2021, tarjoaa menetelmän erottaa liikkuvat NeRF-elementit “liimattaviksi” osiksi kohtaukseen. Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Negatiivisesti, NeRF:n arkkitehtuuri on jonkinlainen “musta laatikko”; ei ole tällä hetkellä mahdollista poistaa objektia NeRF-ympäristöstä ja muokata sitä suoraan perinteisillä mesh-pohjaisilla ja kuvapohjaisilla työkaluilla, vaikka useat tutkimuspyrkimykset ovat alkaneet tehdä läpimurtoja NeRF:n neuroverkkoisen live-renderöintiympäristön matriisin purkamisessa.

https://www.youtube.com/watch?v=5JjWpv9BaaE