NeRF: Koulutusdroonit Neuraalisen Valaistusympäristössä

Tutkijat Stanfordin yliopistosta ovat kehittäneet uuden tavan kouluttaa drooneja navigoimaan fotorealistisiin ja erittäin tarkasti mallinnettuun ympäristöön hyödyntämällä viimeaikaisen Neural Radiance Fields (NeRF) -kiinnostuksen.

Droonit voidaan kouluttaa virtuaaliympäristöissä, jotka on kartoitettu suoraan oikeista paikoista, ilman erityistä 3D-kohteen kartoitusta. Tässä kuvassa projektiin liittyen, tuulen häiriö on lisätty mahdolliseksi esteeksi droonille, ja näemme droonin hetkellisesti poikkeavan reitiltään ja korjaavan sen viime hetkellä välttääkseen mahdollisen esteen. Lähde: https://mikh3x4.github.io/nerf-navigation/

Tämä menetelmä tarjoaa mahdollisuuden interaktiiviseen droonien (tai muiden esineiden) koulutukseen virtuaalitilanteissa, jotka sisältävät automaattisesti tilavuustiedon (törmäyksen välttämiseksi), tekstuurin, joka on piirretty suoraan oikeista valokuvista (auttamaan droonien kuvantunnistusverkkoja realistisemmassa muodossa), ja valaistuksen (varmistamaan, että useat valaistustilanteet koulutetaan verkostoon, välttäen ylioppimisen tai ylioptimoinnin alkuperäiseen valokuvaukseen).

Soiva-esine navigoi monimutkaisessa virtuaaliympäristössä, joka olisi ollut hyvin vaikea kartoittaa perinteisillä AR/VR-työkaluilla, mutta joka luotiin automaattisesti NeRF:stä rajoitetusta määrästä valokuvia. Lähde: https://www.youtube.com/watch?v=5JjWpv9BaaE

Tyypilliset NeRF-toteutukset eivät sisällä reitin suunnittelumekanismeja, koska useimmat NeRF-projekteista viimeisen 18 kuukauden aikana ovat keskittyneet muihin haasteisiin, kuten kohteen valaistukseen, heijastusrenderointiin, koostamiseen ja eriyttämiseen tallennetuista elementeistä. Siksi uuden tutkimuksen ensisijainen innovaatio on toteuttaa NeRF-ympäristö navigoituva tilana, ilman laajan kaluston ja työllisten prosessien tarvetta, jotka olisivat tarpeen mallintaa se 3D-ympäristöksi perustuen anturin havaintoihin ja CGI-rekonstruktioon.

NeRF as VR/AR

Uusi tutkimus on otsikoitu Vision-Only Robot Navigation in a Neural Radiance World, ja se on yhteistyö kolmen Stanfordin yliopiston laitoksen välillä: Aeronautiikka ja Astronautiikka, Mekaniikka ja Tietokoneiden Tiede.

Työ esittää navigointirunkoarkeologian, joka tarjoaa robotille esikoulutetun NeRF-ympäristön, jonka tilavuustiheys rajoittaa laitteen mahdollisia reittejä. Se sisältää myös suodattimen arvioida, missä roboti on virtuaaliympäristössä, perustuen kuvantunnistukseen robotin kannettavasta RGB-kamerasta. Tällä tavoin drooni tai robotti pystyy “hallusinoimaan” tarkemmin, mitä se voi odottaa näkevänsä tietyssä ympäristössä.

Projektin reitin optimoija navigoi NeRF-mallissa Stonehengestä, joka luotiin fotogrammetriasta ja kuvatulkinnasta (tässä tapauksessa mesh-malleista) Neuraaliseen Valaistusympäristöön. Reitin suunnittelija laskee useita mahdollisia reittejä ennen kuin vahvistaa optimaalisen reitin kaaren yli.

Koska NeRF-ympäristö sisältää täysin mallinnetut peittämättömyydet, drooni voi oppia laskemaan esteitä helpommin, koska NeRF:n takana oleva neuroverkko voi kartoittaa suhteen peittämättömyyden ja droonin kannettavan visuaalisen navigointijärjestelmän välillä. Automaattinen NeRF-generointiputki tarjoaa suhteellisen helpon tavan luoda hyperrealistisia koulutuspaikkoja vain muutamalla valokuvalla.

Stanfordin projektiin kehitetty online-uudelleen-suunnittelukehys tarjoaa kestävän ja täysin visuaalisen navigointiputken.

Stanfordin aloite on yksi ensimmäisistä, jotka ovat tutkineet NeRF-avaruuden mahdollisuuksia navigoivassa ja immersiivisessä VR-tyyppisessä ympäristössä. Neuraalisen Valaistusympäristön teknologia on kehittyvä, ja se on tällä hetkellä useiden akateemisten ponnistelujen kohteena optimoida sen suuria laskentaresursseja sekä eriyttämään tallennetut elementit.

Nerf Ei Ole (Toisiaan) CGI

Koska NeRF-ympäristö on navigoituva 3D-kohteen, se on johtanut väärään tulkintaan sen kehittymisen jälkeen vuonna 2020, usein ymmärrettynä automaattiseksi menetelmäksi luoda mesh- ja tekstuuritallenteita, sen sijaan, että se korvaisi 3D-ympäristöt, joita katsojat tuntevat Hollywoodin VFX-osastoista ja Augmented Reality – ja Virtual Reality -ympäristöistä.

NeRF poimii geometria- ja tekstuuritiedon rajoitetusta määrästä kuvakulmista, laskien eron kuvien välillä tilavuustiedona. Lähde: https://www.matthewtancik.com/nerf

Todellisuudessa NeRF-ympäristö on enemmän “elävä” renderöintitila, jossa sekoitus pikseli- ja valaistustietoa säilytetään ja navigoidaan aktiivisessa ja ajossa olevassa neuroverkossa.

NeRF:n potentiaali perustuu siihen, että se vaatii vain rajoitetun määrän kuvia ympäristön rekonstruktioon, ja että luodut ympäristöt sisältävät kaiken tarvittavan tiedon korkealaatuiseen rekonstruktioon ilman tarvetta mallintajille, tekstuuritaiteilijoille, valaistusasiantuntijoille ja muiden “perinteisen” CGI:n osallistujien palveluille.

Semanttinen Segmentointi

Vaikka NeRF käytännössä muodostaa “Computer-Generated Imageryn” (CGI), se tarjoaa täysin erilaisen metodologian ja korkeasti automaattisen putken. Lisäksi NeRF voi erottaa ja “kapseloida” liikkuvat osat kohteen, jotta ne voidaan lisätä, poistaa, nopeuttaa ja toimia erillisenä osana virtuaaliympäristössä – kyky, joka on paljon nykyisen Hollywood-tason CGI:n valtiota.

Shanghain Teknillisen Yliopiston yhteistyö kesästä 2021 tarjoaa menetelmän erottaa liikkuvat NeRF-elementit “liimattaviin” osiin kohteen. Lähde: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Negatiivisesti NeRF:n arkkitehtuuri on hieman “musta laatikko”; ei ole tällä hetkellä mahdollista poimia esinettä NeRF-ympäristöstä ja muokata sitä perinteisillä mesh-pohjaisilla ja kuvapohjaisilla työkaluilla, vaikka useat tutkimuspyrkimykset ovat aloittaneet läpimurtoja NeRF:n neuroverkkojen live-renderöintiympäristöjen takana olevan matriisin purkamisessa.