NeRF: Trening av droner i miljøer med nevrale utstråling

Forskere fra Stanford University har utviklet en ny måte å trene droner for å navigere i fotorealistiske og svært nøyaktige miljøer, ved å utnytte de siste skred av interesse i Neural Radiance Fields (NeRF).

Droner kan trenes i virtuelle miljøer kartlagt direkte fra virkelige steder, uten behov for spesialisert 3D-scenerekonstruksjon. På dette bildet fra prosjektet er vindforstyrrelser lagt til som en potensiell hindring for dronen, og vi kan se at dronen et øyeblikk blir avledet fra sin bane og kompenserer i siste øyeblikk for å unngå en potensiell hindring. Kilde: https://mikh3x4.github.io/nerf-navigation/

Metoden gir mulighet for interaktiv trening av droner (eller andre typer objekter) i virtuelle scenarier som automatisk inkluderer voluminformasjon (for å beregne kollisjonsunngåelse), teksturering tegnet direkte fra virkelige bilder (for å hjelpe med å trene dronenes bildegjenkjenningsnettverk i en mer realistisk måte), og belysning fra den virkelige verden (for å sikre at en rekke lysscenarier trenes inn i nettverket, og unngår overtilpasning eller overoptimering til det originale øyeblikksbildet av scenen).

Et sofaobjekt navigerer i et komplekst virtuelt miljø som ville vært svært vanskelig å kartlegge ved å bruke geometrifangst og reteksturering i tradisjonelle AR/VR-arbeidsflyter, men som ble gjenskapt automatisk i NeRF fra et begrenset antall bilder. Kilde: https://www.youtube.com/watch?v=5JjWpv9BaaE

Typiske NeRF-implementeringer har ikke banemekanismer, siden de fleste av mengden av NeRF-prosjekter de siste 18 månedene har konsentrert seg om andre utfordringer, som f.eks. gjenlysing av scenen, refleksjonsgjengivelse, sammensetting og løsrivelse av fangede elementer. Derfor er det nye papirets primære innovasjon å implementere et NeRF-miljø som et navigerbart rom, uten det omfattende utstyret og arbeidskrevende prosedyrene som vil være nødvendig for å modellere det som et 3D-miljø basert på sensorfangst og CGI-rekonstruksjon.

NeRF som VR/AR

Den nye papir har tittelen Visjon-bare robotnavigering i en nevral utstrålingsverden, og er et samarbeid mellom tre Stanford-avdelinger: Aeronautics and Astronautics, Mechanical Engineering og Computer Science.

Arbeidet foreslår et navigasjonsrammeverk som gir en robot et forhåndstrent NeRF-miljø, hvis volumtetthet avgrenser mulige veier for enheten. Den inkluderer også et filter for å estimere hvor roboten er inne i det virtuelle miljøet, basert på bildegjenkjenning av robotens innebygde RGB-kamera. På denne måten er en drone eller robot i stand til å "hallusinere" mer nøyaktig hva den kan forvente å se i et gitt miljø.

Prosjektets baneoptimerer navigerer gjennom en NeRF-modell av Stonehenge som ble generert gjennom fotogrammetri og bildetolkning (i dette tilfellet av mesh-modeller) inn i et Neural Radiance-miljø. Baneplanleggeren beregner en rekke mulige stier før den etablerer en optimal bane over buen.

Fordi et NeRF-miljø har fullt modellerte okklusjoner, kan dronen lære å beregne hindringer lettere, siden det nevrale nettverket bak NeRF kan kartlegge forholdet mellom okklusjoner og måten dronens synsbaserte navigasjonssystemer ombord oppfatter miljøet på. Den automatiserte NeRF-generasjonspipelinen tilbyr en relativt triviell metode for å lage hyper-ekte treningsrom med bare noen få bilder.

Det elektroniske omplanleggingsrammeverket utviklet for Stanford-prosjektet legger til rette for en spenstig og fullstendig visjonsbasert navigasjonspipeline.

Stanford-initiativet er blant de første som vurderer mulighetene for å utforske et NeRF-rom i sammenheng med et navigerbart og oppslukende miljø i VR-stil. Neural Radiance-felt er en fremvoksende teknologi, og for tiden gjenstand for flere akademiske anstrengelser for å optimalisere deres høye krav til dataressurser, samt for å løsne de fangede elementene.

Nerf er ikke (virkelig) CGI

Fordi et NeRF-miljø er en navigerbar 3D-scene, har det blitt en misforstått teknologi siden dens fremvekst i 2020, ofte oppfattet som en metode for å automatisere opprettelsen av masker og teksturer, i stedet for å erstatte 3D-miljøer som er kjent for seere fra Hollywood VFX-avdelinger og de fantastiske scenene i Augmented Reality og Virtual Reality-miljøer.

NeRF trekker ut geometri- og teksturinformasjon fra et svært begrenset antall bildesynspunkter, og beregner forskjellen mellom bilder som volumetrisk informasjon. Kilde: https://www.matthewtancik.com/nerf

Faktisk er NeRF-miljøet mer som et "live" gjengivelsesrom, der en sammenslåing av piksel- og lysinformasjon beholdes og navigeres i et aktivt og løpende nevralt nettverk.

Nøkkelen til NeRFs potensiale er at det kun kreves et begrenset antall bilder for å gjenskape miljøer, og at de genererte miljøene inneholder all nødvendig informasjon for en høy-fidelity rekonstruksjon, uten behov for tjenester fra modellerere, teksturkunstnere, lyssetting spesialister og horder av andre bidragsytere til "tradisjonell" CGI.

Semantisk segmentering

Selv om NeRF effektivt utgjør 'Computer-Generated Imagery' (CGI), tilbyr den en helt annen metodikk og en høyautomatisert pipeline. I tillegg kan NeRF isolere og 'innkapsle' bevegelige deler av en scene, slik at de kan legges til, fjernes, fremskyndes og generelt fungere som diskrete fasetter i et virtuelt miljø – en evne som er langt utenfor dagens tilstand. kunsten i en "Hollywood"-tolkning av hva CGI er.

A samarbeid fra Shanghai Tech University, utgitt sommeren 2021, tilbyr en metode for å individualisere bevegelige NeRF-elementer til "pasbare" fasetter for en scene. Kilde: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Negativt er NeRFs arkitektur litt av en 'black box'; det er foreløpig ikke mulig å trekke ut et objekt fra et NeRF-miljø og direkte manipulere det med tradisjonelle mesh-baserte og bildebaserte verktøy, selv om en rekke forskningsinnsatser begynner å gjøre gjennombrudd i dekonstrueringen av matrisen bak NeRFs nevrale nettverks live render-miljøer.