NeRF: Utbildning av drönare i neurala strålningsmiljöer

Forskare från Stanford University har utvecklat en ny metod för att utbilda drönare att navigera i fotorealistiska och högprecisa miljöer, genom att utnyttja den senaste vågen av intresse för Neurala Strålningsfält (NeRF).

Drönare kan utbildas i virtuella miljöer som kartlagts direkt från verkliga platser, utan behov av specialiserad 3D-scenrekonstruktion. I denna bild från projektet har vindstörning lagts till som en potentiell hinder för drönaren, och vi kan se att drönaren tillfälligt avviker från sin bana och kompenserar i sista ögonblicket för att undvika ett potentiellt hinder. Källa: https://mikh3x4.github.io/nerf-navigation/

Metoden erbjuder möjligheten för interaktiv utbildning av drönare (eller andra typer av objekt) i virtuella scenarier som automatiskt innehåller volyminformation (för att beräkna kollisionsundvikande), texturering som ritats direkt från verkliga foton (för att hjälpa drönarens bildigenkänningssystem att utbildas på ett mer realistiskt sätt), och verklig belysning (för att säkerställa att en variation av belysnings scenarier tränas in i nätverket, och undvika överanpassning eller överoptimisering till den ursprungliga ögonblicksbilden av scenen).

Ett soff-objekt navigerar en komplex virtuell miljö som skulle ha varit mycket svår att karta med hjälp av geometriinfångning och omtexturering i traditionella AR/VR-arbetsflöden, men som återskapades automatiskt i NeRF från ett begränsat antal foton. Källa: https://www.youtube.com/watch?v=5JjWpv9BaaE

Typiska NeRF-implementeringar saknar banmekanismer, eftersom de flesta NeRF-projekt under de senaste 18 månaderna har fokuserat på andra utmaningar, såsom scenbelysning, reflektionsrendering, komposition och avkoppling av infångade element. Därför är den nya artikeln primärt innovativ genom att implementera en NeRF-miljö som en navigerbar yta, utan den omfattande utrustning och tidskrävande procedurer som skulle vara nödvändiga för att modellera den som en 3D-miljö baserad på sensorinfångning och CGI-rekonstruktion.

NeRF som VR/AR

Den nya artikeln heter Vision-Only Robot Navigation in a Neural Radiance World, och är ett samarbete mellan tre Stanford-avdelningar: Aeronautik och astronautik, maskinteknik och datavetenskap.

Arbetet föreslår en navigeringsram som tillhandahåller en robot med en förutbildad NeRF-miljö, vars volymdensitet begränsar möjliga banor för enheten. Den innehåller också ett filter för att uppskatta var roboten befinner sig i den virtuella miljön, baserat på bildigenkänning av robotens onboard-RGB-kamera. På detta sätt kan en drönare eller robot “hallucinera” mer exakt vad den kan förvänta sig att se i en given miljö.

Projektets banaoptimerare navigerar genom en NeRF-modell av Stonehenge som genererades genom fotogrammetri och bildtolkning (i detta fall, av nätmodeller) till en neural strålningsmiljö. Banplaneraren beräknar ett antal möjliga banor innan den etablerar en optimal bana över bågen.

Eftersom en NeRF-miljö har fullständigt modellerade ocklusioner, kan drönaren lära sig att beräkna hinder mer lätt, eftersom det neuronnätverk som ligger bakom NeRF kan karta relationen mellan ocklusioner och hur drönarens onboard-visionbaserade navigeringssystem uppfattar miljön. Den automatiserade NeRF-genereringspipelinen erbjuder en relativt trivial metod för att skapa hyperrealistiska utbildningsutrymmen med bara ett fåtal foton.

Den online-omplaneringsram som utvecklats för Stanford-projektet möjliggör en resilient och helt visionbaserad navigeringspipeline.

Stanford-initiativet är bland de första som överväger möjligheterna att utforska en NeRF-rymd i sammanhanget med en navigerbar och immersiv VR-liknande miljö. Neurala strålningsfält är en ny teknik, och för närvarande föremål för flera akademiska insatser för att optimera deras höga beräkningsresurskrav, samt att avkoppla de infångade elementen.

NeRF är inte (verkligen) CGI

Eftersom en NeRF-miljö är en navigerbar 3D-scen, har den blivit en missförstådd teknik sedan dess uppkomst 2020, ofta allmänt uppfattad som en metod för att automatisera skapandet av nät och texturer, snarare än att ersätta 3D-miljöer som är bekanta för tittare från Hollywood-VFX-avdelningar och de fantastiska scenerna i förstärkt verklighet och virtuell verklighet.

NeRF extraherar geometri- och texturinformation från ett mycket begränsat antal bildvyer, beräknar skillnaden mellan bilderna som volyminformation. Källa: https://www.matthewtancik.com/nerf

I själva verket är NeRF-miljön mer som en “levande” rendermiljö, där en sammanslagning av pixel- och ljusinformation behålls och navigeras i ett aktivt och körande neuronnätverk.

Nyckeln till NeRF:s potential är att den bara kräver ett begränsat antal bilder för att återskapa miljöer, och att de genererade miljöerna innehåller all nödvändig information för en högkvalitativ rekonstruktion, utan behov av tjänster från modellörer, texturkonstnärer, belysningspecialister och de många andra bidragsgivarna till “traditionell” CGI.

Semantisk segmentering

Även om NeRF i praktiken utgör “datorgenererad bild” (CGI), erbjuder den en helt annan metodologi och en högt automatiserad pipeline. Dessutom kan NeRF isolera och “inkapsla” rörliga delar av en scen, så att de kan läggas till, tas bort, accelereras och generellt fungera som separata delar i en virtuell miljö – en förmåga som är långt bortom den nuvarande tillståndskonsten i en “Hollywood”-tolkning av vad CGI är.

En samarbete från Shanghai Tech University, släppt sommaren 2021, erbjuder en metod för att individuera rörliga NeRF-element till “klistrade” delar för en scen. Källa: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Negativt, NeRF:s arkitektur är en sorts “svart låda”; det är för närvarande inte möjligt att extrahera ett objekt från en NeRF-miljö och direkt manipulera det med traditionella nätbaserade och bildbaserade verktyg, även om ett antal forskningsinsatser börjar göra genombrott i att dekonstruera matrisen bakom NeRF:s neuronnätverkslivmiljöer.