NeRF: Training Drones in Neurale Stralingsomgevingen

Onderzoekers van de Stanford University hebben een nieuwe manier bedacht om drones te trainen om photorealistiche en zeer nauwkeurige omgevingen te navigeren, door het recente grote interesse in Neurale Stralingsvelden (NeRF) te benutten.

Drones kunnen getraind worden in virtuele omgevingen die direct zijn gemapt vanuit echte locaties, zonder speciale 3D-scène-reconstructie. In deze afbeelding van het project is windverstoring toegevoegd als een potentieel obstakel voor de drone, en we zien de drone die tijdelijk wordt afgeleid van zijn traject en op het laatste moment compenseert om een potentieel obstakel te vermijden. Bron: https://mikh3x4.github.io/nerf-navigation/

De methode biedt de mogelijkheid voor interactieve training van drones (of andere soorten objecten) in virtuele scenario’s die automatisch volume-informatie bevatten (om botsingen te voorkomen), textuur die rechtstreeks uit echte foto’s is getrokken (om de beeldherkenningsnetwerken van drones op een meer realistische manier te trainen) en echte verlichting (om te garanderen dat een verscheidenheid aan verlichtingsscenario’s in het netwerk worden getraind, zonder over-fitting of over-optimalisatie van de oorspronkelijke snapshot van de scène).

Een couch-object navigeert door een complexe virtuele omgeving die zeer moeilijk te maken zou zijn met behulp van geometrie-capture en retexturing in traditionele AR/VR-workflows, maar die automatisch is gereconstrueerd in NeRF vanuit een beperkt aantal foto’s. Bron: https://www.youtube.com/watch?v=5JjWpv9BaaE

Typische NeRF-implementaties hebben geen trajectmechanismen, omdat de meeste van de recente NeRF-projecten zich hebben gericht op andere uitdagingen, zoals scène-relighting, reflectie-rendering, compositing en disentanglement van vastgelegde elementen. Daarom is de primaire innovatie van het nieuwe artikel het implementeren van een NeRF-omgeving als een navigeerbare ruimte, zonder de uitgebreide apparatuur en tijdrovende procedures die nodig zouden zijn om het te modelleren als een 3D-omgeving op basis van sensor-capture en CGI-reconstructie.

NeRF als VR/AR

Het nieuwe artikel heet Vision-Only Robot Navigation in a Neural Radiance World en is een samenwerking tussen drie afdelingen van Stanford: Aeronautics and Astronautics, Mechanical Engineering en Computer Science.

Het werk stelt een navigatiekader voor dat een robot een vooraf getrainde NeRF-omgeving biedt, waarvan de volumedichtheid de mogelijke paden voor het apparaat aangeeft. Het bevat ook een filter om te schatten waar de robot zich in de virtuele omgeving bevindt, op basis van beeldherkenning van de onboard RGB-camera van de robot. Op deze manier kan een drone of robot ‘hallucineren’ wat het kan verwachten te zien in een bepaalde omgeving.

Het trajectoptimalisatie-algoritme van het project navigeert door een NeRF-model van Stonehenge dat is gegenereerd door middel van fotogrammetrie en beeldinterpretatie (in dit geval, van mesh-modellen) in een Neurale Stralingsomgeving. De trajectplanner berekent een aantal mogelijke paden voordat het een optimale traject vaststelt over de boog.

Omdat een NeRF-omgeving volledig gemodelleerde occlusies bevat, kan de drone leren om obstakels gemakkelijker te berekenen, omdat het neurale netwerk achter de NeRF de relatie tussen occlusies en de manier waarop de onboard visie-gebaseerde navigatiesystemen van de drone de omgeving waarnemen, kan in kaart brengen. De geautomatiseerde NeRF-generatiepijplijn biedt een relatief eenvoudige methode om hyper-reële trainingsruimtes te creëren met slechts een paar foto’s.

Het online herplanningskader dat is ontwikkeld voor het Stanford-project, biedt een veerkrachtige en geheel visie-gebaseerde navigatiepijplijn.

Het Stanford-initiatief is een van de eerste die de mogelijkheden van het verkennen van een NeRF-ruimte in de context van een navigeerbare en immersieve VR-achtige omgeving overweegt. Neurale Stralingsvelden zijn een opkomende technologie en worden momenteel onderworpen aan meerdere academische inspanningen om hun hoge rekenresource-eisen te optimaliseren, evenals om de vastgelegde elementen te disentangelen.

Nerf Is Not (Really) CGI

Omdat een NeRF-omgeving een navigeerbare 3D-scène is, is het een misverstane technologie sinds zijn opkomst in 2020, vaak breed waargenomen als een methode voor het automatiseren van het creëren van meshen en texturen, in plaats van het vervangen van 3D-omgevingen die bekend zijn bij kijkers vanuit Hollywood VFX-afdelingen en de fantastische scènes van Augmented Reality- en Virtual Reality-omgevingen.

NeRF haalt geometrie- en textuurinformatie uit een zeer beperkt aantal beeldpunten, waarbij het verschil tussen beelden als volumetrische informatie wordt berekend. Bron: https://www.matthewtancik.com/nerf

In feite is de NeRF-omgeving meer als een ‘live’ render-ruimte, waarin een combinatie van pixel- en verlichtingsinformatie wordt behouden en genavigeerd in een actief en draaiend neurale netwerk.

De sleutel tot NeRF’s potentieel is dat het slechts een beperkt aantal beelden nodig heeft om omgevingen te reconstrueren, en dat de gegenereerde omgevingen alle benodigde informatie bevatten voor een hoge-fidelity-reconstructie, zonder de diensten van modelleurs, texturen, lichtspecialisten en de hordes van andere bijdragers aan ‘traditionele’ CGI.

Semantische Segmentatie

Zelfs als NeRF effectief ‘Computer-Generated Imagery’ (CGI) vormt, biedt het een geheel andere methodologie en een zeer geautomatiseerde pijplijn. Bovendien kan NeRF bewegende delen van een scène isoleren en ‘encapsuleren’, zodat ze kunnen worden toegevoegd, verwijderd, versneld en algemeen kunnen functioneren als discrete facetten in een virtuele omgeving – een mogelijkheid die ver voorbij de huidige stand van de techniek ligt in een ‘Hollywood’-interpretatie van wat CGI is.

Een samenwerking van de Shanghai Tech University, uitgebracht in de zomer van 2021, biedt een methode om bewegende NeRF-elementen te individualiseren in ‘plakbare’ facetten voor een scène. Bron: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Negatief is dat NeRF’s architectuur een beetje een ‘black box’ is; het is momenteel niet mogelijk om een object uit een NeRF-omgeving te extraheren en rechtstreeks te manipuleren met traditionele mesh-gebaseerde en beeld-gebaseerde tools, hoewel een aantal onderzoeksinspanningen begint om doorbraken te maken in het deconstrueren van de matrix achter NeRF’s neurale netwerk live render-omgevingen.