NeRF: Training von Drohnen in Umgebungen mit neuronaler Strahlung

Forscher der Stanford University haben eine neue Methode entwickelt, Drohnen für die Navigation in fotorealistischen und hochpräzisen Umgebungen zu trainieren, indem sie sich die neuesten Erkenntnisse zunutze machen Lawine von Interesse in Neural Radiance Fields (NeRF).

Drohnen können in virtuellen Umgebungen trainiert werden, die direkt von realen Standorten aus kartiert werden, ohne dass eine spezielle 3D-Szenenrekonstruktion erforderlich ist. In diesem Bild des Projekts wurden Windstörungen als potenzielles Hindernis für die Drohne hinzugefügt, und wir können sehen, wie die Drohne vorübergehend von ihrer Flugbahn abweicht und im letzten Moment einen Ausgleich schafft, um einem potenziellen Hindernis auszuweichen. Quelle: https://mikh3x4.github.io/nerf-navigation/

Die Methode bietet die Möglichkeit zum interaktiven Training von Drohnen (oder anderen Arten von Objekten) in virtuellen Szenarien, die automatisch Volumeninformationen (zur Berechnung der Kollisionsvermeidung) und direkt aus realen Fotos gezeichnete Texturen (um das Training der Bilderkennungsnetzwerke von Drohnen zu unterstützen) einbeziehen (eine realistischere Art und Weise) und reale Beleuchtung (um sicherzustellen, dass eine Vielzahl von Beleuchtungsszenarien in das Netzwerk eingelernt werden, um eine Überanpassung oder Überoptimierung des ursprünglichen Schnappschusses der Szene zu vermeiden).

Ein Couchobjekt navigiert durch eine komplexe virtuelle Umgebung, die mithilfe der Geometrieerfassung und Retexturierung in herkömmlichen AR/VR-Workflows nur sehr schwer abzubilden gewesen wäre, die jedoch in NeRF automatisch aus einer begrenzten Anzahl von Fotos neu erstellt wurde. Quelle: https://www.youtube.com/watch?v=5JjWpv9BaaE

Typische NeRF-Implementierungen verfügen nicht über Trajektorienmechanismen, da sich die meisten NeRF-Projekte in den letzten 18 Monaten auf andere Herausforderungen konzentriert haben, wie z Szene neu beleuchten, Reflexionswiedergabe, Compositing und Entwirrung der erfassten Elemente. Daher besteht die Hauptinnovation des neuen Papiers darin, eine NeRF-Umgebung als navigierbaren Raum zu implementieren, ohne die umfangreiche Ausrüstung und die mühsamen Verfahren, die erforderlich wären, um sie als 3D-Umgebung basierend auf Sensorerfassung und CGI-Rekonstruktion zu modellieren.

NeRF als VR/AR

The new Krepppapier ist betitelt Nur-Vision-Roboternavigation in einer Welt mit neuronaler Strahlung, und ist eine Zusammenarbeit zwischen drei Stanford-Abteilungen: Luft- und Raumfahrt, Maschinenbau und Informatik.

Die Arbeit schlägt ein Navigationsframework vor, das einem Roboter eine vorab trainierte NeRF-Umgebung bereitstellt, deren Volumendichte mögliche Pfade für das Gerät abgrenzt. Es enthält außerdem einen Filter, der auf der Grundlage der Bilderkennung der integrierten RGB-Kamera des Roboters abschätzt, wo sich der Roboter in der virtuellen Umgebung befindet. Auf diese Weise kann eine Drohne oder ein Roboter genauer „halluzinieren“, was sie in einer bestimmten Umgebung erwarten können.

Der Trajektorienoptimierer des Projekts navigiert durch ein NeRF-Modell von Stonehenge, das durch Photogrammetrie und Bildinterpretation (in diesem Fall von Netzmodellen) generiert wurde, in eine Neural Radiance-Umgebung. Der Flugbahnplaner berechnet eine Reihe möglicher Pfade, bevor er eine optimale Flugbahn über dem Bogen festlegt.

Da eine NeRF-Umgebung über vollständig modellierte Verdeckungen verfügt, kann die Drohne lernen, Hindernisse einfacher zu berechnen, da das neuronale Netzwerk hinter der NeRF die Beziehung zwischen Verdeckungen und der Art und Weise abbilden kann, wie die visionsbasierten Navigationssysteme der Drohne an Bord die Umgebung wahrnehmen. Die automatisierte NeRF-Generierungspipeline bietet eine relativ triviale Methode, mit nur wenigen Fotos hyperreale Trainingsräume zu erstellen.

Das für das Stanford-Projekt entwickelte Online-Neuplanungs-Framework ermöglicht eine belastbare und vollständig visionsbasierte Navigationspipeline.

Die Stanford-Initiative gehört zu den ersten, die die Möglichkeiten der Erkundung eines NeRF-Raums im Kontext einer navigierbaren und immersiven VR-ähnlichen Umgebung in Betracht zieht. Neuronale Strahlungsfelder sind eine aufstrebende Technologie und unterliegen derzeit zahlreichen akademischen Bemühungen, ihren hohen Bedarf an Rechenressourcen zu optimieren und die erfassten Elemente zu entwirren.

Nerf ist nicht (wirklich) CGI

Da es sich bei einer NeRF-Umgebung um eine navigierbare 3D-Szene handelt, ist sie seit ihrer Einführung im Jahr 2020 zu einer missverstandenen Technologie geworden, die oft als eine Methode zur Automatisierung der Erstellung von Netzen und Texturen angesehen wird, anstatt 3D-Umgebungen zu ersetzen, die den Zuschauern aus den VFX-Abteilungen Hollywoods vertraut sind die fantastischen Szenen von Augmented Reality- und Virtual Reality-Umgebungen.

NeRF extrahiert Geometrie- und Texturinformationen aus einer sehr begrenzten Anzahl von Bildansichtspunkten und berechnet den Unterschied zwischen Bildern als volumetrische Informationen. Quelle: https://www.matthewtancik.com/nerf

Tatsächlich ähnelt die NeRF-Umgebung eher einem „lebenden“ Renderraum, in dem eine Verschmelzung von Pixel- und Beleuchtungsinformationen gespeichert und in einem aktiven und laufenden neuronalen Netzwerk navigiert wird.

Der Schlüssel zum Potenzial von NeRF liegt darin, dass es nur eine begrenzte Anzahl von Bildern benötigt, um Umgebungen nachzubilden, und dass die generierten Umgebungen alle notwendigen Informationen für eine hochauflösende Rekonstruktion enthalten, ohne dass die Dienste von Modellierern, Texturkünstlern oder Beleuchtung erforderlich sind Spezialisten und die Scharen anderer Mitwirkender an „traditionellem“ CGI.

Semantische Segmentierung

Auch wenn es sich bei NeRF praktisch um „Computer-Generated Imagery“ (CGI) handelt, bietet es eine völlig andere Methodik und eine hochautomatisierte Pipeline. Darüber hinaus kann NeRF bewegliche Teile einer Szene isolieren und „kapseln“, sodass sie hinzugefügt, entfernt und beschleunigt werden können und im Allgemeinen als diskrete Facetten in einer virtuellen Umgebung funktionieren – eine Fähigkeit, die weit über den aktuellen Stand der Technik hinausgeht. die Kunst in einer „Hollywood“-Interpretation dessen, was CGI ist.

A Zusammenarbeit von der Shanghai Tech University, veröffentlicht im Sommer 2021, bietet eine Methode, um bewegliche NeRF-Elemente in „einfügbare“ Facetten für eine Szene zu individualisieren. Quelle: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Negativ ist, dass die Architektur von NeRF eine Art „Blackbox“ ist; Derzeit ist es nicht möglich, ein Objekt aus einer NeRF-Umgebung zu extrahieren und es direkt mit herkömmlichen netz- und bildbasierten Werkzeugen zu manipulieren, obwohl eine Reihe von Forschungsbemühungen beginnen, Durchbrüche bei der Dekonstruktion der Matrix hinter den Live-Rendering-Umgebungen des neuronalen Netzwerks von NeRF zu erzielen.