NeRFocus: Einführung von leichter Fokuskontrolle in Neural Radiance Fields

Neue Forschung aus China bietet eine Methode, um erschwingliche Kontrolle über Tiefenschärfeeinflüsse für Neural Radiance Fields (NeRF) zu erzielen, sodass der Endbenutzer die Fokusebene einstellen und die Konfiguration der virtuellen Linse im Renderbereich dynamisch ändern kann.

Die Technik mit dem Titel NeRFocus implementiert einen neuen Ansatz der “Dünnschicht-Imaging”-Fokustraversierung und innoviert P-Training, eine probabilistische Trainingsstrategie, die die Notwendigkeit von dedizierten Tiefenschärfe-Datensätzen eliminiert und einen fokussierten Trainingsworkflow vereinfacht.

Die Studie trägt den Titel NeRFocus: Neural Radiance Field für 3D-Synthetic Defocus und stammt von vier Forschern der Shenzhen Graduate School an der Peking-Universität und dem Peng Cheng Laboratory in Shenzhen, einem von der Regierung der Provinz Guangdong finanzierten Institut.

Behandlung des fovealen Aufmerksamkeitspunkts in NeRF

Wenn NeRF jemals als gültige Technologie für virtuelle und erweiterte Realität dienen soll, benötigt es eine leichte Methode, um realistische foveale Rendering zu ermöglichen, bei der die meisten Renderressourcen um den Blick des Benutzers herum akkumulieren, anstatt sie willkürlich mit niedrigerer Auflösung über den gesamten verfügbaren visuellen Raum zu verteilen.

Aus der Studie von 2021 Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality sehen wir den Aufmerksamkeitspunkt in einem neuen fovealen Renderingschema für NeRF. Quelle: https://arxiv.org/pdf/2103.16365.pdf

Ein wesentlicher Teil der Authentizität zukünftiger NeRF-Implementierungen wird die Fähigkeit des Systems sein, die Fähigkeit des menschlichen Auges zu reflektieren, den Fokus über eine zurückgehende Perspektivebene zu ändern (siehe erstes Bild oben).

Dieser Fokusgradient ist auch ein Wahrnehmungsindikator für die Größe der Szene; die Ansicht aus einem Hubschrauber, der über eine Stadt fliegt, hat keine navigierbaren Fokusebenen, da die gesamte Szene jenseits der äußersten Fokuskapazität des Betrachters liegt, während die Untersuchung einer Miniatur- oder “Nahfeld”-Szene nicht nur “Fokus-Racken” ermöglichen, sondern auch aus Realismusgründen standardmäßig eine schmale Tiefenschärfe enthalten sollte.

Unten ist ein Video zu sehen, das die anfänglichen Fähigkeiten von NeRFocus demonstriert, das uns von dem entsprechenden Autor der Studie zur Verfügung gestellt wurde:

Jenseits eingeschränkter Fokusebenen

Bewusst für die Anforderungen an die Fokuskontrolle haben verschiedene NeRF-Projekte in den letzten Jahren Vorkehrungen dafür getroffen, obwohl alle bisherigen Versuche mehr oder weniger als Workarounds oder mit bemerkenswerten Post-Processing-Routinen funktionieren, die sie unwahrscheinlich für die letztendlich für Neural-Radiance-Fields-Technologien vorgesehenen Echtzeitumgebungen machen.

Synthetische Fokuskontrolle in neuronalen Renderframeworks wurde durch verschiedene Methoden in den letzten 5-6 Jahren versucht – beispielsweise durch die Verwendung eines Segmentierungsnetzwerks, um die Vorder- und Hintergrunddaten abzutrennen und dann generisch zu entfokussieren – eine gängige Lösung für einfache Zwei-Ebenen-Fokuseffekte.

Aus der Studie ‘Automatic Portrait Segmentation for Image Stylization’, eine alltägliche, animationsähnliche Trennung von Fokusebenen. Quelle: https://jiaya.me/papers/portrait_eg16.pdf

Mehrere Ebenen addieren einige virtuelle “Animationszellen” zu diesem Paradigma, beispielsweise durch die Verwendung von Tiefenschätzung, um die Szene in eine ungleichmäßige, aber handhabbare Tiefenschärfe-Gradienten aufzuteilen, und dann orchestrieren sie tiefenabhängige Kerne, um Unschärfe zu synthetisieren.

Zusätzlich und sehr relevant für potenzielle AR/VR-Umgebungen kann die Diskrepanz zwischen den beiden Blickwinkeln eines Stereo-Kamera-Setups als Tiefenproxy verwendet werden – ein Ansatz, der 2015 von Google Research vorgeschlagen wurde.

Aus der von Google geleiteten Studie Fast Bilateral-Space Stereo for Synthetic Defocus, die Differenz zwischen den beiden Blickwinkeln liefert eine Tiefenkarte, die das Verschwommachen ermöglichen kann. Quelle

Ansätze dieser Art neigen dazu, Randartefakte zu zeigen, da sie versuchen, zwei distinkte und randbegrenzte Fokusebenen als kontinuierlichen Fokusgradienten darzustellen.

Im Jahr 2021 bot die RawNeRF-Initiative High Dynamic Range (HDR)-Funktionen mit größerer Kontrolle über Niedriglichtsituationen und einer offensichtlich beeindruckenden Fähigkeit, den Fokus zu ändern:

RawNeRF ändert den Fokus schön (wenn auch in diesem Fall unecht, aufgrund unrealistischer Fokusebenen), aber kommt mit hohem Rechenaufwand. Quelle: https://bmild.github.io/rawnerf/

Allerdings erfordert RawNeRF eine aufwändige Vorverarbeitung für seine Mehrfachebenen-Darstellungen des trainierten NeRF, was zu einem Workflow führt, der nicht leicht auf leichtere oder latenzärmere NeRF-Implementierungen adaptiert werden kann.

Modellierung einer virtuellen Linse

NeRF selbst basiert auf dem Lochkamera-Modell, das die gesamte Szene scharf in einer ähnlichen Weise wie eine Standard-CGI-Szene (vor den verschiedenen Ansätzen, die Unschärfe als Post-Processing- oder inhärenten Effekt basierend auf Tiefenschärfe rendern) darstellt.

NeRFocus erstellt eine virtuelle “Dünnschicht”-Linse (anstatt einer “glaslosen” Blende), die den Strahlweg jedes ankommenden Pixels berechnet und ihn direkt rendern lässt, was effektiv den Standard-Bildaufnahmeprozess umkehrt, der post facto auf Lichtinput arbeitet, der bereits von den brechenden Eigenschaften der Linsendesigns beeinflusst wurde.

Dieses Modell eröffnet eine Reihe von Möglichkeiten für die Rendering-Inhalte innerhalb des Frustums (der größten Kreislinie des Einflusses, die im Bild oben dargestellt ist).

Die Berechnung der korrekten Farbe und Dichte für jeden Multilayer-Perzeptron (MLP) in diesem breiteren Möglichkeitsbereich ist eine zusätzliche Aufgabe. Dies wurde früher durch die Anwendung von überwachtem Training auf eine große Anzahl von DLSR-Bildern gelöst, was die Erstellung zusätzlicher Datensätze für einen probabilistischen Trainingsworkflow beinhaltete – effektiv die mühsame Vorbereitung und Speicherung mehrerer möglicher berechneter Ressourcen, die möglicherweise nicht benötigt werden.

NeRFocus überwindet dies durch P-Training, bei dem Trainingsdatensätze auf der Grundlage von grundlegenden Unschärfeoperationen generiert werden. Somit wird das Modell mit Unschärfeoperationen angelegt und navigierbar.

Der Blendendurchmesser wird während des Trainings auf Null gesetzt und vordefinierte Wahrscheinlichkeiten verwendet, um einen Unschärfe-Kernel zufällig auszuwählen.

Die Autoren der neuen Studie bemerken, dass NeRFocus möglicherweise mit dem HDR-ansatz von RawNeRF kompatibel ist, der möglicherweise bei der Rendering bestimmter herausfordernder Abschnitte helfen könnte, wie z.B. entfokussierte Spekularhöhepunkte und viele der anderen rechenintensiven Effekte, die CGI-Workflows seit über 30 Jahren herausfordern.

Der Prozess erfordert keine zusätzlichen Anforderungen an Zeit und/oder Parameter im Vergleich zu vorherigen Ansätzen wie NeRF und Mip-NeRF (und vermutlich Mip-NeRF 360, obwohl dies in der Studie nicht angesprochen wird) und ist als allgemeine Erweiterung der zentralen Methodik von NeRF anwendbar.

Erstveröffentlicht am 12. März 2022.