Neuronale Radiance-Felder mit jedem Umgebungs-Map neu beleuchten

Eine neue Studie des Max-Planck-Instituts und des MIT hat eine Technik vorgeschlagen, um eine wahre Trennung von Neuralen Radiance-Feld-Inhalten von der Beleuchtung zu erreichen, die bei der Datenerfassung vorhanden war, und es ermöglicht ad hoc-Umgebungs-Maps, die gesamte Beleuchtung in einer NeRF-Szene auszutauschen:

Die neue Technik wird auf reale Daten angewendet. Es ist bemerkenswert, dass die Methode sogar auf archivierten Daten dieser Art funktioniert, die die neue Pipeline nicht berücksichtigt haben, als die Daten erfasst wurden. Trotzdem wird eine realistische und benutzerdefinierte Beleuchtungskontrolle erreicht. Quelle: https://arxiv.org/pdf/2207.13607.pdf

Der neue Ansatz verwendet das beliebte Open-Source-3D-Animationsprogramm Blender, um eine “virtuelle Lichtbühne” zu erstellen, in der zahlreiche Iterationen möglicher Beleuchtungsszenarien gerendert und schließlich in einer speziellen Schicht im NeRF-Modell trainiert werden, die jede Umgebungs-Map aufnehmen kann, die der Benutzer verwenden möchte, um die Szene zu beleuchten.

Eine Darstellung des Teils der Pipeline, der Blender nutzt, um virtuelle Lichtbühnen-Ansichten der extrahierten Geometrie zu erstellen. Frühere Methoden, die ähnliche Ansätze verfolgen, haben tatsächliche Lichtbühnen verwendet, um diese Daten bereitzustellen, was eine belastende Anforderung für diskrete Objekte und eine unmögliche für Außenansichten ist. In der oberen linken Ecke der beiden rechten Bilder können wir die Umgebungs-Maps sehen, die die Beleuchtung der Szene bestimmen. Diese können vom Endbenutzer willkürlich erstellt werden, was NeRF einen Schritt näher an die Flexibilität eines modernen CGI-Ansatzes bringt.

Der Ansatz wurde gegen das Mitsuba2-Inverse-Rendering-Framework und gegen frühere Arbeiten wie PhySG, RNR, Neural-PIL und NeRFactor getestet, wobei nur ein direktes Beleuchtungsmodell verwendet wurde, und erhielt die besten Ergebnisse:

Ergebnisse der neuen Technik im Vergleich zu anderen Ansätzen unter verschiedenen Verlustfunktionen. Die Forscher behaupten, dass ihr Ansatz die höchsten Qualitätsergebnisse liefert, die durch Peak Signal-to-noise Ratio (PSNR), Structural Similarity Index Measure (SSIM) und die effektive, wenn auch exzentrische, Learned Perceptual Image Patch Similarity (LPIPS) bewertet werden.

Die Studie besagt:

‘Unsere qualitativen und quantitativen Ergebnisse zeigen einen klaren Fortschritt in Bezug auf die Wiederherstellung von Szene-Parametern sowie die Synthese-Qualität unseres Ansatzes unter neuen Ansichten und Beleuchtungsbedingungen im Vergleich zum vorherigen Stand der Technik.’

Die Forscher erklären, dass sie den Code für das Projekt bald veröffentlichen werden.

Die Notwendigkeit der NeRF-Bearbeitbarkeit

Diese Art der Trennung hat sich für Forscher im Bereich Neuronale Radiance-Felder als bemerkenswerte Herausforderung erwiesen, da NeRF im Wesentlichen eine Photogrammetrie-Technik ist, die den Pixelwert von Tausenden möglichen Pfaden von einem Blickwinkel aus berechnet, RGBD-Werte zuweist und eine Matrix dieser Werte in eine volumetrische Darstellung zusammenfügt. Im Kern wird NeRF durch Beleuchtung definiert.

Tatsächlich ist NeRF trotz seiner beeindruckenden visuellen Effekte und seiner umfangreichen Übernahme durch NVIDIA (NVDA ) bemerkenswert “starr” – in CGI-Terminologie “gebacken”. Daher hat sich die Forschungsgemeinschaft in den letzten 12-18 Monaten auf die Verbesserung seiner Handhabbarkeit und Vielseitigkeit in dieser Hinsicht konzentriert.

Was die Bedeutung angeht, sind die Einsätze für diesen Meilenstein hoch und umfassen die Möglichkeit, die visuellen Effektindustrie von einem kreativen und kollaborativen Modell, das auf Mesh-Generierung, Bewegungsdynamik und Texturierung basiert, in ein Modell umzuwandeln, das auf inverse Rendering basiert, bei dem die VFX-Pipeline durch Fotos von realen Dingen (oder sogar durch synthetische Modelle) angetrieben wird, anstatt durch geschätzte, handwerkliche Näherungen.

Für den Moment gibt es wenig Anlass zur Sorge in der visuellen Effektgemeinschaft, zumindest was Neuronale Radiance-Felder angeht. NeRF hat nur ansatzweise Fähigkeiten in Bezug auf Rigging, Nesting, Tiefenkontrolle, Artikulation… und sicherlich auch in Bezug auf Beleuchtung. Das begleitende Video zu einer anderen neuen Studie, die grundlegende Deformationen für NeRF-Geometrie bietet, veranschaulicht die enorme Kluft zwischen dem aktuellen Stand der Technik in CGI und den bahnbrechenden Bemühungen von Neural-Rendering-Techniken.

Die Elemente filtern

Trotzdem, da es notwendig ist, irgendwo anzufangen, haben die Forscher der neuen Studie CGI als Zwischenmechanismus für Steuerung und Produktion übernommen, was mittlerweile ein üblicher Ansatz zur Behandlung der starren latenten Räume von GANs und der fast undurchdringlichen linearen Netze von NeRF ist.

Effektiv ist die zentrale Herausforderung, globale Beleuchtung (GI, die in der neuralen Rendering keine direkte Anwendbarkeit hat) in eine äquivalente Precomputed Radiance Transfer (PRT, die an die neurale Rendering angepasst werden kann) Berechnung umzuwandeln.

GI ist eine inzwischen altbewährte CGI-Rendering-Technik, die das Verhalten von Licht modelliert, das von Oberflächen abprallt und auf andere Oberflächen trifft, und diese Bereiche von reflektiertem Licht in eine Renderung einbezieht, um Realismus zu erhöhen.

PRT wird als Zwischen-Beleuchtungsfunktion im neuen Ansatz verwendet, und die Tatsache, dass es ein diskreter und editierbarer Bestandteil ist, ermöglicht die Trennung. Die neue Methode modelliert das Material des NeRF-Objekts mit einem gelernten PRT.

Die tatsächliche Szene-Beleuchtung der ursprünglichen Daten wird als Umgebungs-Map im Prozess wiederhergestellt, und die Szene-Geometrie selbst wird als Signiertes Distanz-Feld (SDF) extrahiert, das schließlich eine traditionelle Mesh für Blender in der virtuellen Lichtbühne bereitstellen wird.

Eine Übersicht über die Pipeline für die neue Technik.

Der erste Schritt im Prozess ist die Extraktion der Szene-Geometrie aus den verfügbaren Multi-View-Bildern durch implizite Oberflächenrekonstruktion, mithilfe von Techniken, die in der 2021er NeuS-Forschung verwendet wurden.

Um ein neuronales Radiance-Transfer-Feld (NRTF, das die Beleuchtungsdaten aufnehmen wird) zu entwickeln, verwendeten die Forscher den Mitsuba 2 differentiellen Pfad-Tracer.

Dies ermöglicht die gemeinsame Optimierung einer bidirektionalen Streuverteilungsfunktion (BSDF) sowie die Generierung einer initialen Umgebungs-Map. Sobald die BSDF erstellt ist, kann der Pfad-Tracer in Blender (siehe eingebettetes Video direkt oben) verwendet werden, um virtuelle Ein-Licht-bei-Mal- (OLAT) Szenen-Renderings zu erstellen.

Das NRTF wird dann mit einem kombinierten Verlust zwischen photorealistischen Material-Effekten und synthetischen Daten trainiert, die nicht miteinander verflochten sind.

Ein Vergleich mit dem Vorgänger NeRFactor bei den Herausforderungen der neuen Ansichtssynthese und der Neubeleuchtung.

Der Weg zur Beleuchtung

Die Trainingsanforderungen für diese Technik, obwohl deutlich geringer als die ursprünglichen NeRF-Trainingszeiten, sind nicht unerheblich. Auf einem NVIDIA Quadro RTX 8000 mit 48 GB VRAM dauert das vorläufige Training für die anfängliche Licht- und Textur-Schätzung 30 Minuten; OLAT-Training (d. h. das Training der virtuellen Lichtbühnen-Aufnahmen) dauert acht Stunden; und die endgültige gemeinsame Optimierung zwischen den getrennten synthetischen und realen Daten dauert weitere 16 Stunden, um die optimale Qualität zu erreichen.

Weiterhin kann die resultierende neurale Darstellung nicht in Echtzeit ausgeführt werden und benötigt, laut den Forschern, “mehrere Sekunden pro Frame”.

Die Forscher kommen zu dem Schluss:

‘Unsere Ergebnisse zeigen eine klare Verbesserung gegenüber dem aktuellen Stand der Technik, während zukünftige Arbeiten die weitere Verbesserung der Laufzeit und eine gemeinsame Begründung von Geometrie, Material und Szene-Beleuchtung beinhalten könnten.’

Erstveröffentlicht am 28. Juli 2022.