Künstliche Intelligenz
Neurale Radiance Fields mit jedem Umgebungsmap neu beleuchten
Ein neues Papier vom Max-Planck-Institut und MIT hat eine Technik vorgeschlagen, um eine wahre Disentanglement von Neural Radiance Fields (NeRF) -Inhalten von der Beleuchtung zu erhalten, die bei der Datenerfassung vorhanden war, und es ermöglicht ad hoc -Umgebungsmaps, die Beleuchtung in einer NeRF-Szene vollständig auszutauschen:
Die neue Technik auf reale Daten angewendet. Es ist bemerkenswert, dass die Methode auch auf archivierten Daten dieser Art funktioniert, die den neuen Pipeline nicht berücksichtigt haben, als die Daten erfasst wurden. Trotzdem wird eine realistische und benutzerspezifische Beleuchtungskontrolle erreicht. Quelle: https://arxiv.org/pdf/2207.13607.pdf
Die neue Methode verwendet das beliebte Open-Source-3D-Animationsprogramm Blender, um eine “virtuelle Lichtbühne” zu erstellen, in der zahlreiche Iterationen möglicher Beleuchtungsszenarien gerendert und schließlich in einer speziellen Schicht im NeRF-Modell trainiert werden, die jeden Umgebungsmap akkommodieren kann, den der Benutzer verwenden möchte, um die Szene zu beleuchten.
Eine Darstellung des Teils der Pipeline, der Blender nutzt, um virtuelle Lichtbühnensichten der extrahierten Geometrie zu erstellen. Frühere Methoden, die ähnliche Ansätze verfolgen, haben tatsächliche Lichtbühnen verwendet, um diese Daten bereitzustellen, was eine belastende Anforderung für diskrete Objekte und eine unmögliche für Außenumgebungsansichten ist. In der oberen linken Ecke der beiden rechten Bilder können wir die Umgebungsmaps sehen, die die Beleuchtung der Szene bestimmen. Diese können vom Endbenutzer willkürlich erstellt werden und bringen NeRF einen Schritt näher an die Flexibilität eines modernen CGI-Ansatzes.
Der Ansatz wurde gegen das Mitsuba2 -Inverse-Rendering-Framework und auch gegen frühere Arbeiten PhySG, RNR, Neural-PIL und NeRFactor getestet, wobei nur ein direktes Beleuchtungsmodell verwendet wurde, und erzielte die besten Ergebnisse:
Ergebnisse der neuen Technik im Vergleich zu vergleichbaren Ansätzen unter verschiedenen Verlustfunktionen. Die Forscher behaupten, dass ihr Ansatz die höchstwertigen Methoden liefert, wobei die Ergebnisse durch Peak Signal-to-Rausch-Verhältnis (PSNR), Structural Similarity Index Measure (SSIM) und die effektive, wenn auch exzentrische, Learned Perceptual Image Patch Similarity (LPIPS) bewertet werden.
