Adobe: Die Wiederbeleuchtung der realen Welt mit Neural Rendering

Forscher von Adobe haben ein neuronales Rendering-System für reale Innenräume entwickelt, das sophisticatedes Relighting ermöglicht, eine Echtzeit-Schnittstelle bietet und glänzende Oberflächen und Reflexionen handhabt – eine bemerkenswerte Herausforderung für konkurrierende Bildsynthesemethoden wie Neural Radiance Fields (NeRF).

Hier wurde eine reale Szene aus einer Reihe von Stillbildern rekonstruiert, wodurch die Szene navigierbar wird. Beleuchtung kann hinzugefügt und in Farbe und Qualität geändert werden, während Reflexionen genau bleiben und glänzende Oberflächen die Änderung der Lichtquellen und/oder Stile des Benutzers genau wiedergeben. Quelle: https://www.youtube.com/watch?v=d3ma4opFpgM

Das neue System ermöglicht eine Photoshop-ähnliche, GUI-gesteuerte Kontrolle über Beleuchtungsaspekte einer realen 3D-Szene, die in einen neuronalen Raum aufgenommen wurde, einschließlich Schatten und Reflexionen.

Die GUI ermöglicht es dem Benutzer, eine Lichtquelle zu einer realen Szene hinzuzufügen (und anzupassen), die aus einer geringen Anzahl von Fotos rekonstruiert wurde, und frei durch sie zu navigieren, als ob es sich um ein CGI-ähnliches, meshbasiertes Szenario handelte.

Der Artikel, der bei den ACM Transactions on Graphics eingereicht wurde und Free-viewpoint Indoor Neural Relighting from Multi-view Stereo heißt, ist eine Zusammenarbeit zwischen Adobe Research und Forschern der Université Côte d’Azur.

Quelle: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (klicken, um die Vollbildversion zu sehen)

Wie bei Neural Radiance Fields (NeRF) verwendet das System Photogrammetrie (oben links), wobei das Verständnis einer Szene aus einer begrenzten Anzahl von Fotografien abgeleitet wird, und die “fehlenden” Blickwinkel werden durch maschinelles Lernen trainiert, bis ein vollständiges und völlig abstraktes Modell der Szene für eine ad-hoc-Neuinterpretation verfügbar ist.

Das System wurde ausschließlich auf synthetischen (CGI-)Daten trainiert, aber die verwendeten 3D-Modelle wurden genau so behandelt, als ob eine Person mehrere begrenzte Fotografien einer realen Szene für eine neuronale Interpretation aufgenommen hätte. Das Bild zeigt eine synthetische Szene, die neu beleuchtet wird, aber die “Schlafzimmer”-Ansicht im oberen (animierten) Bild ist aus tatsächlichen Fotos abgeleitet, die in einem realen Raum aufgenommen wurden.

Die implizite Darstellung der Szene wird aus dem Quellmaterial über ein Convolutional Neural Network (CNN) ermittelt und in mehrere Schichten unterteilt, einschließlich Reflexion, Quellstrahlung (Radiosität/Globale Beleuchtung) und Albedo.

Die Architektur des Adobe-Beleuchtungssystems. Das Multi-View-Datensatz wird vorverarbeitet und 3D-Mesh-Geometrie aus den Eingabedaten generiert. Wenn eine neue Lichtquelle hinzugefügt werden muss, wird die Strahlung in Echtzeit berechnet und die neu beleuchtete Ansicht synthetisiert. (klicken, um die Vollbildversion zu sehen)

Der Algorithmus kombiniert Aspekte traditioneller Ray-Tracing (Monte Carlo) und Image-Based Rendering (IBR, neuronales Rendering).

Obwohl in jüngster Zeit viel Forschung zu Neural Radiance Fields betrieben wurde, um 3D-Geometrie aus flachen Bildern zu extrahieren, ist Adobes Angebot das erste Mal, dass hochentwickeltes Relighting mit dieser Methode demonstriert wurde.

Der Algorithmus behandelt auch eine traditionelle Einschränkung von NeRF und ähnlichen Ansätzen, indem er eine vollständige Reflexionskarte berechnet, wobei jedem Teil des Bildes ein 100% reflektierendes Material zugewiesen wird.

Spiegeltexturen zeichnen Lichtwege auf. (klicken, um die Vollbildversion zu sehen)

Mit dieser integralen Reflexivitätskarte kann die Reflexivität auf verschiedene Reflexionsgrade in verschiedenen Materialien wie Holz, Metall und Stein eingestellt werden. Die Reflexivitätskarte (oben) bietet auch eine vollständige Vorlage für Ray-Mapping, die für diffuse Beleuchtungsanpassungen wiederverwendet werden kann.

Andere Schichten im Adobe-Neural-Rendering-System. (klicken, um die Vollbildversion zu sehen)

Die anfängliche Aufnahme der Szene verwendet 250-350 RAW-Fotos, aus denen ein Mesh über Multi-View-Stereo berechnet wird. Die Daten werden in 2D-Eingabefeature-Maps zusammengefasst, die dann in die neue Ansicht projiziert werden. Änderungen in der Beleuchtung werden durch Mittelung der diffusen und glänzenden Schichten der aufgenommenen Szene berechnet.

Die Spiegelbildschicht wird durch eine schnelle Einstrahlungsberechnung (einen Sprung) erzeugt, die die ursprünglichen Quellwerte schätzt und dann die Zielwerte. Karten, die Informationen über die ursprüngliche Beleuchtung der Szene enthalten, werden im neuronalen Datensatz gespeichert, ähnlich wie Radiositätskarten oft mit traditionellen CGI-Szenendaten gespeichert werden.

Lösung neuronaler Rendering-Reflexionen

Vielleicht ist die wichtigste Leistung dieser Arbeit die Entkopplung von Reflexionsinformationen von diffusen und anderen Schichten in den Daten. Die Berechnungszeit wird durch die Sicherstellung, dass Live-“Reflexions”-Ansichten, wie Spiegel, nur für die aktive Benutzeransicht und nicht für die gesamte Szene berechnet werden, reduziert.

Die Forscher behaupten, dass diese Arbeit das erste Mal darstellt, dass Relighting-Fähigkeiten mit freien Navigationsfähigkeiten in einem einzigen Framework für Szenen kombiniert werden, die reflexive Oberflächen realistisch reproduzieren müssen.

Einige Opfer wurden gebracht, um diese Funktionalität zu erreichen, und die Forscher räumen ein, dass frühere Methoden, die komplexere pro-Blick-Meshes verwenden, eine verbesserte Geometrie für kleine Objekte zeigen. Zukunftsaussichten für den Adobe-Ansatz werden die Verwendung von pro-Blick-Geometrie umfassen, um diesen Aspekt zu verbessern.

https://www.youtube.com/watch?v=d3ma4opFpgM