Adobe: Die echte Welt mit Neural Rendering neu beleuchten

Forscher von Adobe haben ein neuronales Rendering-System für reale Innenräume entwickelt, das sophisticatedes Relighting ermöglicht, eine Echtzeit-Schnittstelle bietet und glänzende Oberflächen und Reflexionen verarbeiten kann – eine bemerkenswerte Herausforderung für konkurrierende Bildsynthesemethoden wie Neural Radiance Fields (NeRF).

Hier wurde eine reale Szene aus einer Reihe von Stillbildern rekonstruiert, wodurch die Szene navigierbar wird. Beleuchtung kann hinzugefügt und in Farbe und Qualität geändert werden, während Reflexionen genau bleiben und glänzende Oberflächen die Änderung der Lichtquellen und/oder -stile des Benutzers genau wiedergeben. Quelle: https://www.youtube.com/watch?v=d3ma4opFpgM

Das neue System ermöglicht eine Photoshop-ähnliche, GUI-gesteuerte Kontrolle über Beleuchtungsaspekte einer realen 3D-Szene, die in einen neuronalen Raum aufgenommen wurde, einschließlich Schatten und Reflexionen.

Die GUI ermöglicht es dem Benutzer, eine Lichtquelle zu einer realen Szene hinzuzufügen, die aus einer Reihe von Fotos rekonstruiert wurde, und sich frei durch sie zu bewegen, als ob es sich um ein CGI-ähnliches, meshbasiertes Szenario handelte.

Der Artikel, der bei ACM Transactions on Graphics eingereicht wurde und Free-viewpoint Indoor Neural Relighting from Multi-view Stereo heißt, ist eine Zusammenarbeit zwischen Adobe Research und Forschern der Université Côte d’Azur.

Quelle: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (klicken, um die Vollbildversion zu sehen)

Wie bei Neural Radiance Fields (NeRF) verwendet das System Photogrammetrie (oben links), bei der das Verständnis einer Szene aus einer begrenzten Anzahl von Fotografien abgeleitet wird, und die “fehlenden” Blickwinkel werden durch maschinelles Lernen trainiert, bis ein vollständiges und völlig abstraktes Modell der Szene für eine ad-hoc-Interpretation verfügbar ist.

Das System wurde vollständig auf synthetischen (CGI-)Daten trainiert, aber die verwendeten 3D-Modelle wurden genau so behandelt, als ob eine Person mehrere begrenzte Fotografien einer realen Szene für eine neuronale Interpretation gemacht hätte. Das Bild oben zeigt eine synthetische Szene, die neu beleuchtet wird, aber die “Schlafzimmer”-Ansicht in der oberen (animierten) Abbildung oben ist aus tatsächlichen Fotos abgeleitet, die in einem echten Raum aufgenommen wurden.

Die implizite Darstellung der Szene wird aus dem Quellmaterial durch ein Convolutional Neural Network (CNN) erhalten und in mehrere Schichten unterteilt, einschließlich Reflexion, Lichtausstrahlung (Radiosität/Globale Beleuchtung) und Albedo.

Die Architektur des Adobe-Beleuchtungssystems. Das Multi-View-Datensatz wird vorverarbeitet und 3D-Mesh-Geometrie aus den Eingabedaten generiert. Wenn eine neue Lichtquelle hinzugefügt werden muss, wird die Strahlung in Echtzeit berechnet und die neu beleuchtete Ansicht synthetisiert. (klicken, um die Vollbildversion zu sehen)

Der Algorithmus kombiniert Aspekte traditioneller Ray-Tracing (Monte-Carlo) und Image-Based-Rendering (IBR, neuronales Rendering).

Obwohl eine bemerkenswerte Menge an jüngsten Forschungen zu Neural Radiance Fields mit der Extraktion von 3D-Geometrie aus flachen Bildern befasst war, ist Adobes Angebot das erste Mal, dass hochentwickelte Relighting-Fähigkeiten durch diese Methode demonstriert wurden.

Der Algorithmus behandelt auch eine weitere traditionelle Einschränkung von NeRF und ähnlichen Ansätzen, indem er eine vollständige Reflexionskarte berechnet, bei der jedem Teil des Bildes ein 100% reflektierendes Material zugewiesen wird.

Spiegeltexturen zeichnen Lichtwege auf. (klicken, um die Vollbildversion zu sehen)

Mit dieser integralen Reflexivitätskarte ist es möglich, die Reflexivität herunterzufahren, um verschiedene Reflexionsniveaus in verschiedenen Materialien wie Holz, Metall und Stein zu berücksichtigen. Die Reflexivitätskarte (oben) bietet auch eine vollständige Vorlage für Ray-Mapping, die für diffuse Beleuchtungsanpassungen wiederverwendet werden kann.

Andere Schichten im Adobe-Neural-Rendering-System. (klicken, um die Vollbildversion zu sehen)

Die anfängliche Erfassung der Szene verwendet 250-350 RAW-Fotos, aus denen ein Mesh durch Multi-View-Stereo berechnet wird. Die Daten werden in 2D-Eingabefeature-Maps zusammengefasst, die dann in die neue Ansicht projiziert werden. Änderungen in der Beleuchtung werden durch Mittelung der diffusen und glänzenden Schichten der erfassten Szene berechnet.

Die Spiegelbildschicht wird durch eine schnelle Einstrahlberechnung (einen Sprung) erzeugt, die die ursprünglichen Quellwerte schätzt und dann die Zielwerte. Karten, die Informationen über die ursprüngliche Beleuchtung der Szene enthalten, werden im neuronalen Daten gespeichert, ähnlich wie Radiositätskarten oft mit traditionellen CGI-Szenendaten gespeichert werden.

Neuronale Rendering-Reflexionen lösen

Vielleicht ist die wichtigste Leistung dieser Arbeit die Trennung von Reflexionsinformationen von diffusen und anderen Schichten in den Daten. Die Rechenzeit wird durch die Sicherstellung, dass Live-“Reflexions”-Ansichten, wie Spiegel, nur für die aktive Benutzersicht berechnet werden, anstatt für die gesamte Szene, niedrig gehalten.

Die Forscher behaupten, dass diese Arbeit die erste Zeit darstellt, in der Relighting-Fähigkeiten mit freien Blickwinkeln in einem einzigen Framework für Szenen kombiniert wurden, die reflexive Oberflächen realistisch reproduzieren müssen.

Einige Opfer wurden gebracht, um diese Funktionalität zu erreichen, und die Forscher gestehen ein, dass vorherige Methoden, die komplexere pro-Blick-Netze verwenden, eine verbesserte Geometrie für kleine Objekte demonstrieren. Zukunftsaussichten für den Adobe-Ansatz werden die Verwendung von pro-Blick-Geometrie beinhalten, um diesen Aspekt zu verbessern.