Richtung Echtzeit-KI-Menschen mit Neural Lumigraph Rendering

Trotz der aktuellen Welle des Interesses an Neural Radiance Fields (NeRF), einer Technologie, die in der Lage ist, AI-generierte 3D-Umgebungen und -Objekte zu erstellen, benötigt diese neue Herangehensweise an die Bildsynthesetechnologie immer noch eine große Menge an Trainingszeit und verfügt nicht über eine Implementierung, die es ermöglicht, in Echtzeit hochresponsive Schnittstellen zu erstellen.

Ein Forschungsprojekt zwischen einigen beeindruckenden Namen aus Industrie und Wissenschaft bietet jedoch eine neue Perspektive auf diese Herausforderung (allgemein bekannt als Novel View Synthesis oder NVS).

Die Forschungsarbeit Paper, betitelt Neural Lumigraph Rendering, behauptet, eine Verbesserung des aktuellen Standes der Technik um etwa zwei Größenordnungen erreicht zu haben, was mehrere Schritte in Richtung Echtzeit-CG-Rendering via Machine-Learning-Pipelines darstellt.

Neural Lumigraph Rendering (rechts) bietet eine bessere Auflösung von Blendartefakten und eine verbesserte Behandlung von Okklusion im Vergleich zu früheren Methoden. Quelle.

Obwohl die Credits für das Paper nur die Stanford University und das Unternehmen Raxium (derzeit in Stealth-Modus tätig) nennen, umfassen die Mitwirkenden einen leitenden Machine-Learning-Architekten bei Google, einen Computerwissenschaftler bei Adobe und den CTO von StoryFile (das kürzlich mit einer AI-Version von William Shatner Schlagzeilen machte).

Im Hinblick auf die jüngste Publicity-Kampagne von Shatner scheint StoryFile NLR in seinem neuen Prozess zur Erstellung interaktiver, AI-generierter Entitäten auf der Grundlage der Eigenschaften und Erzählungen von Einzelpersonen einzusetzen.

StoryFile stellt sich die Verwendung dieser Technologie in Museumsausstellungen, Online-Interaktiver Erzählungen, Hologrammen, Augmented Reality (AR) und kulturellem Erbe vor – und scheint auch potenzielle neue Anwendungen von NLR in Bewerbungsgesprächen und virtuellen Dating-Anwendungen zu erkunden:

Vorgeschlagene Anwendungen aus einem Online-Video von StoryFile. Quelle: https://www.youtube.com/watch?v=2K9J6q5DqRc

Volumetrische Erfassung für Novel View Synthesis-Schnittstellen und Video

Das Prinzip der volumetrischen Erfassung, über die gesamte Bandbreite von Papieren, die sich mit diesem Thema beschäftigen, ist die Idee, Stillbilder oder Videos eines Objekts aufzunehmen und mithilfe von Machine Learning die nicht abgedeckten Blickwinkel zu “auffüllen”.

Quelle: https://research.fb.com/wp-content/uploads/2019/06/Neural-Volumes-Learning-Dynamic-Renderable-Volumes-from-Images.pdf

Im Bild oben, das aus Facebooks AI-Forschung von 2019 stammt (siehe unten), sehen wir die vier Stufen der volumetrischen Erfassung: Mehrere Kameras nehmen Bilder/Aufnahmen auf; Encoder/Decoder-Architektur (oder andere Architekturen) berechnen und verbinden die Relativität der Ansichten; Ray-Marching-Algorithmen berechnen die Voxel (oder andere XYZ-Spatialgeometrieeinheiten) jedes Punktes im volumetrischen Raum; und (in den meisten aktuellen Papieren) findet ein Training statt, um eine vollständige Entität zu synthetisieren, die in Echtzeit manipuliert werden kann.

Es ist diese oft umfangreiche und datenintensive Trainingsphase, die Novel View Synthesis bisher aus dem Bereich der Echtzeit- oder hochresponsiven Erfassung herausgehalten hat.

Die Tatsache, dass Novel View Synthesis eine vollständige 3D-Karte eines volumetrischen Raums erstellt, bedeutet, dass es relativ einfach ist, diese Punkte zusammen zu nähen, um eine traditionelle Computer-Generierte-Mesh zu erstellen, was effektiv die Erfassung und Artikulation eines CGI-Menschen (oder jedes anderen relativ begrenzten Objekts) in Echtzeit ermöglicht.

Ansätze, die NeRF verwenden, verlassen sich auf Punktwolken und Tiefenkartierungen, um die Interpolationen zwischen den spärlichen Blickpunkten der Erfassungsgeräte zu generieren:

NeRF kann volumetrische Tiefen durch Berechnung von Tiefenkartierungen anstelle der Generierung von CG-Meshes erstellen. Quelle: https://www.youtube.com/watch?v=JuH79E8rdKc

Obwohl NeRF in der Lage ist, Meshes zu berechnen, verwenden die meisten Implementierungen dies nicht, um volumetrische Szenen zu generieren.

Im Gegensatz dazu basiert der Ansatz des Implicit Differentiable Renderer (IDR) auf der Ausnutzung von 3D-Mesh-Informationen, die automatisch aus den Erfassungsarrays generiert werden:

Beispiele von IDR-Erfassungen, die in interaktive CGI-Meshes umgewandelt wurden. Quelle: https://www.youtube.com/watch?v=C55y7RhJ1fE

Während NeRF die Fähigkeit von IDR zur Formenschätzung fehlt, kann IDR nicht die Bildqualität von NeRF erreichen, und beide erfordern umfangreiche Ressourcen, um zu trainieren und zu kollationieren (obwohl kürzliche Innovationen in NeRF beginnen, dies anzugehen).

NLR’s benutzerdefinierte Kamerarig mit 16 GoPro HERO7 und 6 zentralen Back-Bone H7PRO-Kameras. Für ‘Echtzeit’-Rendering betreiben diese mit einer Mindestgeschwindigkeit von 60fps. Quelle: https://arxiv.org/pdf/2103.11571.pdf

Stattdessen nutzt Neural Lumigraph Rendering SIREN (Sinusoidale Repräsentationsnetzwerke), um die Stärken jedes Ansatzes in sein eigenes Framework zu integrieren, das darauf abzielt, Ausgaben zu generieren, die direkt in bestehende Echtzeit-Grafikpipelines verwendet werden können.

SIREN wurde im Laufe des letzten Jahres für ähnliche Implementierungen verwendet und stellt jetzt einen beliebten API-Aufruf für Hobby-Colabs in Bildsynthesegemeinschaften dar; jedoch ist NLRs Innovation, SIRENs auf zweidimensionale Multi-View-Bildüberwachung anzuwenden, was aufgrund der Ausmaße, in denen SIREN überanpasste anstelle von verallgemeinerten Ausgaben produziert, problematisch ist.

Nachdem das CG-Mesh aus den Array-Bildern extrahiert wurde, wird das Mesh über OpenGL gerastert und die Vertex-Positionen des Meshes auf die entsprechenden Pixel abgebildet, wonach die Überlagerung der verschiedenen Beitragskarten berechnet wird.

Das resultierende Mesh ist verallgemeinert und repräsentativer als das von NeRF (siehe Bild unten), erfordert weniger Berechnungen und wendet keine übermäßigen Details auf Bereiche an (wie glatte Gesichtshaut), die nicht davon profitieren können:

Quelle: https://arxiv.org/pdf/2103.11571.pdf

Auf der negativen Seite verfügt NLR derzeit nicht über die Fähigkeit zur dynamischen Beleuchtung oder Neubeleuchtung, und die Ausgabe ist auf Schattenkarten und andere Beleuchtungsaspekte beschränkt, die zum Zeitpunkt der Aufnahme erfasst wurden. Die Forscher planen, dies in zukünftigen Arbeiten anzugehen.

Zusätzlich räumt das Paper ein, dass die von NLR generierten Formen nicht so genau sind wie einige alternative Ansätze, wie z.B. Pixelwise View Selection for Unstructured Multi-View Stereo oder die Forschung des Weizmann-Instituts, die zuvor erwähnt wurde.

Der Aufstieg der Volumetrischen Bildsynthese

Die Idee, 3D-Entitäten aus einer begrenzten Anzahl von Fotos mit neuronalen Netzen zu erstellen, geht auf die Zeit vor NeRF zurück, mit visionären Papieren, die bis ins Jahr 2007 oder früher zurückreichen. Im Jahr 2019 veröffentlichte Facebooks AI-Forschungsabteilung ein grundlegendes Forschungspaper, Neural Volumes: Learning Dynamic Renderable Volumes from Images, das erstmals die Erstellung von responsiven Schnittstellen für synthetische Menschen ermöglichte, die durch machine learning-basierte volumetrische Erfassung generiert wurden.

Facebooks Forschung von 2019 ermöglichte die Erstellung einer responsiven Benutzeroberfläche für eine volumetrische Person. Quelle: https://research.fb.com/publications/neural-volumes-learning-dynamic-renderable-volumes-from-images/