ST-NeRF: Komposition und Bearbeitung für Video-Synthese

Eine chinesische Forschungsgruppe hat Techniken entwickelt, um Bearbeitungs- und Kompositions-Funktionen in einem der heißesten Forschungsbereiche der Bildsynthese des letzten Jahres – Neural Radiance Fields (NeRF) – zu ermöglichen. Das System heißt ST-NeRF (Spatio-Temporal Coherent Neural Radiance Field).

Was wie eine physische Kamera-Bewegung im Bild unten aussieht, ist tatsächlich nur ein Benutzer, der durch Blickwinkel auf Video-Inhalten scrollt, die in einem 4D-Raum existieren. Der Blickwinkel ist nicht an die Leistung der im Video dargestellten Personen gebunden, deren Bewegungen aus jedem Punkt eines 180-Grad-Bereichs betrachtet werden können.

Jedes Element innerhalb des Videos ist ein diskret erfasstes Element, das zu einer kohärenten Szene komponiert wird, die dynamisch erkundet werden kann.

Die Elemente können frei innerhalb der Szene dupliziert oder vergrößert werden:

Darüber hinaus kann das zeitliche Verhalten jedes Elements leicht geändert, verlangsamt, rückwärts oder auf andere Weise manipuliert werden, was den Weg zu Filter-Architekturen und einer extrem hohen Interpretierbarkeit ebnet.

Zwei separate NeRF-Elemente laufen mit unterschiedlichen Geschwindigkeiten in der gleichen Szene. Quelle: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Es ist nicht notwendig, Darsteller oder Umgebungen zu rotoscopen oder Darstellern ihre Bewegungen blind und außerhalb des Kontexts der beabsichtigten Szene auszuführen. Stattdessen wird das Material natürlich durch ein Array von 16 Video-Kameras aufgenommen, die 180 Grad abdecken:

Die drei Elemente oben, die beiden Personen und die Umgebung, sind unterschiedlich und nur für illustrative Zwecke umrandet. Jedes kann ausgetauscht und zu einem früheren oder späteren Zeitpunkt in der individuellen Aufnahmesequenz eingefügt werden.

ST-NeRF ist eine Innovation in der Forschung zu Neural Radiance Fields (NeRF), einem maschinellen Lern-Framework, bei dem multiple Blickwinkel-Aufnahmen in einen navigierbaren virtuellen Raum durch umfangreiche Schulung synthetisiert werden (obwohl auch eine einzelne Blickwinkel-Aufnahme ein Teilbereich der NeRF-Forschung ist).

Neural Radiance Fields funktionieren, indem sie multiple Blickwinkel-Aufnahmen in einen kohärenten und navigierbaren 3D-Raum zusammenfassen, wobei die Lücken zwischen der Abdeckung durch ein neuronales Netz geschätzt und gerendert werden. Quelle: https://www.matthewtancik.com/nerf

Das Interesse an NeRF ist in den letzten neun Monaten sehr gestiegen, und eine von Reddit gepflegte Liste von abgeleiteten oder exploratorischen NeRF-Papieren listet derzeit sechzig Projekte auf.

Einige der vielen Ableger des ursprünglichen NeRF-Papiers. Quelle: https://crossminds.ai/graphlist/nerf-neural-radiance-fields-ai-research-graph-60708936c8663c4cfa875fc2/

Erschwingliche Schulung

Die Arbeit ist eine Zusammenarbeit zwischen Forschern der Shanghai Tech University und DGene Digital Technology und wurde mit einiger Begeisterung bei Open Review angenommen.

ST-NeRF bietet eine Reihe von Innovationen gegenüber früheren Initiativen in ML-abgeleiteten navigierbaren Video-Räumen. Nicht zuletzt erreicht es ein hohes Maß an Realismus mit nur 16 Kameras. Obwohl Facebooks DyNeRF nur zwei Kameras mehr verwendet, bietet es einen viel eingeschränkteren navigierbaren Bogen.

Ein Beispiel für Facebooks DyNeRF-Umgebung, mit einem begrenzteren Bewegungsbereich und mehr Kameras pro Quadratfuß, die zur Rekonstruktion der Szene benötigt werden. Quelle: https://neural-3d-video.github.io

Abgesehen von der fehlenden Fähigkeit, einzelne Elemente zu bearbeiten und zu komponieren, ist DyNeRF besonders teuer in Bezug auf Rechenressourcen. Im Gegensatz dazu geben die chinesischen Forscher an, dass die Schulungskosten für ihre Daten zwischen 900 und 3.000 US-Dollar liegen, im Vergleich zu 30.000 US-Dollar für das state-of-the-art-Video-Generations-Modell DVDGAN und intensive Systeme wie DyNeRF.

Rezensenten haben auch festgestellt, dass ST-NeRF eine wichtige Innovation in der Trennung des Lernprozesses von der Bildsynthese darstellt. Diese Trennung ermöglicht die Bearbeitung und Komposition, während frühere Ansätze restriktiv und linear waren.

Obwohl 16 Kameras ein sehr begrenztes Array für einen so vollen Halbkreis sind, hoffen die Forscher, die Zahl in zukünftigen Arbeiten durch den Einsatz von Proxy-Vor-Scans von statischen Hintergründen und datengetriebenen Szenen-Modellierungsansätzen zu reduzieren. Sie hoffen auch, Relighting-Funktionen zu integrieren, eine neue Innovation in der NeRF-Forschung.

Bearbeitung der Einschränkungen von ST-NeRF

Im Kontext von akademischen CS-Papieren, die die tatsächliche Benutzbarkeit eines neuen Systems in einem abschließenden Absatz oft abtun, sind die Einschränkungen, die die Forscher für ST-NeRF anerkennen, ungewöhnlich.

Sie beobachten, dass das System derzeit nicht in der Lage ist, einzelne Objekte in einer Szene zu identifizieren und separat zu rendern, da die Menschen in den Aufnahmen durch ein System segmentiert werden, das darauf ausgelegt ist, Menschen und nicht Objekte zu erkennen – ein Problem, das mit YOLO und ähnlichen Frameworks leicht gelöst werden kann, wobei die schwierigere Arbeit der Extraktion von Videodaten bereits geleistet wurde.

Obwohl die Forscher feststellen, dass es derzeit nicht möglich ist, Zeitlupe zu generieren, scheint es wenig zu geben, was die Implementierung dieser Funktion mit bestehenden Innovationen in Frame-Interpolation wie DAIN und RIFE verhindern könnte.

Wie bei allen NeRF-Implementierungen und in vielen anderen Bereichen der Computer-Vision-Forschung kann ST-NeRF in Fällen von schwerer Okklusion versagen, in denen das Objekt vorübergehend von einer anderen Person oder einem Objekt verdeckt wird und möglicherweise schwierig zu verfolgen oder genau wiederzuerlangen ist. Wie anderswo muss diese Schwierigkeit möglicherweise auf Lösungen auf höherer Ebene warten. In der Zwischenzeit geben die Forscher zu, dass manuelle Eingriffe in diesen okkludierten Frames notwendig sind.

Schließlich beobachten die Forscher, dass die menschlichen Segmentation-Verfahren derzeit auf Farbunterschiede angewiesen sind, was zu einer ungewollten Kollation von zwei Personen in einem Segments-Block führen kann – ein Hindernis, das nicht auf ST-NeRF beschränkt ist, sondern intrinsic zum verwendeten Library ist und das möglicherweise durch optische Flussanalyse und andere aufkommende Techniken gelöst werden kann.

Erstveröffentlicht am 7. Mai 2021.