NeRF: Die Herausforderung der Bearbeitung von Neuralen Radiance-Feldern

Früher in diesem Jahr hat NVIDIA die Forschung zu Neuralen Radiance-Feldern (NeRF) mit InstantNeRF vorangetrieben, die offensichtlich in der Lage sind, in nur wenigen Sekunden explorable neuronale Szenen zu generieren – eine Technik, die, als sie 2020 entstand, häufig Stunden oder sogar Tage zum Trainieren benötigte.

NVIDIA’s InstantNeRF liefert beeindruckende und schnelle Ergebnisse. Quelle: https://www.youtube.com/watch?v=DJ2hcC1orc4

Obwohl diese Art von Interpolation eine statische Szene erzeugt, ist NeRF auch in der Lage, Bewegung darzustellen und grundlegende “Kopieren und Einfügen”-Bearbeitung, bei der einzelne NeRFs entweder zu kompositen Szenen kombiniert oder in bestehende Szenen eingefügt werden können.

Verschachtelte NeRFs, die in der 2021 von der Shanghai Tech University und der DGene Digital Technology durchgeführten Forschung vorgestellt wurden. Quelle: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Wenn man jedoch in einen berechneten NeRF eingreifen und tatsächlich etwas ändern möchte, was in ihm passiert (genauso wie man Elemente in einer traditionellen CGI-Szene ändern kann), hat die rasante Geschwindigkeit des Interesses in diesem Sektor bislang sehr wenige Lösungen hervorgebracht, und keine davon kommt auch nur annähernd an die Fähigkeiten von CGI-Workflows heran.

Obwohl die Geometrieschätzung für die Erstellung einer NeRF-Szene unerlässlich ist, besteht das Endresultat aus ziemlich “festen” Werten. Es gibt zwar einige Fortschritte bei der Änderung von Texturwerten in NeRF, aber die tatsächlichen Objekte in einer NeRF-Szene sind keine parametrischen Netze, die bearbeitet und manipuliert werden können, sondern eher ähnlich wie spröde und gefrorene Punktwolken.

In diesem Szenario ist eine in einem NeRF gerenderte Person im Wesentlichen eine Statue (oder eine Reihe von Statuen in Video-NeRFs); die Schatten, die sie auf sich selbst und andere Objekte wirft, sind Texturen und keine flexiblen Berechnungen auf der Grundlage von Lichtquellen; und die Bearbeitbarkeit von NeRF-Inhalten ist auf die Entscheidungen des Fotografen beschränkt, der die spärlichen Quellfotos macht, aus denen der NeRF generiert wird. Parameter wie Schatten und Pose bleiben unbearbeitbar, in jedem kreativen Sinne.

NeRF-Bearbeitung

Eine neue akademische Forschungszusammenarbeit zwischen China und dem Vereinigten Königreich geht auf diese Herausforderung mit NeRF-Bearbeitung ein, bei der Proxy-CGI-Netze aus einem NeRF extrahiert, vom Benutzer beliebig deformiert und die Deformationen an die NeRF-Neuralberechnungen zurückgegeben werden;

NeRF-Puppenkunst mit NeRF-Bearbeitung, wenn die Deformationen, die aus Footage berechnet werden, auf äquivalente Punkte in einer NeRF-Darstellung angewendet werden. Quelle: http://geometrylearning.com/NeRFEditing/

Die Methode passt die 2021 von den USA und China entwickelte NeuS-Rekonstruktionstechnik an, die eine Signierte Distanzfunktion (SDF, eine viel ältere Methode der volumetrischen Rekonstruktion) extrahiert, die in der Lage ist, die in NeRF dargestellte Geometrie zu lernen.

Diese SDF-Objekt wird zur Grundlage für die Bearbeitung des Benutzers, wobei Verformungs- und Formungsfähigkeiten durch die altbewährte As-Rigid-As-Possible- (ARAP)-Technik bereitgestellt werden.

ARAP ermöglicht es Benutzern, das extrahierte SDF-Netz zu verformen, obwohl auch andere Methoden, wie skelettbasierte und korb-basierte Ansätze (z. B. NURBs), gut funktionieren würden. Quelle: https://arxiv.org/pdf/2205.04978.pdf

Mit den angewendeten Deformationen ist es notwendig, diese Informationen vom Vektor- auf das RGB/Pixel-Niveau umzurechnen, das für NeRF native ist, was ein etwas längerer Weg ist.

Die dreieckigen Vertices des Netzes, das der Benutzer verformt hat, werden zunächst in ein tetraedrisches Netz übersetzt, das eine Haut um das Benutzer-Netz bildet. Ein räumlich diskretes Deformationsfeld wird aus diesem zusätzlichen Netz extrahiert, und schließlich wird ein NeRF-freundliches kontinuierliches Deformationsfeld erhalten, das in die neuronale Radiance-Umgebung zurückgegeben werden kann, wodurch die Änderungen und Bearbeitungen des Benutzers widergespiegelt werden und direkt die interpretierten Strahlen im Ziel-NeRF beeinflussen.

Objekte, die mit der neuen Methode verformt und animiert werden.

Das Papier besagt:

‘Nachdem wir die Oberflächendeformation auf das tetraedrische Netz übertragen haben, können wir das diskrete Deformationsfeld des “effektiven Raums” erhalten. Wir nutzen diese diskreten Transformationen, um die Strahlen zu biegen. Um ein Bild des verformten Radiance-Felds zu erzeugen, werfen wir Strahlen in den Raum, der das verformte tetraedrische Netz enthält.’

Das Papier trägt den Titel NeRF-Bearbeitung: Geometriebearbeitung von Neuronalen Radiance-Feldern und stammt von Forschern aus drei chinesischen Universitäten und Institutionen sowie einem Forscher von der School of Computer Science & Informatics der Cardiff University und zwei weiteren Forschern von der Alibaba Group.

Einschränkungen

Wie bereits erwähnt, wird die transformierte Geometrie nicht “aktualisieren”, was in NeRF nicht bearbeitet wurde, noch die sekundären Folgen der verformten Elemente widerspiegeln, wie z. B. Schatten. Die Forscher liefern ein Beispiel, in dem die Unter-Schatten auf einer menschlichen Figur in einem NeRF unverändert bleiben, obwohl die Deformation die Beleuchtung ändern sollte:

Aus dem Papier: Wir sehen, dass der horizontale Schatten auf dem Arm der Figur an Ort und Stelle bleibt, auch wenn der Arm nach oben bewegt wird.

Experimente

Die Autoren bemerken, dass es derzeit keine vergleichbaren Methoden für direktes Eingreifen in die NeRF-Geometrie gibt. Daher waren die für die Forschung durchgeführten Experimente eher explorativ als vergleichend.

Die Forscher demonstrierten NeRF-Bearbeitung an einer Reihe von öffentlichen Datensätzen, einschließlich Charakteren von Mixamo und dem berühmten Lego-Bulldozer und -Stuhl aus der ursprünglichen NeRF-Implementierung. Sie experimentierten auch mit einer realen, aufgenommenen Pferdestatue aus dem FVS-Datensatz sowie mit ihren eigenen Originalaufnahmen.

Ein Pferdekopf, der geneigt ist.

Für zukünftige Arbeiten planen die Autoren, ihr System im just-in-time (JIT) kompilierten maschinellen Lernframework Jittor zu entwickeln.

Erstveröffentlichung: 16. Mai 2022.