NeRF: Die Herausforderung der Bearbeitung des Inhalts neuronaler Strahlungsfelder

Anfang dieses Jahres hat NVIDIA Neural Radiance Fields weiterentwickelt (Nerf) Forschung insbesondere mit InstantNeRF, offenbar in der Lage, in nur wenigen Sekunden erforschbare neuronale Szenen zu erzeugen – mit einer Technik, die, wenn es entstanden Im Jahr 2020 dauerte das Training häufig Stunden oder sogar Tage.

NVIDIAs InstantNeRF liefert beeindruckende und schnelle Ergebnisse. Quelle: https://www.youtube.com/watch?v=DJ2hcC1orc4

Obwohl diese Art der Interpolation eine statische Szene erzeugt, ist NeRF auch dazu in der Lage Bewegung darstellenund der einfachen „Kopieren-und-Einfügen“-Bearbeitung, bei der einzelne NeRFs entweder zusammengestellt werden können zusammengesetzte Szenen or eingefügt in bestehende Szenen integrieren.

Verschachtelte NeRFs, vorgestellt in der Forschung 2021 der Shanghai Tech University und DGene Digital Technology. Quelle: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Wenn Sie jedoch in ein berechnetes NeRF eingreifen und tatsächlich etwas ändern möchten, das darin vor sich geht (so wie Sie Elemente in einer traditionellen CGI-Szene ändern können), ist das Interesse der Branche rasant gestiegen sehr wenige Lösungen und keines, das auch nur annähernd mit den Fähigkeiten von CGI-Workflows mithalten kann.

Obwohl die Geometrieschätzung für die Erstellung einer NeRF-Szene unerlässlich ist, besteht das Endergebnis aus ziemlich „gesperrten“ Werten. Während es gibt Einige Fortschritte Da in NeRF auf die Änderung von Texturwerten geachtet wird, handelt es sich bei den eigentlichen Objekten in einer NeRF-Szene nicht um parametrische Netze, die bearbeitet und mit denen herumgespielt werden kann, sondern eher um spröde und gefrorene Punktwolken.

In diesem Szenario ist eine gerenderte Person in einem NeRF im Wesentlichen eine Statue (oder eine Reihe von Statuen in Video-NeRFs); Die Schatten, die sie auf sich selbst und andere Objekte werfen, sind Texturen und keine flexiblen Berechnungen auf der Grundlage von Lichtquellen. und die Bearbeitbarkeit von NeRF-Inhalten ist auf die Entscheidungen des Fotografen beschränkt, der die spärlichen Quellfotos aufnimmt, aus denen das NeRF generiert wird. Parameter wie Schatten und Pose bleiben im kreativen Sinne nicht editierbar.

NeRF-Bearbeitung

Eine neue akademische Forschungskooperation zwischen China und Großbritannien geht diese Herausforderung an NeRF-BearbeitungDabei werden Proxy-Netze im CGI-Stil aus einem NeRF extrahiert, vom Benutzer nach Belieben verformt und die Verformungen an die neuronalen Berechnungen des NeRF zurückgeleitet:

NeRF-Puppenspiel mit NeRF-Bearbeitung, da die aus dem Filmmaterial berechneten Verformungen auf äquivalente Punkte innerhalb einer NeRF-Darstellung angewendet werden. Quelle: http://geometrylearning.com/NeRFEditing/

Die Methode passt die an NeuS 2021 US/China rekonstruktive Technik, die a Vorzeichenbehaftete Distanzfunktion (SDF, eine viel ältere Methode der volumetrischen Rekonstruktion), die in der Lage ist, die im NeRF dargestellte Geometrie zu lernen.

Dieses SDF-Objekt wird zur Modellierungsbasis des Benutzers, mit Verformungs- und Formungsfunktionen, die durch das ehrwürdige As-Rigid-As-Possible (ARABISCH) Technik.

Mit ARAP können Benutzer das extrahierte SDF-Netz verformen, obwohl auch andere Methoden wie skelettbasierte und käfigbasierte Ansätze (z. B. NURBs) gut funktionieren würden. Quelle: https://arxiv.org/pdf/2205.04978.pdf

Mit den angewendeten Verformungen ist es notwendig, diese Informationen vom Vektor auf die für NeRF native RGB/Pixel-Ebene zu übersetzen, was ein etwas längerer Weg ist.

Die dreieckigen Eckpunkte des Netzes, das der Benutzer verformt hat, werden zunächst in ein tetraedrisches Netz übersetzt, das eine Haut um das Benutzernetz bildet. Aus diesem zusätzlichen Netz wird ein räumlich diskretes Verformungsfeld extrahiert, und schließlich wird ein NeRF-freundliches kontinuierliches Verformungsfeld erhalten, das in die neuronale Strahlungsumgebung zurückgeleitet werden kann, die Änderungen und Bearbeitungen des Benutzers widerspiegelt und sich direkt auf die interpretierten Strahlen im Ziel auswirkt NeRF.

Durch die neue Methode verformte und animierte Objekte.

Das Papier sagt:

„Nachdem wir die Oberflächenverformung auf das Tetraedernetz übertragen haben, können wir das diskrete Verformungsfeld des „effektiven Raums“ erhalten. Wir nutzen diese diskreten Transformationen nun, um die Wurfstrahlen zu biegen. „Um ein Bild des deformierten Strahlungsfeldes zu erzeugen, werfen wir Strahlen auf den Raum, der das deformierte Tetraedernetz enthält.“

Das Krepppapier ist betitelt NeRF-Editing: Geometriebearbeitung neuronaler Strahlungsfelder, und stammt von Forschern aus drei chinesischen Universitäten und Institutionen, zusammen mit einem Forscher der School of Computer Science & Informatics der Cardiff University und zwei weiteren Forschern der Alibaba Group.

Einschränkungen

Wie bereits erwähnt, „aktualisiert“ die transformierte Geometrie keine zugehörigen Aspekte im NeRF, die nicht bearbeitet wurden, und spiegelt auch keine sekundären Konsequenzen des deformierten Elements wider, wie z. B. Schatten. Die Forscher nennen ein Beispiel, bei dem die Unterschatten einer menschlichen Figur in einem NeRF unverändert bleiben, obwohl die Verformung die Beleuchtung verändern sollte:

Aus dem Papier: Wir sehen, dass der horizontale Schatten auf dem Arm der Figur an Ort und Stelle bleibt, auch wenn der Arm nach oben bewegt wird.

Experimente

Die Autoren stellen fest, dass es derzeit keine vergleichbaren Methoden für den direkten Eingriff in die NeRF-Geometrie gibt. Daher waren die für die Forschung durchgeführten Experimente eher explorativ als vergleichend.

Die Forscher demonstrierten NeRF-Editing an einer Reihe öffentlicher Datensätze, darunter Figuren aus Mixamo und dem mittlerweile ikonischen Lego-Bulldozer und Stuhl aus dem ursprünglichen NeRF Implementierung. Sie experimentierten auch mit einer echten erbeuteten Pferdestatue FVS-Datensatzsowie ihre eigenen Originalaufnahmen.

Der Kopf eines Pferdes neigte sich.

Für zukünftige Arbeiten beabsichtigen die Autoren, ihr System im Just-in-Time (JIT) kompilierten Framework für maschinelles Lernen Jittor zu entwickeln.

Erstveröffentlichung am 16. Mai 2022.