NeRF: Die Herausforderung der Bearbeitung des Inhalts neuronaler Strahlungsfelder

Anfang dieses Jahres hat NVIDIA Neural Radiance Fields weiterentwickelt (Nerf) Forschung insbesondere mit InstantNeRF, offenbar in der Lage, in nur wenigen Sekunden erforschbare neuronale Szenen zu erzeugen – mit einer Technik, die, wenn es entstanden Im Jahr 2020 dauerte das Training häufig Stunden oder sogar Tage.

NVIDIAs InstantNeRF liefert beeindruckende und schnelle Ergebnisse. Quelle: https://www.youtube.com/watch?v=DJ2hcC1orc4

Obwohl diese Art der Interpolation eine statische Szene erzeugt, ist NeRF auch dazu in der Lage Bewegung darstellenund der einfachen „Copy-and-Paste“-Bearbeitung, bei der einzelne NeRFs entweder in zusammengesetzte Szenen or eingefügt in bestehende Szenen integrieren.

Verschachtelte NeRFs, vorgestellt in der Forschung 2021 der Shanghai Tech University und DGene Digital Technology. Quelle: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Wenn Sie jedoch in ein kalkuliertes NeRF eingreifen und tatsächlich etwas ändern möchten, das darin vor sich geht (auf die gleiche Weise, wie Sie Elemente in einer traditionellen CGI-Szene ändern können), hat das schnelle Tempo des Brancheninteresses Folgendes hervorgebracht: Sehr wenige Lösungen und keines, das auch nur annähernd mit den Fähigkeiten von CGI-Workflows mithalten kann.

Obwohl die Geometrieschätzung für die Erstellung einer NeRF-Szene unerlässlich ist, besteht das Endergebnis aus relativ festen Werten. Es gibt zwar Einige Fortschritte Da in NeRF auf die Änderung von Texturwerten geachtet wird, handelt es sich bei den eigentlichen Objekten in einer NeRF-Szene nicht um parametrische Netze, die bearbeitet und mit denen herumgespielt werden kann, sondern eher um spröde und gefrorene Punktwolken.

In diesem Szenario ist eine gerenderte Person in einem NeRF im Wesentlichen eine Statue (oder eine Reihe von Statuen in Video-NeRFs); Die Schatten, die sie auf sich selbst und andere Objekte werfen, sind Texturen und keine flexiblen Berechnungen auf der Grundlage von Lichtquellen. und die Bearbeitbarkeit von NeRF-Inhalten ist auf die Entscheidungen des Fotografen beschränkt, der die spärlichen Quellfotos aufnimmt, aus denen das NeRF generiert wird. Parameter wie Schatten und Pose bleiben im kreativen Sinne nicht editierbar.

NeRF-Bearbeitung

Eine neue akademische Forschungskooperation zwischen China und Großbritannien geht diese Herausforderung an NeRF-Bearbeitung, bei dem Proxy-Netze im CGI-Stil aus einem NeRF extrahiert, vom Benutzer nach Belieben verformt und die Deformationen an die neuronalen Berechnungen des NeRF zurückgegeben werden:

NeRF-Puppenspiel mit NeRF-Bearbeitung, da die aus dem Filmmaterial berechneten Verformungen auf äquivalente Punkte innerhalb einer NeRF-Darstellung angewendet werden. Quelle: http://geometrylearning.com/NeRFEditing/

Die Methode passt die an NeuS 2021 US/China rekonstruktive Technik, die a Vorzeichenbehaftete Distanzfunktion (SDF, eine viel ältere Methode der volumetrischen Rekonstruktion), die in der Lage ist, die im NeRF dargestellte Geometrie zu erlernen.

Dieses SDF-Objekt wird zur Modellierungsbasis des Benutzers, mit Verformungs- und Formungsfunktionen, die durch das bewährte As-Rigid-As-Possible (ARABISCH) Technik.

Mit ARAP können Benutzer das extrahierte SDF-Netz verformen, obwohl auch andere Methoden wie skelettbasierte und käfigbasierte Ansätze (z. B. NURBs) gut funktionieren würden. Quelle: https://arxiv.org/pdf/2205.04978.pdf

Bei den angewendeten Deformationen ist es notwendig, diese Informationen vom Vektor auf die für NeRF native RGB-/Pixelebene zu übersetzen, was ein etwas längerer Weg ist.

Die dreieckigen Eckpunkte des vom Benutzer deformierten Netzes werden zunächst in ein tetraedrisches Netz übersetzt, das eine Hülle um das Benutzernetz bildet. Aus diesem zusätzlichen Netz wird ein räumlich diskretes Deformationsfeld extrahiert und schließlich ein NeRF-freundliches kontinuierliches Deformationsfeld erhalten, das an die neuronale Strahlungsumgebung zurückgegeben werden kann. Es spiegelt die Änderungen und Bearbeitungen des Benutzers wider und beeinflusst die interpretierten Strahlen im Ziel-NeRF direkt.

Durch die neue Methode verformte und animierte Objekte.

Das Papier sagt:

Nach der Übertragung der Oberflächendeformation auf das Tetraedernetz erhalten wir das diskrete Deformationsfeld des „effektiven Raums“. Diese diskreten Transformationen nutzen wir nun, um die Strahlströme zu beugen. Um ein Bild des deformierten Strahlungsfelds zu erzeugen, senden wir Strahlen in den Raum, der das deformierte Tetraedernetz enthält.

Die Krepppapier ist betitelt NeRF-Editing: Geometriebearbeitung neuronaler Strahlungsfelder, und stammt von Forschern aus drei chinesischen Universitäten und Institutionen, zusammen mit einem Forscher der School of Computer Science & Informatics der Cardiff University und zwei weiteren Forschern der Alibaba Group.

Einschränkungen

Wie bereits erwähnt, werden durch die transformierte Geometrie keine verwandten Aspekte im NeRF aktualisiert, die nicht bearbeitet wurden, und auch keine sekundären Auswirkungen des deformierten Elements, wie etwa Schatten, werden nicht berücksichtigt. Die Forscher führen ein Beispiel an, bei dem Unterschatten auf einer menschlichen Figur in einem NeRF unverändert bleiben, obwohl die Deformation die Beleuchtung verändern sollte:

Aus dem Dokument geht hervor, dass der horizontale Schatten auf dem Arm der Figur an Ort und Stelle bleibt, auch wenn der Arm nach oben bewegt wird.

Experimente

Die Autoren stellen fest, dass es derzeit keine vergleichbaren Methoden für den direkten Eingriff in die NeRF-Geometrie gibt. Daher waren die für die Forschung durchgeführten Experimente eher explorativ als vergleichend.

Die Forscher demonstrierten NeRF-Editing an einer Reihe öffentlicher Datensätze, darunter Figuren aus Mixamo und dem mittlerweile ikonischen Lego-Bulldozer und Stuhl aus dem ursprünglichen NeRF Implementierung. Sie experimentierten auch mit einer echten erbeuteten Pferdestatue FVS-Datensatzsowie ihre eigenen Originalaufnahmen.

Der Kopf eines Pferdes ist geneigt.

Für zukünftige Arbeiten beabsichtigen die Autoren, ihr System im Just-in-Time (JIT) kompilierten Framework für maschinelles Lernen Jittor zu entwickeln.

Erstveröffentlichung am 16. Mai 2022.