Erstellung von Full-Body-Deepfakes durch Kombination mehrerer NeRFs

Der Bereich der Bildsynthese ist dicht mit neuen Vorschlägen für Systeme übersät, die in der Lage sind, vollständige Körper-Videos und -Bilder von jungen Menschen – hauptsächlich jungen Frauen – in verschiedenen Arten von Kleidung zu erstellen. Meistens sind die generierten Bilder statisch; gelegentlich bewegen sich die Darstellungen sogar, wenn auch nicht immer sehr gut.

Das Tempo dieser spezifischen Forschungsstränge ist im Vergleich zu dem aktuellen atemberaubenden Fortschritt in verwandten Bereichen wie latenten Diffusionsmodellen glacial; dennoch setzen die Forschungsgruppen, die meisten in Asien, unermüdlich ihre Arbeit an diesem Problem fort.

Eines von Dutzenden, wenn nicht Hunderten von vorgeschlagenen oder halb gestarteten ‘virtuellen Anprobier’-Systemen aus den letzten 10-15 Jahren, bei denen Körper durch maschinelles Lernen basierende Objekterkennung ausgewertet und an die vorgeschlagenen Kleidungsstücke angepasst werden. Quelle: https://www.youtube.com/watch?v=2ZXrgGyhbak

Das Ziel ist es, neue Systeme zu entwickeln, die ‘virtuelle Anproben’ für den Mode- und Bekleidungsmarkt ermöglichen – Systeme, die sich sowohl an den Kunden als auch an das aktuell verfügbare oder bald verfügbare Produkt anpassen können, ohne die Unbeholfenheit der Echtzeit-Überlagerung von Kleidung oder die Notwendigkeit, Kunden zu bitten, leicht unangemessene Bilder für ML-basierte Rendering-Pipelines zu senden.

Keine der beliebten Synthese-Architekturen scheint sich leicht für diese Aufgabe anpassen zu lassen: der latente Raum von Generativen Adversarial Networks (GANs) ist nicht geeignet, um überzeugende temporale Bewegung (oder sogar für die Bearbeitung im Allgemeinen) zu erzeugen; obwohl gut in der Lage, um realistische menschliche Bewegung zu erzeugen, sind Neuronale Radiance Fields (NeRF) normalerweise natürlich widerstandsfähig gegen die Art von Bearbeitung, die notwendig wäre, um Menschen oder Kleidung nach Belieben auszutauschen; Autoencoder würden eine belastende personen-/kleidungsbezogene Schulung erfordern; und latente Diffusionsmodelle, wie GANs, haben keine nativen temporalen Mechanismen für die Videogenerierung.

EVA3D

Trotzdem gehen die Arbeiten an den Papieren und Vorschlägen weiter. Der neueste ist von ungewöhnlichem Interesse in einer ansonsten unbedeutenden und ausschließlich geschäftlich orientierten Forschungsreihe.

EVA3D, von der Nanyang Technological University in Singapur, ist der erste Hinweis auf einen Ansatz, der lange überfällig war – die Verwendung von mehreren Neuronale Radiance Field-Netzwerken, von denen jedes einem separaten Teil des Körpers gewidmet ist und die dann zu einer zusammengesetzten und kohärenten Visualisierung kombiniert werden.

Eine mobile junge Frau, die aus mehreren NeRF-Netzwerken zusammengesetzt ist, für EVA3D. Quelle: https://hongfz16.github.io/projects/EVA3D.html

Die Ergebnisse, was die Bewegung betrifft, sind…okay. Obwohl EVA3D’s Visualisierungen nicht aus dem uncanny valley heraus sind, können sie zumindest die Abfahrt von dort aus sehen.

Was EVA3D hervorragend macht, ist, dass die Forscher dahinter, fast einzigartig in der Branche der Vollkörper-Bildsynthese, erkannt haben, dass ein einzelnes Netzwerk (GAN, NeRF oder anders) nicht in der Lage sein wird, bearbeitbare und flexible menschliche Vollkörpergenerierung für einige Jahre zu ermöglichen – teilweise wegen des Forschungstemos und teilweise wegen Hardware- und anderer logistischer Einschränkungen.

Daher haben die Nanyang-Team die Aufgabe auf 16 Netzwerke und mehrere Technologien aufgeteilt – einen Ansatz, der bereits für die neurale Rendering von städtischen Umgebungen in Block-NeRF und CityNeRF übernommen wurde und der wahrscheinlich zu einer zunehmend interessanten und potenziell fruchtbaren Zwischenlösung zur Erreichung von Vollkörper-Deepfakes in den nächsten fünf Jahren werden wird, vorbehaltlich neuer konzeptioneller oder hardwarebezogener Entwicklungen.

Nicht alle Herausforderungen bei der Erstellung dieser Art von ‘virtuellen Anproben’ sind technischer oder logistischer Natur, und das Papier skizziert einige der Datenprobleme, insbesondere im Hinblick auf unsupervised Learning:

‘[Mode] -Datensätze haben meistens sehr begrenzte menschliche Posen (die meisten sind ähnliche Stehposen), und hoch unbalancierte Blickwinkel (die meisten sind Frontansichten). Diese unbalancierte 2D-Datenverteilung könnte das unsupervised Learning von 3D-GANs behindern, was zu Schwierigkeiten bei der Synthese von neuen Ansichten/Posen führen kann. Daher ist eine geeignete Trainingsstrategie erforderlich, um das Problem zu mildern.’

Die EVA3D-Workflows unterteilen den menschlichen Körper in 16 verschiedene Teile, von denen jeder durch sein eigenes NeRF-Netzwerk generiert wird. Offensichtlich ermöglicht dies genügend ‘unfestgefrorene’ Abschnitte, um die Figur durch Motion Capture oder andere Arten von Bewegungsdaten zu galvanisieren. Neben diesem Vorteil ermöglicht es dem System auch, maximalen Ressourcen den Teilen des Körpers zuzuweisen, die den Gesamteindruck ‘verkaufen’.

Beispielsweise haben menschliche Füße einen sehr begrenzten Bewegungsspielraum, während die Authentizität des Gesichts und des Kopfes, neben der Qualität der gesamten Körperbewegung im Allgemeinen, wahrscheinlich der Schlüssel zur Authentizität der Rendering sein wird.

Eine qualitative Vergleich zwischen EVA3D und vorherigen Methoden. Die Autoren behaupten SOTA-Ergebnisse in diesem Zusammenhang.

Der Ansatz unterscheidet sich radikal von dem NeRF-zentrierten Projekt, mit dem es konzeptionell verwandt ist – 2021’s A-NeRF, von der University of British Columbia und Reality Labs Research, das versuchte, ein internes Steuerskelett zu einem ansonsten konventionellen ‘einteiligen’ NeRF-Darstellung hinzuzufügen, was es schwieriger macht, Ressourcen zu verschiedenen Teilen des Körpers auf der Grundlage von Bedarf zuzuweisen.

Vorherige Bewegungen – A-NeRF ausgestattet mit einem ‘gebackenen’ NeRF mit der gleichen Art von duktilem und artikuliertem zentralem Rigging, das die VFX-Industrie so lange verwendet hat, um CGI-Charaktere zu animieren. Quelle: https://lemonatsu.github.io/anerf/

In Übereinstimmung mit den meisten ähnlichen menschzentrierten Projekten, die versuchen, den latenten Raum der verschiedenen beliebten Ansätze zu nutzen, verwendet EVA3D ein Skinned Multi-Person Linear Model (SMPL), eine ‘traditionelle’ CGI-basierte Methode, um Instrumentalität zur allgemeinen Abstraktion der aktuellen Synthesemethoden hinzuzufügen. Anfang dieses Jahres verwendete ein anderes Papier, diesmal von der Zhejiang University in Hangzhou und der School of Creative Media an der City University of Hong Kong, solche Methoden, um neuronale Körperumformung durchzuführen.

EVA3D’s qualitative Ergebnisse auf DeepFashion.

Method

Das SMPL-Modell, das in diesem Prozess verwendet wird, ist auf den menschlichen ‘Prior’ abgestimmt – die Person, die im Wesentlichen von EVA3D ‘tiefgefälscht’ wird, und dessen Skinning-Gewichte verhandeln die Unterschiede zwischen dem kanonischen Raum (d. h. der ‘ruhenden’ oder ‘neutralen’ Pose eines SMPL-Modells) und der Art und Weise, wie das endgültige Aussehen gerendert wird.

Der konzeptionelle Workflow für EVA3D. Quelle: https://arxiv.org/pdf/2210.04888.pdf

Wie in der Abbildung oben zu sehen ist, werden die Begrenzungsboxen von SMPL als Grenzdefinitionen für die 16 Netzwerke verwendet, die letztendlich den Körper zusammensetzen werden. Der inverse Linear Blend Skinning (LBS) -Algorithmus von SMPL wird dann verwendet, um sichtbare beprobte Strahlen in den kanonischen (passiven) Raum zu übertragen. Dann werden die 16 Subnetzwerke abgefragt, basierend auf diesen Konfigurationen, und letztendlich in eine endgültige Renderung umgewandelt.

Das gesamte NeRF-Komposit wird dann verwendet, um ein 3D-menschliches GAN-Framework zu erstellen.

Die Renderings des zweiten GAN-Frameworks werden letztendlich gegen echte 2D-Bildsammlungen von Menschen/Mode trainiert.

Jedes Subnetzwerk, das einen Teil des menschlichen Körpers darstellt, besteht aus gestapelten Multi-Layer-Perceptrons (MLPs) mit SIREN (Sinusoidale Darstellung von Netzwerken) -Aktivierung. Obwohl SIREN viele Probleme in einem solchen Workflow löst und in ähnlichen Projekten, neigt es dazu, zu überanpassen, anstatt zu verallgemeinern, und die Forscher schlagen vor, dass alternative Bibliotheken in Zukunft verwendet werden könnten (siehe Ende des Artikels).

Daten, Training und Tests

EVA3D steht vor ungewöhnlichen Datenproblemen, aufgrund der Einschränkungen und des gestalteten Stils der Posen, die in Mode-basierten Datensätzen verfügbar sind, die tendenziell alternative oder neue Ansichten fehlen und vielleicht absichtlich repetitiv sind, um die Aufmerksamkeit auf die Kleidung und nicht auf den Menschen, der sie trägt, zu lenken.

Wegen dieser unbalancierten Posenverteilung verwendet EVA3D menschliche Priors (siehe oben) basierend auf der SMPL-Vorlage-Geometrie und dann vorhersagt ein Signed Distance Field (SDF) -Offset dieser Pose, anstatt einer geraden Ziel-Pose.

Für die unterstützenden Experimente verwendeten die Forscher vier Datensätze: DeepFashion; SHHQ; UBCFashion; und die AIST Dance Video Database (AIST Dance DB).

Die letzten beiden enthalten vielfältigere Posen als die ersten beiden, aber stellen die gleichen Personen wiederholt dar, was diese ansonsten nützliche Vielfalt aufhebt; kurz gesagt, die Daten sind mehr als herausfordernd, wenn man die Aufgabe berücksichtigt.

Beispiele aus SSHQ. Quelle: https://arxiv.org/pdf/2204.11823.pdf

Die Baselines, die verwendet wurden, waren ENARF-GAN, das erste Projekt, das NeRF-Visualisierungen aus 2D-Bild-Datensätzen gerendert hat; Stanford und NVIDIA’s (NVDA ) EG3D; und StyleSDF, eine Zusammenarbeit zwischen der University of Washington, Adobe (ADBE ) Research und Stanford University – alle Methoden, die Super-Resolution-Bibliotheken erfordern, um von der nativen auf die hohe Auflösung zu skalieren.

Die verwendeten Metriken waren die umstrittene Frechet-Inception-Distanz (FID) und Kernel-Inception-Distanz (KID), zusammen mit dem Prozentsatz der korrekten Schlüsselpunkte (PCKh@0,5).

Bei quantitativen Bewertungen führte EVA3D in allen Metriken in vier Datensätzen:

Quantitative Ergebnisse.

Die Forscher bemerken, dass EVA3D den niedrigsten Fehlerrate für die Geometrierenderung erreicht, ein kritischer Faktor in einem Projekt dieser Art. Sie bemerken auch, dass ihr System die generierte Pose steuern und höhere PCKh@0,5-Werte erreichen kann, im Gegensatz zu EG3D, der einzige konkurrierende Ansatz, der in einer Kategorie höhere Werte erreichte.

EVA3D arbeitet native bei der mittlerweile standardmäßigen Auflösung von 512×512 Pixeln, obwohl es leicht und effektiv in HD-Auflösung aufgeskalieren werden könnte, indem man Upscale-Schichten hinzufügt, wie Google es kürzlich mit seinem 1024-Auflösungs-Text-zu-Video-Angebot Imagen Video getan hat.

Die Methode ist nicht ohne Grenzen. Das Papier weist darauf hin, dass die SIREN-Aktivierung kreisförmige Artefakte verursachen kann, die durch die Verwendung einer alternativen Basisdarstellung, wie z. B. EG3D, in Kombination mit einem 2D-Decoder, in zukünftigen Versionen behoben werden könnten. Darüber hinaus ist es schwierig, SMPL genau an die Mode-Datenquellen anzupassen.

Schließlich kann das System nicht leicht größere und flüssigere Kleidungsstücke, wie z. B. große Kleider, aufnehmen; Kleidungsstücke dieser Art zeigen die gleiche Art von Flüssigkeitsdynamik, die die Erstellung von neuralem Haar so herausfordernd macht. Es ist anzunehmen, dass eine geeignete Lösung helfen könnte, beide Probleme anzugehen.

Erstveröffentlicht am 12. Oktober 2022.