GAN als Gesichtsrenderer für “traditionelle” CGI

MeinungAls Generative Adversarial Networks (GANs) ihre Fähigkeit demonstrierten, realistische 3D-Gesichter zu reproduzieren, löste dies einen Goldrausch für das ungenutzte Potenzial von GANs aus, um temporally konsistente Videos mit menschlichen Gesichtern zu erstellen.

Irgendwo im latenten Raum des GANs schien es, dass es dort eine verborgene Ordnung und Rationalität geben musste – ein Schema einer nascenten semantischen Logik, das in den latenten Codes vergraben war, das es einem GAN ermöglichen würde, konsistente multiple Ansichten und Interpretationen (wie Ausdrucksänderungen) desselben Gesichts zu generieren und anschließend ein temporally überzeugendes Deepfake-Video-Verfahren anzubieten, das Autoencoder aus dem Wasser schlagen würde.

Ein hochauflösendes Ausgabeformat wäre trivial im Vergleich zu den niedrigen Auflösungen, in denen GPU-Einschränkungen DeepFaceLab und FaceSwap zwingen, zu operieren, während die “Swap-Zone” eines Gesichts (in Autoencoder-Workflows) zur “Erstellungszone” eines GANs werden würde, das durch eine Handvoll Eingabebilder oder sogar nur ein einzelnes Bild informiert wird.

Es würde keine Diskrepanz zwischen dem “Swap”- und “Host”-Gesicht mehr geben, da das gesamte Bild von Grund auf generiert würde, einschließlich Haaren, Kinnlinien und den äußersten Extremitäten der Gesichtszüge, die häufig eine Herausforderung für “traditionelle” Autoencoder-Deepfakes darstellen.

Der GAN-Facial-Video-Winter

Wie sich herausstellte, war es nicht so einfach. Letztendlich erwies sich die Disentanglement als das zentrale Problem und bleibt die primäre Herausforderung. Wie kann man eine distinkte Gesichtsidentität beibehalten und ihre Pose oder ihren Ausdruck ändern, ohne eine Korpus von Tausenden von Referenzbildern zu sammeln, die einem neuronalen Netzwerk beibringen, was passiert, wenn diese Änderungen vorgenommen werden, so wie Autoencoder-Systeme dies so mühsam tun?

Spätere Überlegungen in der GAN-Gesichts-Enactment- und -Synthese-Forschung waren, dass eine Eingabe-Identität möglicherweise einer teleologischen, generischen, vorlagenbasierten Transformation unterzogen werden könnte, die nicht identitätsspezifisch ist. Ein Beispiel dafür wäre, einen Ausdruck auf ein GAN-Gesicht anzuwenden, der in keinem der Bilder dieser Person, die der GAN kennt, vorhanden ist.

Aus dem 2022-Papier Tensor-based Emotion Editing in the StyleGAN Latent Space, werden vorlagenbasierte Ausdrücke auf ein Eingabegesicht aus dem FFHQ-Datensatz angewendet. Quelle: https://arxiv.org/pdf/2205.06102.pdf

Es ist offensichtlich, dass ein “Ein-Größe-passt-für-alle”-Ansatz die Vielfalt der Gesichtsausdrücke, die einzigartig für eine Person sind, nicht abdecken kann. Wir müssen uns fragen, ob ein Lächeln, so einzigartig wie das von Jack Nicholson oder Willem Dafoe, jemals unter dem Einfluss solcher “Mittelwert-Ausdruck”-Latent-Codes eine treue Interpretation erhalten könnte.

Wer ist dieser charmante lateinamerikanische Fremde? Obwohl die GAN-Methode ein realistischeres und höher auflösendes Gesicht produziert, ist die Transformation nicht durch multiple Echtzeitbilder des Schauspielers informiert, wie es bei DeepFaceLab der Fall ist, das umfassend und oft auf Kosten einer Datenbank von Tausenden solcher Bilder trainiert, und folglich ist die Ähnlichkeit beeinträchtigt. Hier (Hintergrund) wird ein DeepFaceLab-Modell in DeepFaceLive importiert, einer Streaming-Implementierung der beliebten und umstrittenen Software. Beispiele sind von https://www.youtube.com/watch?v=9tr35y-yQRY (2022) und https://arxiv.org/pdf/2205.06102.pdf.

Einige GAN-Gesichts-Editors wurden in den letzten Jahren vorgeschlagen, die meisten davon mit unbekannten Identitäten zu tun haben, bei denen die Treue der Transformationen für den durchschnittlichen Leser unmöglich zu erkennen ist, da diese keine vertrauten Gesichter sind.

Unbekannte Identitäten werden im 2020er Angebot Cascade-EF-GAN transformiert. Quelle: https://arxiv.org/pdf/2003.05905.pdf

Vielleicht ist der GAN-Gesichts-Editor, der in den letzten drei Jahren das meiste Interesse (und Zitate) erhalten hat, InterFaceGAN, das latenten Raum-Traversierungen in latenten Codes in Bezug auf Pose (Kamerawinkel/Gesicht), Ausdruck, Alter, Rasse, Geschlecht und andere wesentliche Eigenschaften durchführen kann.

Die “Morphing”-Fähigkeiten von InterFaceGAN und ähnlichen Frameworks sind hauptsächlich eine Möglichkeit, den Weg zur Transformation als Bild, das durch einen geeigneten latenten Code (wie “Alter”) rückprojiziert wird, zu veranschaulichen. In Bezug auf die Erstellung von Videoaufnahmen mit zeitlicher Kontinuität haben sich diese Schemata bisher als “beeindruckende Katastrophen” erwiesen.

Wenn man hinzuadds, dass die Erstellung von zeitlich konsistenten Haaren schwierig ist und dass die Technik der latenten Code-Exploration/Manipulation keine inhärenten zeitlichen Richtlinien hat, mit denen sie arbeiten kann (und es schwierig ist, solche Richtlinien in ein Framework einzuführen, das für die Erstellung von Stillbildern und nicht für Videoausgabe konzipiert ist), könnte es logisch sein, zu schlussfolgern, dass GAN nicht alles ist, was man braucht, um Gesichts-Video-Synthese zu erstellen.

Daher haben spätere Bemühungen inkrementale Verbesserungen in der Disentanglement-Erstellung hervorgebracht, während andere andere Konventionen in der Computer-Vision als “Guidance-Schicht” hinzugefügt haben, wie die Verwendung von semantischer Segmentierung als Steuermechanismus in dem späten 2021er Papier SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing.

Semantische Segmentierung als Methode der latenten Raum-Instrumentalität in SemanticStyleGAN. Quelle: https://semanticstylegan.github.io/

Parametrische Führung

Die GAN-Gesichts-Synthese-Forschungsgemeinschaft steuert zunehmend auf die Verwendung von “traditionellen” parametrischen CGI-Gesichtern als Methode, um den latenten Raum des GANs zu ordnen und zu steuern.

Obwohl parametrische Gesichts-Primitiven seit über zwanzig Jahren ein fester Bestandteil der Computer-Vision-Forschung sind, ist das Interesse an diesem Ansatz in letzter Zeit gewachsen, insbesondere durch die zunehmende Verwendung von Skinned Multi-Person Linear Model (SMPL) CGI-Primitiven, einem Ansatz, der vom Max-Planck-Institut und ILM entwickelt wurde und seitdem durch den Sparse Trained Articulated Human Body Regressor (STAR) Framework verbessert wurde.

SMPL (in diesem Fall eine Variante namens SMPL-X) kann eine CGI-parametrische Maske aufdrücken, die mit der geschätzten Pose (einschließlich Ausdrücken, falls erforderlich) des gesamten Körpers in einem Bild übereinstimmt, wodurch neue Operationen auf dem Bild mithilfe der parametrischen Maske als volumetrische oder wahrnehmungsbezogene Richtlinie durchgeführt werden können. Quelle: https://arxiv.org/pdf/1904.05866.pdf

Die bekannteste Entwicklung in dieser Linie war Disney’s 2019er Rendering with Style Initiative, die die Verwendung von traditionellen Texture-Maps mit GAN-generierten Bildern kombinierte, um verbesserte, “Deepfake-ähnliche” animierte Ausgaben zu erstellen.

Alt trifft Neu in Disney’s hybrider Ansatz für GAN-generierte Deepfakes. Quelle: https://www.youtube.com/watch?v=TwpLqTmvqVk

Der Disney-Ansatz überlagert traditionell gerenderte CGI-Aspekte in einem StyleGAN2-Netzwerk, um “Problemzonen” wie Hauttextur zu “inpainten”, in denen die zeitliche Konsistenz bei der Videoerstellung ein Problem darstellt.

Der Rendering with Style-Workflow.

Da das parametrische CGI-Gesicht, das diesen Prozess steuert, angepasst und geändert werden kann, um den Benutzer zu unterstützen, kann das GAN-generierte Gesicht diese Änderungen widerspiegeln, einschließlich Änderungen der Kopfpose und des Ausdrucks.

Obwohl es darauf abzielte, die Instrumentalität von CGI mit der natürlichen Realistik von GAN-Gesichtern zu verbinden, zeigen die Ergebnisse letztendlich das Schlechteste aus beiden Welten und scheitern immer noch daran, Haartextur und sogar grundlegende Merkmale konsistent zu halten:

Ein neues “Uncanny Valley” entsteht aus Rendering with Style, obwohl das Prinzip immer noch Potential hat.

Das 2020er Papier StyleRig: Rigging StyleGAN for 3D Control over Portrait Images verfolgt einen zunehmend populären Ansatz, indem es dreidimensionale morphable Gesichtsmodelle (3DMMs) als Proxys für die Änderung von Eigenschaften in einer StyleGAN-Umgebung verwendet, in diesem Fall durch ein neues Rigging-Netzwerk namens RigNet:

3DMMs dienen als Proxys für latente Raum-Interpretationen in StyleRig. Quelle: https://arxiv.org/pdf/2004.00121.pdf

Wie üblich bei solchen Initiativen, scheinen die Ergebnisse bisher auf minimale Pose-Manipulationen und “uninformierte” Ausdrucks-/Affekt-Änderungen beschränkt zu sein.

StyleRig verbessert die Kontrolle, obwohl zeitlich konsistente Haare immer noch eine ungelöste Herausforderung darstellen. Quelle: https://www.youtube.com/watch?v=eaW_P85wQ9k

Ähnliche Ergebnisse können aus Mitsubishi Researchs MOST-GAN gefunden werden, einem 2021er Papier, das nichtlineare 3DMMs als Disentanglement-Architektur verwendet, aber auch an dynamischer und konsistenter Bewegung scheitert.

Die neueste Forschung, die Instrumentalität und Disentanglement zu erreichen versucht, ist One-Shot Face Reenactment on Megapixels, das wiederum 3DMM-parametrische Köpfe als benutzerfreundliche Schnittstelle für StyleGAN verwendet.

Im MegaFR-Workflow von One-Shot Face Reenactment kombiniert das Netzwerk Gesichtssynthese, indem es ein umgekehrtes Echtzeitbild mit Parametern aus einem gerenderten 3DMM-Modell kombiniert. Quelle: https://arxiv.org/pdf/2205.13368.pdf

OSFR gehört zu einer wachsenden Klasse von GAN-Gesichts-Editoren, die versuchen, Photoshop/After-Effects-ähnliche lineare Bearbeitungs-Workflows zu entwickeln, in denen der Benutzer ein gewünschtes Bild einfügen kann, auf dem Transformationen angewendet werden können, anstatt durch den latenten Raum nach latenten Codes für eine Identität zu suchen.

Wiederum stellen parametrische Ausdrücke eine übergeordnete und unpersönliche Methode dar, um Ausdruck in ein Bild einzufügen, was zu Manipulationen führt, die “uncanny” in ihrer eigenen, nicht immer positiven Weise erscheinen.

Eingefügte Ausdrücke in OSFR.

Wie bei vorherigen Arbeiten kann OSFR nahezu ursprüngliche Posen aus einem einzelnen Bild ableiten und auch “Frontalisation” durchführen, bei der ein Bild mit abweichender Pose in ein Passbild übersetzt wird:

Ursprüngliches (oben) und abgeleitetes Passbild aus einer der Implementierungen von OSFR, die im neuen Papier beschrieben werden.

In der Praxis ist diese Art von Inferenz ähnlich wie einige der Photogrammetrie-Prinzipien, die Neural Radiance Fields (NeRF) untermauern, außer dass die Geometrie hier durch ein einzelnes Foto definiert werden muss, anstatt der 3-4 Blickwinkel, die NeRF ermöglichen, fehlende Zwischenposen zu interpretieren und explorable neuronale 3D-Szenen mit Menschen zu erstellen.

(Allerdings ist NeRF auch nicht All You Need, da es eine fast völlig andere Menge an Hindernissen für die Erstellung von Gesichts-Video-Synthese mit sich bringt)

Hat GAN einen Platz in der Gesichts-Video-Synthese?

Das Erreichen dynamischer Ausdrücke und Posen außerhalb der Verteilung aus einem einzelnen Quellbild scheint eine Art Alchemie in der GAN-Gesichts-Synthese-Forschung zu sein, hauptsächlich weil GANs derzeit die einzige Methode sind, die in der Lage ist, relativ hohe Auflösungen und -treue neuronale Gesichter auszugeben: Obwohl Autoencoder-Deepfake-Frameworks auf einer Vielzahl von Echtzeitposen und -ausdrücken trainieren können, müssen sie bei VRAM-eingeschränkten Eingabe-/Ausgabebildern operieren und benötigen einen “Host”; NeRF ist ähnlich eingeschränkt und hat derzeit keine etablierten Methoden für die Änderung von Gesichtsausdrücken und leidet unter begrenzter Editierbarkeit im Allgemeinen.

Es scheint, dass der einzige Weg vorwärts für ein genaues CGI/GAN-Gesichts-Synthese-System darin besteht, eine neue Initiative zu finden, die es schafft, eine multi-Photo-Identitäts-Entität im latenten Raum zu erstellen, in dem ein latenter Code für eine Person nicht den gesamten latenten Raum durchqueren muss, um nicht verwandte Pose-Parameter auszunutzen, sondern auf seine eigenen verwandten (Echtzeit-) Bilder als Referenzen für Transformationen verweisen kann.

Sogar in einem solchen Fall oder wenn ein ganzes StyleGAN-Netzwerk auf einem einzelnen Identitäts-Gesichts-Set trainiert würde (ähnlich wie die Trainingssets, die Autoencoder verwenden), würde die fehlende semantische Logik wahrscheinlich immer noch durch adjunkte Technologien wie semantische Segmentierung oder parametrische 3DMM-Gesichter bereitgestellt werden müssen, die in einem solchen Szenario zumindest mehr Material zur Verfügung hätten.