Die Entflechtung ist die nächste Deepfake-Revolution

CGI-Datenergänzung wird in einem neuen Projekt verwendet, um eine bessere Kontrolle über Deepfake-Bilder zu erlangen. Obwohl Sie immer noch nicht effektiv CGI-Köpfe verwenden können, um die fehlenden Lücken in Deepfake-Gesichtsdatensätzen zu füllen, bedeutet eine neue Welle von Forschungen zur Entflechtung von Identität und Kontext, dass Sie bald nicht mehr müssen.

Die Ersteller einiger der erfolgreichsten viralen Deepfake-Videos der letzten Jahre wählen ihre Quellvideos sehr sorgfältig aus und vermeiden anhaltende Profilansichten (d. h. die Art von Seitenansichten, die von Polizeiarrestverfahren popularisiert wurden), spitze Winkel und ungewöhnliche oder übertriebene Ausdrücke. Immer mehr werden die Demonstrationen, die von viralen Deepfakers produziert werden, bearbeitete Zusammenstellungen, die die “einfachsten” Winkel und Ausdrücke auswählen, um Deepfakes zu erstellen.

Tatsächlich ist das zugänglichste Zielvideo, in das ein Deepfake von einem Prominenten eingefügt werden kann, ein Video, in dem die ursprüngliche Person (deren Identität durch den Deepfake gelöscht wird) direkt in die Kamera schaut, mit einem minimalen Ausdrucksbereich.

Die Mehrheit der populären Deepfakes der letzten Jahre zeigte Subjekte, die direkt in die Kamera schauten, und entweder nur beliebte Ausdrücke (wie Lächeln) trugen, die leicht aus rotem Teppich-Paparazzi-Ausgaben extrahiert werden können, oder (wie bei der 2019er Fälschung von Sylvester Stallone als Terminator, links abgebildet) idealerweise keinen Ausdruck überhaupt, da neutrale Ausdrücke extrem häufig sind und daher leicht in Deepfake-Modelle integriert werden können.

Weil Deepfake-Technologien wie DeepFaceLab und FaceSwap diese einfacheren Swaps sehr gut ausführen, sind wir ausreichend beeindruckt von dem, was sie leisten, und bemerken nicht, was sie nicht können, und – oft – versuchen wir es nicht einmal:

Grabs aus einem anerkannten Deepfake-Video, in dem Arnold Schwarzenegger in Sylvester Stallone verwandelt wird – es sei denn, die Winkel sind zu schwierig. Profile bleiben ein anhaltendes Problem bei aktuellen Deepfake-Ansätzen, teilweise weil die Open-Source-Software, die zur Definition von Gesichtsposen in Deepfake-Frameworks verwendet wird, nicht für Seitenansichten optimiert ist, aber hauptsächlich wegen des Mangels an geeigneten Quelldaten in einem oder beiden der notwendigen Datensätze. Quelle: https://www.youtube.com/watch?v=AQvCmQFScMA

Neue Forschung aus Israel schlägt eine neue Methode vor, synthetische Daten wie CGI-Köpfe zu verwenden, um Deepfakes in die 2020er zu bringen, indem sie tatsächlich Identität von Kontext trennen (d. h. die wesentlichen Gesichtsmerkmale von “Tom Cruise” von allen Winkeln).

Das neue System trennt Pose und Kontext (d. h. ein Auge zwinkern) von der Identitätskodierung der Person, indem es unabhängige synthetische Gesichtsdaten verwendet (links abgebildet). In der oberen Reihe sehen wir ein “Zwinkern” auf die Identität von Barack Obama übertragen, ausgelöst durch den erlernten nichtlinearen Pfad des latenten Raums eines GAN, repräsentiert durch das CGI-Bild links. In der Reihe darunter sehen wir die gestreckte Mundwinkel-Facetten auf den ehemaligen Präsidenten übertragen. Unten rechts sehen wir beide Merkmale gleichzeitig angewendet. Quelle: https://arxiv.org/pdf/2111.08419.pdf

Dies ist nicht nur Deepfake-Kopfpuppenkunst, eine Technik, die eher für Avatare und partielle Lippen-Synchronisation geeignet ist und nur begrenztes Potenzial für vollständige Deepfake-Videotransformationen hat.

Vielmehr stellt dies einen Weg nach vorne für eine grundlegende Trennung von Instrumentalität (wie z. B. “den Kopf neigen” oder “eine Falte schaffen”) von Identität dar, was einen Weg zu einem hochentwickelten Bildsynthese-basierten Deepfake-Framework bietet.

Das neue Papier trägt den Titel Delta-GAN-Encoder: Kodierung semantischer Änderungen für explizite Bildbearbeitung mit wenigen synthetischen Proben und stammt von Forschern am Technion – Israel Institute of Technology.

Um zu verstehen, was diese Arbeit bedeutet, sollten wir uns ansehen, wie Deepfakes derzeit überall von Deepfake-Pornoseiten bis hin zu Industrial Light and Magic (da das DeepFaceLab-Open-Source-Repository derzeit in beiden “Amateuren”- und professionellen Deepfaking-Bereichen dominant ist) produziert werden.

Was hält die aktuelle Deepfake-Technologie zurück?

Deepfakes werden derzeit durch das Trainieren eines Encoder/Decoder-Machine-Learning-Modells auf zwei Ordner mit Gesichtsbildern erstellt – die Person, die Sie “übermalen” möchten (in dem früheren Beispiel ist das Arnie), und die Person, die Sie in das Video einfügen möchten (Sly).

Beispiele für varying Pose und Beleuchtungsbedingungen über zwei verschiedene Gesichtssätze. Beachten Sie den deutlichen Ausdruck am Ende der dritten Reihe in Spalte A, der wahrscheinlich keine enge Entsprechung im anderen Datensatz hat.

Das Encoder/Decoder-System vergleicht dann jedes einzelne Bild in jedem Ordner mit jedem anderen, verbessert und wiederholt diese Operation Hunderttausende von Malen (oft über eine Woche hinweg), bis es die wesentlichen Merkmale beider Identitäten gut genug versteht, um sie nach Belieben auszutauschen.

Für jede der beiden Personen, die im Prozess ausgetauscht werden, ist das, was die Deepfake-Architektur über Identität lernt, mit Kontext verknüpft. Es kann nicht lernen und anwenden, was ein generischer Pose “für immer” ist, sondern benötigt zahlreiche Beispiele im Trainingsdatensatz für jede Identität, die am Gesichtsaustausch beteiligt ist.

Daher benötigen Sie, wenn Sie zwei Identitäten austauschen möchten, die etwas Ungewöhnlicheres tun als nur Lächeln oder direkt in die Kamera schauen, viele Instanzen dieser bestimmten Pose/Identität in beiden Gesichtssätzen:

Weil Gesichts-ID und Pose-Merkmale derzeit so eng miteinander verknüpft sind, ist eine umfassende Übereinstimmung von Ausdruck, Kopfhaltung und (in geringerem Maße) Beleuchtung in beiden Gesichtssätzen erforderlich, um ein effektives Deepfake-Modell auf Systemen wie DeepFaceLab zu trainieren. Je weniger eine bestimmte Konfiguration (wie “Seitenansicht/Lächeln/sonnig”) in beiden Gesichtssätzen vorkommt, desto weniger genau wird sie in einem Deepfake-Video gerendert, wenn benötigt.

Wenn Satz A die ungewöhnliche Pose enthält, aber Satz B sie nicht, sind Sie ziemlich ausgeschlossen; egal, wie lange Sie das Modell trainieren, es wird nie lernen, diese Pose zwischen den Identitäten gut zu reproduzieren, da es nur die Hälfte der notwendigen Informationen hatte, als es trainiert wurde.

Selbst wenn Sie passende Bilder haben, reicht es möglicherweise nicht aus: Wenn Satz A die passende Pose hat, aber mit harter Seitenbeleuchtung, im Vergleich zur flach beleuchteten äquivalenten Pose im anderen Gesichtssatz, wird die Qualität des Swaps nicht so gut sein, als wenn beide gemeinsame Beleuchtungsmerkmale hätten.

Warum sind die Daten knapp?

Es sei denn, Sie werden regelmäßig verhaftet, haben Sie wahrscheinlich nicht allzu viele Seitenansichten von sich selbst. Jede, die aufgetaucht ist, haben Sie wahrscheinlich weggeworfen. Da Bildagenturen dies auch tun, sind Profilgesichtsansichten schwer zu finden.

Deepfakers fügen oft mehrere Kopien der begrenzten Seitenansichtsdaten, die sie für eine Identität in einem Gesichtssatz haben, hinzu, nur damit diese Pose zumindest ein bisschen Aufmerksamkeit und Zeit während des Trainings erhält, anstatt als Ausreißer abgetan zu werden.

Aber es gibt viel mehr mögliche Arten von Seitenansichtsbildern als wahrscheinlich in einem Datensatz verfügbar sind – Lächeln, Stirnrunzeln, Schreien, Weinen, dunkel beleuchtet, verachtungsvoll, gelangweilt, heiter, blitzlichtbeleuchtet, nach oben schauen, nach unten schauen, Augen offen, Augen geschlossen… und so weiter. Jede dieser Posen, in mehreren Kombinationen, könnte in einem Ziel-Deepfake-Video benötigt werden.

Und das ist nur für Profile. Wie viele Bilder haben Sie von sich selbst, die direkt nach oben schauen? Haben Sie genug, um die 10.000 möglichen Ausdrücke zu repräsentieren, die Sie tragen könnten, während Sie diese genaue Pose aus dieser genauen Kameraperspektive einnehmen, und mindestens einige der eine Million möglichen Beleuchtungsumgebungen abdecken?

Wahrscheinlich haben Sie nicht einmal ein Bild von sich selbst, das nach oben schaut. Und das ist nur zwei Winkel von den hundert oder mehr, die für eine vollständige Abdeckung erforderlich sind.

Selbst wenn es möglich wäre, eine vollständige Abdeckung eines Gesichts aus allen Winkeln unter verschiedenen Beleuchtungsbedingungen zu erstellen, wäre der resultierende Datensatz viel zu groß, um trainiert zu werden, in der Größenordnung von Hunderttausenden von Bildern; und selbst wenn er trainiert werden könnte, würde die Natur des Trainingsprozesses für aktuelle Deepfake-Frameworks den größten Teil dieser zusätzlichen Daten zugunsten einer begrenzten Anzahl abgeleiteter Merkmale aufgeben, da die aktuellen Frameworks reduktionistisch und nicht sehr skalierbar sind.

Synthetische Substitution

Seit den Anfängen von Deepfakes haben Deepfakers mit der Verwendung von CGI-ähnlichen Bildern, Köpfen, die in 3D-Anwendungen wie Cinema4D und Maya erstellt wurden, experimentiert, um diese “fehlenden Posen” zu generieren.

Kein AI notwendig; eine Schauspielerin wird in einem herkömmlichen CGI-Programm, Cinema 4D, mit Meshes und bitmapped Texturen rekonstruiert – Technologie, die bis in die 1960er Jahre zurückreicht, obwohl sie erst in den 1990er Jahren weite Verbreitung fand. Theoretisch könnte dieses Gesichtsmodell verwendet werden, um Deepfake-Quelldaten für ungewöhnliche Posen, Beleuchtungsstile und Gesichtsausdrücke zu generieren. In der Realität war es jedoch von begrenztem oder keinem Nutzen für Deepfaking, da die “Falschheit” der Renderings tendenziell in ausgetauschten Videos durchscheint. Quelle: https://rossdawson.com/futurist/implications-of-ai/comprehensive-guide-ai-artificial-intelligence-visual-effects-vfx/

Diese Methode wird normalerweise von neuen Deepfake-Praktikern frühzeitig aufgegeben, da sie zwar Posen und Ausdrücke liefern kann, die sonst nicht verfügbar sind, die synthetische Erscheinung der CGI-Gesichter jedoch aufgrund der Verknüpfung von ID und kontextueller/semantischer Information normalerweise in die Swaps durchscheint.

Dies kann zu plötzlichen Aufblitzen von “uncanny valley”-Gesichtern in einem ansonsten überzeugenden Deepfake-Video führen, wenn der Algorithmus beginnt, die einzigen Daten zu verwenden, die er für eine ungewöhnliche Pose oder einen ungewöhnlichen Ausdruck hat – offensichtlich falsche Gesichter.

Unter den beliebtesten Themen für Deepfakers ist ein 3D-Deepfake-Algorithmus für die australische Schauspielerin Margot Robbie in der Standardinstallation von DeepFaceLive enthalten, einer Version von DeepFaceLab, die Deepfakes in Echtzeit ausführen kann, wie z. B. in einer Webcam-Session. Ein CGI-Modell, wie oben abgebildet, könnte verwendet werden, um ungewöhnliche “fehlende” Winkel in Deepfake-Datensätzen zu erhalten. Quelle: https://sketchfab.com/3d-models/margot-robbie-bust-for-full-color-3d-printing-98d15fe0403b4e64902332be9cfb0ace

CGI-Gesichter als abgetrennte, konzeptionelle Richtlinien

Stattdessen ist die neue Delta-GAN-Encoder-Methode (DGE) der israelischen Forscher effektiver, da die Pose- und Kontextinformationen aus den CGI-Bildern vollständig von den “Identitäts”-Informationen des Ziels getrennt wurden.

Wir können dieses Prinzip in Aktion sehen, indem verschiedene Kopforientierungen durch die Verwendung von CGI-Bildern als Richtlinie erhalten werden. Da die Identitätsmerkmale nicht mit den Kontextmerkmalen verknüpft sind, gibt es weder ein Durchscheinen des falsch aussehenden synthetischen Aussehens der CGI-Gesichter noch der Identität, die in ihnen dargestellt ist:

Mit der neuen Methode müssen Sie nicht drei separate reale Quellbilder finden, um ein Deepfake aus mehreren Winkeln zu erstellen – Sie können einfach den CGI-Kopf drehen, dessen abstrakte Merkmale auf die Identität ohne Leckagen von ID-Informationen übertragen werden.

Delta-GAN-Encoder. Obere linke Gruppe: Der Winkel eines Quellbildes kann in einer Sekunde geändert werden, um ein neues Quellbild zu rendern, das im Ausgabe reflektiert wird; obere rechte Gruppe: Beleuchtung ist ebenfalls von Identität getrennt, was die Überlagerung von Beleuchtungsstilen ermöglicht; untere linke Gruppe: Mehrere Gesichtsmerkmale werden geändert, um einen “traurigen” Ausdruck zu erstellen; untere rechte Gruppe: Ein einzelnes Gesichtsmerkmal wird geändert, so dass die Augen blinzeln.

Diese Trennung von Identität und Kontext wird im Trainingsstadium erreicht. Die Pipeline für die neue Deepfake-Architektur sucht den latenten Vektor in einem vorgefertigten Generative Adversarial Network (GAN) aus, der dem zu transformierenden Bild entspricht – eine Sim2Real-Methode, die auf einem 2018er Projekt von IBMs AI-Forschungsabteilung aufbaut.

Die Forscher bemerken:

‘Mit nur wenigen Proben, die sich durch ein bestimmtes Attribut unterscheiden, kann man das entflechtete Verhalten eines vorgefertigten verknüpften generativen Modells lernen. Es ist kein Bedarf an exakten realen Proben, um dieses Ziel zu erreichen, was nicht unbedingt machbar ist.

‘Durch die Verwendung nicht realistischer Datenproben kann dasselbe Ziel erreicht werden, indem man die Semantik der kodierten latenten Vektoren nutzt. Die Anwendung von gewünschten Änderungen an bestehenden Datenproben kann ohne explizite Erforschung des latenten Raumverhaltens durchgeführt werden.’

Die Forscher erwarten, dass die Kernprinzipien der Entflechtung, die in diesem Projekt erforscht wurden, auf andere Bereiche wie Innenarchitektursimulationen übertragen werden können, und dass die Sim2Real-Methode, die für Delta-GAN-Encoder verwendet wurde, letztendlich Deepfake-Instrumentalität auf der Grundlage von Skizzen und nicht von CGI-ähnlichen Eingaben ermöglichen könnte.

Es kann argumentiert werden, dass der Umfang, in dem das neue israelische System in der Lage sein könnte, Deepfake-Videos zu synthetisieren, viel weniger bedeutend ist als der Fortschritt, den die Forschung bei der Entflechtung von Kontext und Identität gemacht hat, indem sie mehr Kontrolle über den latenten Raum eines GAN erlangt hat.

Entflechtung ist ein aktives Forschungsgebiet in der Bildsynthese; im Januar 2021 demonstrierte ein von Amazon geleitetes Forschungspapier ähnliche Pose-Kontrolle und Entflechtung, und 2018 machte ein Papier vom Shenzhen Institute of Advanced Technology an der Chinesischen Akademie der Wissenschaften Fortschritte bei der Erzeugung von willkürlichen Blickwinkeln in einem GAN.