Warum Deepfakes derzeit keine Subtilität der Emotionen vermitteln können

Die gestrige Premiere von Episode 6 der Star Wars-Spin-off-Serie The Book of Boba Fett hat anscheinend die Meinung der Fans gespalten. Die allgemein positive Resonanz auf die erheblich verbesserte Rekonstruktion eines jugendlichen Mark Hamill (im Vergleich zu seinem früheren Auftritt in der zweiten Staffel von The Mandalorian im Jahr 2020) wird oft der Tatsache zugeschrieben, dass Industrial Light and Magic den Amateur-Deepfakes-Praktiker Shamook (der seine Arbeit mit Open-Source-Software radikal verbessert hatte) eingestellt hat; und dass die Darstellungen der Figur eine Kombination aus Deepfake-Technologie und CGI sein müssen.

Es gibt derzeit nur begrenzte Bestätigung dafür, obwohl Shamook seit dem Inkrafttreten der ILM-Vertraulichkeitsvereinbarung wenig zu der Welt gesagt hat. Dennoch ist die Arbeit eine außergewöhnliche Verbesserung gegenüber der CGI von 2020; sie zeigt einige der “Glanz”-Effekte, die mit Deepfake-Modellen aus Archivwerken verbunden sind; und entspricht im Allgemeinen den besten aktuellen visuellen Standards für Deepfakes.

Der andere Strang der Meinung der Fans ist, dass der neue Versuch, “Jungen Luke” darzustellen, eine andere Menge an Fehlern als der vorherige aufweist. Vielleicht am aussagekräftigsten ist das Fehlen von Ausdrucksvermögen und subtilen, angemessenen Emotionen in den sehr langen Sequenzen, die die neue Skywalker-Rekonstruktion zeigen, sind typischer für Deepfakes als für CGI; The Verge hat beschrieben, wie die Boba Fett-Simulation in Bezug auf die ‘unheimliche, leere Miene von Mark Hamills eingefrorenem Gesicht von 1983’ ist.

Unabhängig von den Technologien hinter der neuen ILM-Rekonstruktion haben Deepfake-Transformationen ein grundlegendes Problem mit der Subtilität der Emotionen, das schwierig zu lösen ist, entweder durch Änderungen in der Architektur oder durch Verbesserung des Quelltrainingsmaterials, und das normalerweise durch die sorgfältigen Auswahlmöglichkeiten vermieden wird, die virale Deepfakes-Praktiker treffen, wenn sie ein Zielvideo auswählen.

Gesichts-Alignierung-Beschränkungen

Die beiden am häufigsten verwendeten Deepfake-FOSS-Repositorys sind DeepFaceLab (DFL) und FaceSwap, beide aus dem anonymen und umstrittenen Quellcode von 2017 abgeleitet, wobei DFL eine enorme Führung in der VFX-Industrie hat, trotz seiner begrenzten Instrumentalität.

Jedes dieser Pakete wird zunächst mit der Aufgabe betraut, Gesichtsmerkmale aus den Gesichtern zu extrahieren, die es aus dem Quellmaterial (d. h. Frames von Videos und/oder Stillbildern) identifizieren konnte.

Das Facial Alignment Network (FAN) in Aktion, aus dem offiziellen Repository. Quelle: https://github.com/1adrianb/face-alignment

Sowohl DFL als auch FaceSwap verwenden die Facial Alignment Network (FAN)-Bibliothek. FAN kann 2D- und 3D-Landmarken (siehe Bild oben) für extrahierte Gesichter erstellen. 3D-Landmarken können umfassend die wahrgenommene Ausrichtung des Gesichts berücksichtigen, bis hin zu extremen Profilen und relativ spitzen Winkeln.

Es ist jedoch offensichtlich, dass dies sehr rudimentäre Richtlinien für die Lenkung und Bewertung von Pixeln sind:

Aus dem FaceSwap-Forum, ein ungefährer Indikator für die verfügbaren Landmarken für Gesichtsmerkmale. Quelle: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

Die grundlegendsten Merkmale des Gesichts sind berücksichtigt: Augen können sich weiten und schließen, ebenso wie der Kiefer, während grundlegende Konfigurationen des Mundes (wie Lächeln, Stirnrunzeln usw.) nachgezeichnet und angepasst werden können. Das Gesicht kann in jede Richtung bis zu etwa 200 Grad von der Kameraperspektive aus rotieren.

Darüber hinaus sind diese ziemlich grobe Zäune für die Art und Weise, wie Pixel innerhalb dieser Grenzen verhalten werden, und stellen die einzigen wirklich mathematischen und präzisen Gesichtsrichtlinien im gesamten Deepfake-Prozess dar. Der Trainingsprozess selbst vergleicht einfach, wie Pixel innerhalb oder in der Nähe dieser Grenzen angeordnet sind.

Trainingsphase in DeepFaceLab. Quelle: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

Da es keine Vorkehrungen für die Topologie von Teilen des Gesichts (Konvexität und Konkavität der Wangen, Alterungsmerkmale, Grübchen usw.) gibt, ist es nicht einmal möglich, zu versuchen, solche “subtilen” Untermerkmale zwischen einer Quelle (“Gesicht, das Sie überschreiben möchten”) und einer Zielidentität (“Gesicht, das Sie einfügen möchten”) abzugleichen.

Mit begrenzten Daten zurechtkommen

Das Abrufen von abgestimmten Daten zwischen zwei Identitäten zum Zwecke des Trainings von Deepfakes ist nicht einfach. Je ungewöhnlicher der Winkel ist, den Sie abgleichen müssen, desto mehr müssen Sie möglicherweise Kompromisse eingehen, ob dieser (seltene) Winkelabgleich zwischen den Identitäten A und B tatsächlich denselben Ausdruck aufweist.

Nah, aber nicht genau ein Match.

Im obigen Beispiel sind die beiden Identitäten in ihrer Haltung ziemlich ähnlich, aber das ist so nah, wie diese Datenmenge an ein exaktes Match herankommt.

Es bleiben deutliche Unterschiede bestehen: Der Winkel und die Linse stimmen nicht genau überein, und auch nicht die Beleuchtung; Subjekt A hat die Augen nicht vollständig geschlossen, im Gegensatz zu Subjekt B; die Bildqualität und Komprimierung ist in Subjekt A schlechter; und irgendwie scheint Subjekt B glücklicher als Subjekt A.

Aber, wissen Sie, es ist alles, was wir haben, also werden wir damit trainieren müssen.

Weil dieser A-<B-Abgleich so viele ungewöhnliche Elemente enthält, können Sie sicher sein, dass es in der Menge nur wenige, wenn überhaupt, ähnliche Paarungen gibt. Daher wird das Training entweder unteranpassen oder überanpassen.

Unteranpassung: </strong Wenn dieser Abgleich eine wahre Minderheit ist (d. h. die Eltern-Datensatz ist ziemlich groß und weist diese Merkmale der beiden Fotos nicht oft auf), wird er im Vergleich zu "beliebteren" (d. h. einfachen/neutrale) Paarungen nicht viel Trainingszeit erhalten. Folglich wird dieser Winkel/Ausdruck in einem Deepfake, der mit dem trainierten Modell erstellt wird, nicht gut dargestellt.

Überanpassung: In Verzweiflung angesichts der knappen Datenabgleiche für solche seltenen A-<B-Paarungen werden Deepfakes-Praktiker manchmal das Paarung viele Male in der Datenmenge duplizieren, damit es eine bessere Chance hat, ein Merkmal im endgültigen Modell zu werden. Dies führt zu Überanpassung, bei der Deepfake-Videos, die mit dem Modell erstellt werden, wahrscheinlich pedantisch die Ungenauigkeiten wiederholen, die zwischen den beiden Fotos offensichtlich sind, wie z. B. die unterschiedliche Ausdehnung, in der die Augen geschlossen sind.

Im Bild unten sehen wir Wladimir Putin, der in DeepFaceLab trainiert wird, um in Kevin Spacey zu wechseln. Hier ist das Training relativ fortgeschritten bei 160.000 Iterationen.

Quelle: https://i.imgur.com/OdXHLhU.jpg

Der beiläufige Beobachter könnte behaupten, dass Putin in diesen Test-Wechseln ein wenig, nun, raumausfüllender als Spacey aussieht. Lassen Sie uns sehen, was ein Online-Emotions-Erkennungsprogramm über den Ausdrucksunterschied macht:

Quelle: https://www.noldus.com/facereader/measure-your-emotions

Laut diesem speziellen Oracle, das eine viel detailliertere Gesichtstopographie analysiert als DFL und Faceswap, ist Spacey weniger wütend, angewidert und verachtend als das resultierende Putin-Deepfake in diesem Paarung.

Die ungleichen Ausdrücke kommen als Teil eines verflochtenen Pakets, da die beliebten Deepfakes-Anwendungen keine Möglichkeit haben, Ausdrücke oder Emotionen zu registrieren oder abzugleichen, außer stillschweigend, als eine rohe Pixel-zu-Pixel-Zuordnung.

Für uns sind die Unterschiede enorm. Wir lernen, Gesichtsausdrücke als eine grundlegende Überlebensstrategie von unseren frühesten Jahren an und setzen diese Fähigkeit im Erwachsenenalter für soziale Integration und Fortschritt, Paarung und als laufendes Bedrohungsbeurteilungsframework fort. Da wir so sehr auf Mikroausdrücke sensibilisiert sind, werden Deepfake-Technologien letztendlich Rechnung tragen müssen.

Gegen den Strich

Obwohl die Deepfake-Revolution das Versprechen gebracht hat, “klassische” Filmstars in moderne Filme und Fernsehsendungen einzufügen, kann künstliche Intelligenz nicht in die Vergangenheit zurückgehen und ihre klassischen Werke in einer kompatibleren Definition und Qualität aufnehmen, was für diesen Anwendungsfall von entscheidender Bedeutung ist.

Unter der Annahme (und für unsere Zwecke ist es nicht wichtig, ob es falsch ist), dass die Boba Fett-Hamill-Rekonstruktion hauptsächlich das Ergebnis eines trainierten Deepfake-Modells war, hätte die Datenmenge für das Modell die Ausbeutung von Footage aus der Zeit um die Produktionszeit der Show (d. h. Hamill als früher Dreißigjähriger um die Zeit der Produktion von Return of the Jedi, 1981-83) ausnutzen müssen.

Der Film wurde gedreht auf Eastman Color Negative 250T 5293/7293-Film, einem 250ASA-Emulsion, der zu dieser Zeit als mittel bis feinkörnig galt, aber bereits Ende der 1980er Jahre an Klarheit, Farbreichweite und Treue von anderen überholt wurde. Es ist ein Film seiner Zeit, und der operatische Umfang von Jedi ermöglichte nur wenige Nahaufnahmen sogar für die Hauptdarsteller, was die Kornprobleme noch kritischer macht, da die Quellgesichter nur einen Teil des Rahmens einnehmen.

Eine Reihe von Szenen von Hamill in Return of the Jedi (1983).

Zusätzlich wurde ein großer Teil der VFX-lastigen Footage, die Hamill zeigt, durch einen optischen Drucker laufen, was den Filmkorn noch erhöht. Es ist jedoch möglich, dass der Zugriff auf die Lucasfilm-Archive – die offensichtlich gute Pflege der Master-Negative und Stunden zusätzlicher ungenutzter Rohfootage anbieten könnten – dieses Problem überwinden könnte.

Manchmal ist es möglich, einen Bereich von Jahren der Ausgabe eines Schauspielers abzudecken, um die Deepfakes-Datenmenge zu erhöhen und zu diversifizieren. Im Fall von Hamill sind Deepfakes-Praktiker jedoch durch seine Veränderung des Aussehens nach einem Autounfall im Jahr 1977 und der Tatsache, dass er sofort nach Jedi seine zweite Karriere als anerkannter Synchronsprecher begann, eingeschränkt, wodurch Quellmaterial relativ knapp ist.

Begrenzter Emotionsumfang?

Wenn Sie benötigen, dass Ihr Deepfake-Schauspieler die Szene beherrscht, benötigen Sie Quellfootage, das einen ungewöhnlich breiten Bereich von Gesichtsausdrücken enthält. Es kann sein, dass das einzige altersgerechte verfügbare Footage nicht viele dieser Ausdrücke aufweist.

Beispielsweise hatte die Figur von Hamill, als die Story-Arc von Return of the Jedi kam, ihre Emotionen größtenteils beherrscht, eine Entwicklung, die absolut zentral zur ursprünglichen Franchise-Mythologie ist. Daher müssen Sie, wenn Sie ein Hamill-Deepfake-Modell aus Jedi-Daten erstellen, mit dem begrenzteren Bereich von Emotionen und ungewöhnlichen Gesichtszügen arbeiten, die die Rolle von Hamill zu dieser Zeit erforderte, im Vergleich zu seinen früheren Einträgen in die Franchise.

Selbst wenn man bedenkt, dass es in Return of the Jedi Momente gibt, in denen die Skywalker-Figur unter Stress steht und möglicherweise Material für einen größeren Bereich von Ausdrücken liefern könnte, ist das Gesichtsmaterial in diesen Szenen dennoch flüchtig und unterliegt der Bewegungsunschärfe und der schnellen Bearbeitung, die typisch für Action-Szenen sind; daher ist die Datenmenge ziemlich unbalanciert.

Verallgemeinerung: Die Verschmelzung von Emotionen

Wenn die Boba Fett-Skywalker-Rekonstruktion tatsächlich ein Deepfake ist, wäre das Fehlen von Ausdrucksvermögen, das von einigen Seiten gegen sie vorgebracht wird, nicht allein auf begrenztes Quellmaterial zurückzuführen. Der Encoder-Decoder-Trainingsprozess von Deepfakes sucht nach einem verallgemeinerten Modell, das erfolgreich zentrale Merkmale aus Tausenden von Bildern destilliert und zumindest versuchen kann, ein Deepfake eines Winkels zu erstellen, der im Datensatz fehlte oder selten war.

Wenn nicht für diese Flexibilität, wäre eine Deepfake-Architektur einfach nur Basis-Morphs auf Rahmen-basis kopieren und einfügen, ohne temporale Anpassung oder Kontext zu berücksichtigen.

Jedoch ist der schmerzhafte Kompromiss für diese Vielseitigkeit, dass die Ausdruckstreue wahrscheinlich ein Opfer des Prozesses sein wird, und dass Ausdrücke, die subtil sind, möglicherweise nicht die richtigen sind. Wir spielen unsere Gesichter wie 100-teilige Orchester, und sind gut darauf vorbereitet, dies zu tun, während Deepfake-Software offensichtlich mindestens die Streicher fehlt.

Disparität der Wirkung in Ausdrücken

Gesichtsbewegungen und ihre Wirkungen auf uns sind keine einheitliche Sprache über alle Gesichter hinweg; die erhobene Augenbraue, die auf Roger Moore lässig aussieht, könnte auf Seth Rogan weniger sophisticated aussehen, während die verführerische Anziehungskraft von Marilyn Monroe zu einer negativeren Emotion führen könnte, wenn sie auf eine Person übertragen wird, deren meist verfügbares Rollenbild “wütend” oder “desillusioniert” ist (wie die Figur von Aubrey Plaza in sieben Staffeln von Parks and Recreation).

Daher ist die Pixel-zu-Pixel-Äquivalenz zwischen A/B-Gesichtssätzen in dieser Hinsicht nicht unbedingt hilfreich; aber es ist alles, was in der Deepfake-FOSS-Software derzeit verfügbar ist.

Was offensichtlich benötigt wird, ist ein Deepfake-Framework, das nicht nur Ausdrücke erkennen und Emotionen ableiten kann, sondern auch die Fähigkeit besitzt, hochrangige Konzepte wie wütend, verführerisch, gelangweilt, müde usw. zu verkörpern und diese Emotionen und ihre zugehörigen Ausdrücke in jeder der beiden Gesichtsidentitäten zu kategorisieren, anstatt die Anordnung eines Mundes oder einer Augenlid zu untersuchen und zu replizieren.

Erstveröffentlichung am 3. Februar 2022. Aktualisiert am 7.47 Uhr EET, falsche Namenszuweisung.