Die Morgendämmerung der Deepfaked Emotionen

Forscher haben eine neue maschinelle Lern-Technik entwickelt, um willkürlich neue Emotionen auf Gesichter in Videos aufzuprägen, indem sie bestehende Technologien anpassen, die kürzlich als Lösungen entwickelt wurden, um Lippenbewegungen mit Fremdsprachensynchronisation zu synchronisieren.

Die Forschung ist eine gleichberechtigte Zusammenarbeit zwischen der Northeastern University in Boston und dem Media Lab am MIT und trägt den Titel Umkehrbare Stirnrunzeln: Video-zu-Video-Facial-Emotion-Übersetzung. Obwohl die Forscher zugeben, dass die anfängliche Qualität der Ergebnisse durch weitere Forschung entwickelt werden muss, behaupten sie, dass die Technik, die als Wav2Lip-Emotion bezeichnet wird, die erste ihrer Art ist, die sich direkt mit der Modifizierung von Vollvideo-Ausdrücken durch neuronale Netzwerk-Techniken befasst.

Der Basis-Code wurde auf GitHub veröffentlicht, obwohl Modell-Checkpoints später zum Open-Source-Repository hinzugefügt werden, versprechen die Autoren.

Links, ein ‘trauriges’ Bild des Quellvideos. Rechts, ein ‘glückliches’ Bild. In der Mitte sind zwei nascente Ansätze zur Synthese alternativer Emotionen – oberer Bereich: eine vollständig maskierte Gesichtsfläche, auf der die gesamte Ausdrucksfläche ersetzt wurde; unterer Bereich: ein traditioneller Wav2Lip-Ansatz, der nur den unteren Teil des Gesichts ersetzt. Quelle: https://raw.githubusercontent.com/jagnusson/Wav2Lip-Emotion/main/literature/ADGD_2021_Wav2Lip-emotion.pdf

Einzelnes Video als Quelldaten

Theoretisch sind solche Manipulationen jetzt durch vollständige Schulung auf traditionellen Deepfake-Repositorys wie DeepFaceLab oder FaceSwap möglich. Allerdings würde der Standard-Workflow die Verwendung einer alternativen Identität zur ‘Ziel’-Identität beinhalten, wie z.B. einem Schauspieler, der die Ziel-Identität nachahmt, dessen eigene Ausdrücke auf eine andere Person übertragen würden, zusammen mit dem Rest der Leistung. Zusätzlich wären Deepfake-Stimmen-Klon-Techniken normalerweise notwendig, um die Illusion zu vervollständigen.

Weiterhin würde die tatsächliche Änderung des Ausdrucks von ziel1>ziel1 in einem einzigen Quellvideo unter diesen populären Frameworks die Änderung der Gesichts-Ausrichtungsvektoren in einer Weise beinhalten, die diese Architekturen derzeit nicht ermöglichen.

Wav2Lip-Emotion behält die Lippen-Synchronisation des originalen Video-Audio-Dialogs bei, während die zugehörigen Ausdrücke transformiert werden.

Stattdessen zielt Wav2Lip-Emotion darauf ab, ‘Kopie und Paste’ von emotionsbezogenen Ausdrücken von einem Teil eines Videos und sie in andere Punkte einfügen, mit einer selbst auferlegten Sparsamkeit von Quelldaten, die letztendlich eine geringere Anstrengung für die Ausdrucksmanipulation bieten soll.

Offline-Modelle könnten später entwickelt werden, die auf alternativen Videos des Sprechers trainiert werden, wodurch die Notwendigkeit entfällt, dass ein einzelnes Video eine ‘Palette’ von Ausdruckszuständen enthält, mit denen das Video manipuliert werden kann.

Mögliche Zwecke

Die Autoren schlagen eine Reihe von Anwendungen für die Modifizierung von Ausdrücken vor, einschließlich eines Live-Video-Filters, um die Auswirkungen von PTSD und Gesichtslähmung auszugleichen. Das Papier bemerkt:

‘Personen mit oder ohne gehemmte Gesichtsausdrücke können von der Anpassung ihrer eigenen Ausdrücke an ihre sozialen Umstände profitieren. Man kann die Ausdrücke in Videos ändern, die einem gezeigt werden. Sprecher können während einer Video-Konferenz schreien, aber dennoch den Inhalt ihres Austauschs ohne unangenehme Ausdrücke sammeln. Oder ein Filmregisseur kann die Ausdrücke eines Schauspielers verstärken oder abschwächen.’

Da Gesichtsausdruck ein wesentlicher und zentraler Indikator für die Absicht ist, selbst wenn er gegen die gesprochenen Worte abrasiert, bietet die Fähigkeit, den Ausdruck zu ändern, auch die Fähigkeit, zu ändern, wie die Kommunikation empfangen wird.

Vorherige Arbeiten

Das Interesse an der maschinellen Lern-Modifizierung von Ausdrücken reicht zurück bis mindestens 2012, als eine Zusammenarbeit zwischen Adobe, Facebook und der Rutgers University eine Methode vorschlug, um Ausdrücke durch die Verwendung eines Tensor-basierten 3D-Geometrie-Rekonstruktionsansatzes zu ändern, der mühsam eine CGI-Maske über jeden Frame eines Ziel-Videos legte, um die Änderung herbeizuführen.

Die 2012er Adobe/Facebook-Forschung manipulierte Ausdrücke, indem traditionelle, CGI-getriebene Änderungen auf Video-Aufnahmen aufgebracht wurden. Ausdrücke konnten verstärkt oder unterdrückt werden. Quelle: https://yfalan.github.io/files/papers/FeiYang_CVPR2012.pdf

Obwohl die Ergebnisse vielversprechend waren, war die Technik beschwerlich und die benötigten Ressourcen waren beträchtlich. Zu diesem Zeitpunkt war CGI weit vor computer-vision-basierten Ansätzen zur direkten Manipulation von Merkmalen und Pixeln.

Einer der engsten Beziehungen zum neuen Papier ist MEAD, ein Dataset und ein Ausdrucks-Generierungs-Modell, das 2020 veröffentlicht wurde und in der Lage ist, ‘talking-head’-Videos zu generieren, jedoch ohne das Maß an Raffinesse, das möglicherweise durch die Modifizierung von tatsächlichen Quell-Videos direkt erreichbar ist.

Ausdrucks-Generierung mit MEAD, einer Zusammenarbeit zwischen SenseTime Research, Carnegie Mellon und drei chinesischen Universitäten. Quelle: https://wywu.github.io/projects/MEAD/MEAD.html

2018 erschien ein weiteres Papier mit dem Titel GANimation: Anatomisch-bewusste Gesichts-Animation aus einem einzigen Bild, das als US–spanische akademische Forschungszusammenarbeit entstand und Generative Adversarial Networks verwendete, um Ausdrücke in stillen Bildern zu ändern.

Änderung von Ausdrücken in stillen Bildern mit GANimation. Quelle: https://arxiv.org/pdf/1807.09251.pdf

Wav2Lip-Emotion

Stattdessen basiert das neue Projekt auf Wav2Lip, das Publizität im Jahr 2020 erlangte, indem es ein potenzielles Verfahren zur Neusynchronisierung von Lippenbewegungen mit neuem Sprach- (oder Gesangs-) Input anbot, das nie in dem originalen Video vorkam.

Die ursprüngliche Wav2Lip-Architektur wurde auf einem Korpus von gesprochenen Sätzen aus den BBC-Archiven trainiert. Um Wav2Lip für die Aufgabe der Ausdrucks-Änderung anzupassen, feinjustierten die Forscher die Architektur auf dem oben erwähnten MEAD-Datensatz.

MEAD besteht aus 40 Stunden Video mit 60 Schauspielern, die den gleichen Satz lesen, während sie verschiedene Gesichtsausdrücke zeigen. Die Schauspieler stammen aus 15 verschiedenen Ländern und bieten eine Reihe internationaler Merkmale, die darauf abzielen, dem Projekt (und abgeleiteten Projekten) zu helfen, eine anwendbare und gut verallgemeinerte Ausdrucks-Synthese zu produzieren.

Zum Zeitpunkt der Forschung hatte MEAD nur den ersten Teil des Datensatzes veröffentlicht, der 47 Personen zeigt, die Ausdrücke wie ‘wütend’, ‘Ekel’, ‘Angst’, ‘Verachtung’, ‘glücklich’, ‘traurig’ und ‘Überraschung’ zeigen. In diesem ersten Ausflug in einen neuen Ansatz beschränkten die Forscher den Umfang des Projekts auf die Überlagerung oder Änderung der wahrgenommenen Emotionen ‘glücklich’ und ‘traurig’, da diese am leichtesten zu erkennen sind.

Methode und Ergebnisse

Die ursprüngliche Wav2Lip-Architektur ersetzt nur den unteren Teil des Gesichts, während Wav2Lip-Emotion auch mit einer vollständigen Gesichts-Maske und Ausdrucks-Synthese experimentiert. Daher war es notwendig, dass die Forscher die integrierten Bewertungsmethoden zusätzlich modifizierten, da diese nicht für eine Vollgesichtskonfiguration konzipiert waren.

Die Autoren verbessern den ursprünglichen Code, indem sie die ursprüngliche Audio-Eingabe beibehalten und die Konsistenz der Lippenbewegung aufrechterhalten.

Das Generatorelement verfügt über einen Identitäts-Encoder, einen Sprach-Encoder und einen Gesichts-Decoder, gemäß der früheren Arbeit. Das Sprach-Element wird zusätzlich als gestapelte 2D-Konvolutionen kodiert, die anschließend mit ihren zugehörigen Frames verkettet werden.

Neben dem generativen Element verfügt die modifizierte Architektur über drei Haupt-Diskriminator-Komponenten, die auf die Qualität der Lippen-Synchronisation, ein Emotions-Ziel-Element und ein adversarially trainiertes visuelles Qualitätsziel abzielen.

Für die vollständige Gesichts-Rekonstruktion enthielt die ursprüngliche Wav2Lip-Arbeit keine Vorläufer, und daher wurde das Modell von Grund auf trainiert. Für die untere Gesichts-Hälfte (Halb-Maske) gingen die Forscher von den im ursprünglichen Wav2Lip-Code enthaltenen Checkpoints aus.

Neben der automatischen Bewertung verwendeten die Forscher crowd-sourced Meinungen, die von einer semi-automatischen Service-Plattform bereitgestellt wurden. Die Arbeiter bewerteten die Ausgabe im Allgemeinen hoch in Bezug auf die Erkennung der überlagerten Emotionen, während sie nur ‘moderate’ Bewertungen für die Bildqualität meldeten.

Die Autoren schlagen vor, dass zukünftige Iterationen der Arbeit, neben der Verbesserung der generierten Video-Qualität, auch eine breitere Palette von Emotionen umfassen könnten, und dass die Arbeit auch in Zukunft auf gelabelte oder automatisch abgeleitete Quelldaten und Datensätze angewendet werden könnte, was letztendlich zu einem authentischen System führen würde, in dem Emotionen willkürlich verstärkt oder abgeschwächt werden könnten, oder letztendlich durch kontrastierende Emotionen in Bezug auf das ursprüngliche Quell-Video ersetzt werden könnten.