Fidelity vs. Realismus in Deepfake-Videos

Nicht alle Deepfake-Praktiker teilen das gleiche Ziel: Der Antrieb des Bildsynthese-Forschungsbereichs – unterstützt von einflussreichen Befürwortern wie Adobe, NVIDIA und Facebook – besteht darin, den Stand der Technik so zu verbessern, dass maschinelle Lernalgorithmen letztendlich menschliche Aktivitäten in hoher Auflösung und unter den herausforderndsten Bedingungen nachbilden oder synthetisieren können (Fidelity).

Im Gegensatz dazu besteht das Ziel derjenigen, die Deepfake-Technologien nutzen möchten, um Desinformation zu verbreiten, darin, plausible Simulationen realer Personen mit vielen anderen Methoden als der bloßen Wahrhaftigkeit von Deepfake-Gesichtern zu erstellen. In diesem Szenario sind zusätzliche Faktoren wie Kontext und Plausibilität fast gleichbedeutend mit der Fähigkeit eines Videos, Gesichter zu simulieren (Realismus).

Dieser “Sleight-of-Hand”-Ansatz erstreckt sich auf die Verschlechterung der endgültigen Bildqualität eines Deepfake-Videos, sodass das gesamte Video (und nicht nur der täuschende Teil, der durch ein Deepfake-Gesicht dargestellt wird) einen kohärenten “Look” hat, der der erwarteten Qualität für das Medium entspricht.

“Kohärent” bedeutet nicht unbedingt “gut” – es reicht aus, wenn die Qualität konsistent ist und den Erwartungen entspricht. Im Hinblick auf VOIP-Streaming-Ausgaben auf Plattformen wie Skype und Zoom kann die Latte erstaunlich niedrig liegen, mit stockendem, ruckelndem Video und einer Vielzahl von potenziellen Komprimierungsartefakten sowie “Glättungs”-Algorithmen, die darauf ausgelegt sind, ihre Auswirkungen zu reduzieren – was selbst eine zusätzliche Reihe von “unechten” Effekten darstellt, die wir als Nebenprodukte der Einschränkungen und Eigenheiten des Live-Streamings akzeptiert haben.

DeepFaceLive in Aktion: Diese Streaming-Version der führenden Deepfake-Software DeepFaceLab kann kontextuellen Realismus bieten, indem sie Fälschungen in einem Kontext mit begrenzter Videoqualität präsentiert, einschließlich Wiedergabeproblemen und anderen wiederkehrenden Verbindungsartefakten. Quelle: https://www.youtube.com/watch?v=IL517EgYH8U

Eingebaute Verschlechterung

Tatsächlich enthalten die beiden beliebtesten Deepfake-Pakete (beide aus dem umstrittenen Quellcode von 2017 abgeleitet) Komponenten, die darauf ausgelegt sind, das Deepfake-Gesicht in den Kontext von “historischem” oder niedrigerem Videoqualitäts-Video durch Verschlechterung des generierten Gesichts zu integrieren. In DeepFaceLab wird dies durch den bicubic_degrade_power-Parameter erreicht, und in FaceSwap hilft die “Grain”-Einstellung in der Ffmpeg-Konfiguration ebenfalls bei der Integration des falschen Gesichts, indem sie das Korn während der Kodierung erhält*.

Die ‘Grain’-Einstellung in FaceSwap hilft bei der authentischen Integration in nicht-HD-Video-Inhalte und Legacy-Inhalte, die möglicherweise Filmkorn-Effekte aufweisen, die heutzutage relativ selten sind.

Oftmals geben Deepfakers anstelle eines vollständigen und integrierten Deepfake-Videos eine isolierte Reihe von PNG-Dateien mit Alpha-Kanälen aus, wobei jedes Bild nur die synthetische Gesichtsausgabe zeigt, sodass die Bildfolge in Plattformen mit fortschrittlicheren “Verschlechterungs”-Effekten wie Adobe After Effects in ein Video umgewandelt werden kann, bevor die gefälschten und echten Elemente für das endgültige Video zusammengefügt werden.

Neben diesen absichtlichen Verschlechterungen wird der Inhalt von Deepfake-Arbeiten häufig rekompiliert, entweder algorithmisch (wobei soziale Medien-Plattformen versuchen, Bandbreite zu sparen, indem sie leichtere Versionen der Uploads der Benutzer erstellen) auf Plattformen wie YouTube und Facebook oder durch erneute Verarbeitung der ursprünglichen Arbeit in animierte GIFs, Detailabschnitte oder andere divers motivierte Workflows, die die ursprüngliche Veröffentlichung als Ausgangspunkt betrachten und zusätzliche Komprimierung einführen.

Realistische Deepfake-Erkennungskontexte

Mit diesem Hintergrund hat ein neues Papier aus der Schweiz eine Überarbeitung der Methodik hinter Deepfake-Erkennungsansätzen vorgeschlagen, indem es Erkennungssysteme dazu bringt, die Merkmale von Deepfake-Inhalten zu lernen, wenn sie in absichtlich verschlechterten Kontexten präsentiert werden.

Stochastische Datenverstärkung auf einem der in dem neuen Papier verwendeten Datensätze, mit Gauß-Rauschen, Gamma-Korrektur und Gauß-Verwischen sowie Artefakten aus JPEG-Komprimierung. Quelle: https://arxiv.org/pdf/2203.11807.pdf

Im neuen Papier argumentieren die Forscher, dass Vorreiter-Deepfake-Erkennungspakete auf unrealistischen Benchmark-Bedingungen für den Kontext der angewendeten Metriken basieren und dass “verschlechterte” Deepfake-Ausgaben unter die Mindestqualitätschwelle für die Erkennung fallen können, obwohl ihr realistischer “schmutziger” Inhalt aufgrund eines korrekten Kontexts wahrscheinlich Zuschauer täuschen wird.

Die Forscher haben einen neuen “realen” Daten-Verschlechterungsprozess eingeführt, der es schafft, die Verallgemeinerbarkeit führender Deepfake-Erkennungssysteme zu verbessern, mit nur geringem Verlust an Genauigkeit bei den ursprünglichen Erkennungsraten, die durch “saubere” Daten erzielt wurden. Sie bieten auch ein neues Bewertungsframework, das die Robustheit von Deepfake-Erkennungssystemen in realen Bedingungen bewerten kann, unterstützt durch umfangreiche Ablationsstudien.

Das Papier trägt den Titel Ein neuer Ansatz zur Verbesserung der lernbasierten Deepfake-Erkennung in realistischen Bedingungen und stammt von Forschern der Multimedia Signal Processing Group (MMSPG) und der Ecole Polytechnique Federale de Lausanne (EPFL), beides in Lausanne.

Nützliche Verwirrung

Vorherige Bemühungen, verschlechterte Ausgaben in Deepfake-Erkennungsansätze zu integrieren, umfassen das Mixup-Neuronennetzwerk, ein Angebot von 2018 von MIT und FAIR, und AugMix, eine Zusammenarbeit zwischen DeepMind und Google aus dem Jahr 2020, beides Datenverstärkungsmethoden, die versuchen, das Trainingsmaterial auf eine Weise zu “verschmutzen”, die der Verallgemeinerung hilft.

Die Forscher der neuen Arbeit weisen auch auf vorherige Studien hin, die Gauß-Rauschen und Komprimierungsartefakte auf Trainingsdaten angewendet haben, um die Grenzen der Beziehung zwischen einem abgeleiteten Merkmal und dem Rauschen, in dem es eingebettet ist, zu etablieren.

Die neue Studie bietet eine Pipeline, die die kompromittierten Bedingungen des Erwerbsprozesses für die Bildgebung und der Komprimierung und diverser anderer Algorithmen, die die Bildausgabe im Verteilungsprozess weiter verschlechtern können, simuliert. Durch die Integration dieses realen Workflows in ein Bewertungsframework ist es möglich, Trainingsdaten für Deepfake-Erkennungssysteme zu erstellen, die resistenter gegen Artefakte sind.

Die konzeptionelle Logik und der Workflow für den neuen Ansatz.

Der Verschlechterungsprozess wurde auf zwei beliebte und erfolgreiche Datensätze für Deepfake-Erkennung angewendet: FaceForensics++ und Celeb-DFv2. Zusätzlich wurden führende Deepfake-Erkennungsframeworks Capsule-Forensics und XceptionNet auf den verfälschten Versionen der beiden Datensätze trainiert.

Die Erkennungssysteme wurden mit dem Adam-Optimizer für 25 und 10 Epochen trainiert. Für die Datensatztransformation wurden 100 Frames zufällig aus jedem Trainingsvideo ausgewählt, mit 32 Frames, die für die Tests extrahiert wurden, bevor die verschlechternden Prozesse hinzugefügt wurden.

Die betrachteten Verzerrungen für den Workflow waren Rauschen, wobei Null-Mittel-Gauß-Rauschen auf sechs verschiedenen Ebenen angewendet wurde; Größenänderung, um die reduzierte Auflösung typischer Außenfootage zu simulieren, die typischerweise Detektoren beeinflussen kann; Komprimierung, wobei verschiedene JPEG-Komprimierungsstufen auf die Daten angewendet wurden; Glättung, wobei drei typische Glättungsfilter, die in “Rauschunterdrückung” verwendet werden, für das Framework ausgewertet wurden; Verbesserung, wobei Kontrast und Helligkeit angepasst wurden; und Kombinationen, wobei beliebige Kombinationen von drei der oben genannten Methoden gleichzeitig auf ein einzelnes Bild angewendet wurden.

Testen und Ergebnisse

Bei der Testung der Daten nahmen die Forscher drei Metriken an: Genauigkeit (ACC); Fläche unter der ROC-Kurve (AUC); und F1-Score.

Die Forscher testeten die standardmäßig trainierten Versionen der beiden Deepfake-Erkennungssysteme gegen die verfälschten Daten und fanden sie mangelhaft:

‘Im Allgemeinen sind die meisten realistischen Verzerrungen und Verarbeitungen für normal trainierte lernbasierte Deepfake-Erkennungssysteme außerordentlich schädlich. Zum Beispiel zeigt die Capsule-Forensics-Methode sehr hohe AUC-Werte auf beiden unkomprimierten FFpp- und Celeb-DFv2-Testsets nach dem Training auf den jeweiligen Datensätzen, aber dann leidet sie unter einem drastischen Leistungsabfall auf den modifizierten Daten aus unserem Bewertungsframework. Ähnliche Trends wurden bei dem XceptionNet-Erkennungssystem beobachtet.’

Im Gegensatz dazu verbesserte sich die Leistung der beiden Erkennungssysteme deutlich, wenn sie auf den transformierten Daten trainiert wurden, wobei jedes System nun besser in der Lage war, unbekannte täuschende Medien zu erkennen.

‘Das Datenverstärkungsschema verbessert die Robustheit der beiden Erkennungssysteme erheblich und sie behalten gleichzeitig ihre hohe Leistung auf den ursprünglichen, unveränderten Daten bei.’

Leistungsvergleiche zwischen den rohen und augmentierten Datensätzen, die bei den beiden Deepfake-Erkennungssystemen, die in der Studie ausgewertet wurden, verwendet wurden.

Das Papier schließt:

‘Aktuelle Erkennungsmethoden sind darauf ausgelegt, die beste Leistung auf bestimmten Benchmarks zu erzielen. Dies führt oft dazu, dass die Fähigkeit zur Verallgemeinerung auf realistischere Szenarien geopfert wird. In diesem Papier wird ein sorgfältig konzipiertes Datenverstärkungsschema auf der Grundlage des natürlichen Bildverschlechterungsprozesses vorgeschlagen. ‘

‘Umfangreiche Experimente zeigen, dass die einfache, aber effektive Technik die Modellrobustheit gegenüber verschiedenen realistischen Verzerrungen und Verarbeitungsoperationen in typischen Bildverarbeitungsworkflows erheblich verbessert.’

* Die Übereinstimmung des Korns im generierten Gesicht ist eine Funktion des Stiltransfers während des Umwandlungsprozesses.

Erstveröffentlicht am 29. März 2022. Aktualisiert um 20:33 Uhr EST, um die Verwendung von Korn in Ffmpeg zu klären.