Forscher identifizieren ein widerstandsfähiges Merkmal von Deepfakes, das die langfristige Erkennung unterstützen könnte

Seit die ersten Deepfake-Erkennungslösungen im Jahr 2018 aufkamen, hat die Forschung im Bereich Computer Vision und Sicherheit nach einem wesentlichen Merkmal von Deepfake-Videos gesucht – Signalen, die widerstandsfähig gegen Verbesserungen in populären Gesichtssynthese-Technologien (wie Autoencoder-basierten Deepfake-Paketen wie DeepFaceLab und FaceSwap und der Verwendung von Generativen Adversarial Networks zur Erstellung, Simulation oder Veränderung von Gesichtern) sein könnten.

Viele der “Tells”, wie z.B. das Fehlen von Augenblicken, wurden durch Verbesserungen in Deepfakes überholt, während die potenzielle Verwendung von digitalen Provenienz-Techniken (wie der von Adobe geleiteten Content Authenticity Initiative) – einschließlich Blockchain-Ansätzen und digitaler Wasserzeichen von potenziellen Quellbildern – entweder umfassende und teure Änderungen an der bestehenden Sammlung von Quellbildern im Internet erfordern oder eine bemerkenswerte kooperative Anstrengung zwischen Nationen und Regierungen, um Systeme der Überwachung und Authentifizierung zu schaffen.

Es wäre daher sehr nützlich, wenn ein wirklich fundamentales und widerstandsfähiges Merkmal in Bild- und Videoinhalten, die veränderte, erfundene oder identitätsvertauschte Gesichter enthalten, erkannt werden könnte; ein Merkmal, das direkt aus gefälschten Videos abgeleitet werden könnte, ohne große Überprüfung, kryptographische Asset-Hashing, Kontextprüfung, Plausibilitätsbewertung, Artefakt-zentrierte Erkennungsroutinen oder andere aufwändige Ansätze zur Deepfake-Erkennung.

Deepfakes im Bild

Eine neue Forschungskooperation zwischen China und Australien glaubt, dass sie dieses “Heilige Gral” in Form von Regelwidrigkeit gefunden hat.

Die Autoren haben eine Methode entwickelt, um die räumliche Integrität und zeitliche Kontinuität von echten Videos gegen die von Videos zu vergleichen, die Deepfake-Inhalte enthalten, und haben festgestellt, dass jede Art von Deepfake-Eingriff die Regelwidrigkeit des Bildes stört, jedoch unsichtbar.

Das liegt teilweise daran, dass der Deepfake-Prozess das Zielvideo in Frames unterteilt und den Effekt eines trainierten Deepfake-Modells in jeden (ersetzten) Frame anwendet. Beliebte Deepfake-Verteilungen verhalten sich in dieser Hinsicht wie Animatoren, indem sie mehr Aufmerksamkeit auf die Authentizität jedes Frames als auf den Beitrag jedes Frames zur Gesamträumlichkeit und zeitlichen Kontinuität des Videos legen.

Aus dem Paper: A) Unterschiede zwischen den Arten von Daten. Hier sehen wir, dass p-fake-Störungen die raum-zeitliche Qualität des Bildes auf die gleiche Weise wie ein Deepfake verändern, ohne jedoch die Identität zu vertauschen. B) Rauschanalyse der drei Arten von Daten, die zeigt, wie p-fake Deepfake-Störungen imitiert. C) Eine zeitliche Visualisierung der drei Arten von Daten, bei der echte Daten eine größere Integrität in der Fluktuation zeigen. D) Die T-SNE-Visualisierung der extrahierten Merkmale für echte, gefälschte und p-fake-Videos. Quelle: https://arxiv.org/pdf/2207.10402.pdf

Das ist nicht die Art und Weise, wie ein Video-Codec eine Reihe von Frames behandelt, wenn eine Originalaufnahme gemacht oder verarbeitet wird. Um die Dateigröße zu sparen oder ein Video für die Übertragung geeignet zu machen, wird eine enorme Menge an Informationen durch den Video-Codec verworfen. Selbst bei den höchsten Qualitätseinstellungen wird der Codec Schlüsselbilder (eine Variable, die vom Benutzer festgelegt werden kann) zuweisen – ganze, praktisch unkomprimierte Bilder, die in einem vordefinierten Intervall im Video auftreten.

Die Zwischenframes zwischen den Schlüsselbildern werden bis zu einem gewissen Grad als Variante der Frames geschätzt und werden so viel Informationen wie möglich aus den benachbarten Schlüsselbildern wiederverwenden, anstatt selbst vollständige Frames zu sein.

Links ein vollständiges Schlüsselbild oder ‘i-Frame’, das im komprimierten Video gespeichert wird, auf Kosten der Dateigröße; rechts ein Zwischenframe oder ‘Delta-Frame’, der jeden anwendbaren Teil des Daten-reicheren Schlüsselbildes wiederverwendet. Quelle: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

Auf diese Weise ist die Block (enthält x Anzahl von Frames, je nach Schlüsselbild-Einstellungen) arguable die kleinste Einheit, die in einem typischen komprimierten Video berücksichtigt wird, anstatt jedes einzelne Frame. Selbst das Schlüsselbild selbst, bekannt als i-Frame, bildet Teil dieser Einheit.

In Bezug auf traditionelle Cartoon-Animation führt ein Codec eine Art Zwischenbildung durch, wobei die Schlüsselbilder als Stützpunkte für die Zwischenframes, auch bekannt als Delta-Frames, dienen.

Im Gegensatz dazu widmet die Deepfake-Überlagerung enorm viel Aufmerksamkeit und Ressourcen jedem einzelnen Frame, ohne den breiteren Kontext zu berücksichtigen und ohne Rücksicht auf die Art und Weise, wie Komprimierung und blockbasierte Kodierung die Eigenschaften von “echten” Videos beeinflussen.

Ein näherer Blick auf die Diskontinuität zwischen der zeitlichen Qualität eines authentischen Videos (links) und dem gleichen Video, wenn es durch Deepfakes gestört wird (rechts).

Obwohl einige der besseren Deepfakers umfassende Nachbearbeitung in Paketen wie After Effects verwenden und obwohl die DeepFaceLab-Verteilung einige native Fähigkeiten zur Anwendung von “Misch”-Verfahren wie Bewegungsunschärfe hat, beeinflusst diese Finesse nicht die Fehlpassung von räumlicher und zeitlicher Qualität zwischen authentischen und Deepfake-Videos.

Das neue Paper trägt den Titel Deepfake-Erkennung durch Erzeugung von raum-zeitlicher Regelwidrigkeit und stammt von Forschern der Tsinghua-Universität, der Abteilung für Computer-Vision-Technologie (VIS) bei Baidu Inc. und der Universität Melbourne

‘Falsche’ Falsch-Videos

Die Forscher hinter dem Paper haben die Funktionalität der Forschung in ein modulares Modul namens Pseudo-fake-Generator (P-fake-Generator) integriert, das echte Videos in Faux-Deepfake-Videos umwandelt, indem es sie auf die gleiche Weise stört wie der tatsächliche Deepfake-Prozess, ohne jedoch tatsächliche Deepfake-Operationen durchzuführen.

Tests zeigen, dass das Modul zu allen bestehenden Deepfake-Erkennungssystemen bei praktisch null Ressourcenkosten hinzugefügt werden kann und dass es ihre Leistung deutlich verbessert.

Die Entdeckung könnte helfen, eines der anderen Hindernisse in der Deepfake-Erkennungsforschung zu überwinden: den Mangel an authentischen und aktuellen Datensätzen. Da die Deepfake-Generierung ein aufwändiger und zeitaufwändiger Prozess ist, hat die Gemeinschaft eine Reihe von Deepfake-Datensätzen in den letzten fünf Jahren entwickelt, von denen viele veraltet sind.

Indem die Forscher die Regelwidrigkeit als deepfake-agnostisches Signal für Videos isolieren, die post-facto verändert wurden, ermöglicht die neue Methode die Erzeugung unendlicher Stichproben- und Datensätze, die sich auf dieses Merkmal von Deepfakes konzentrieren.

Überblick über den STE-Block, bei dem kanalweiser zeitlicher Konvolution als Anstoß zur Erzeugung raum-zeitlich verbesserter Kodierungen verwendet wird, was zu dem gleichen Signal führt, das sogar ein sehr überzeugendes Deepfake liefern würde. Mit dieser Methode können ‘falsche’ Falsch-Videos erzeugt werden, die die gleichen Signaturmerkmale wie jedes veränderte, deepfake-ähnliche Video aufweisen und die nicht von bestimmten Verteilungen oder von flüchtigen Aspekten wie Verhaltensmerkmalen oder algorithmischen Artefakten abhängen.

Tests

Die Forscher führten Experimente mit sechs bekannten Datensätzen durch, die in der Deepfake-Erkennungsforschung verwendet werden: FaceForensics++ (FF++); WildDeepFake; Deepfake-Erkennung-Challenge-Vorschau (DFDCP); Celeb-DF; Deepfake-Erkennung (DFD); und Face Shifter (FSh).

Bei FF++ trainierten die Forscher ihr Modell auf dem ursprünglichen Datensatz und testeten jedes der vier Subsets separat. Ohne die Verwendung von Deepfake-Material in der Trainingsphase konnte die neue Methode die Ergebnisse des aktuellen Standes der Technik übertreffen.

Die Methode belegte auch den ersten Platz, als sie mit dem FF++-C23- komprimierten Datensatz verglichen wurde, der Beispiele enthält, die die Art von Kompressionsartefakten aufweisen, die in realen Deepfake-Betrachtungsumgebungen glaubwürdig sind.

Die Autoren kommentieren:

‘Die Leistungen innerhalb von FF++ bestätigen die Machbarkeit unserer Hauptidee, während die Verallgemeinerbarkeit ein großes Problem für bestehende Deepfake-Erkennungsmethoden darstellt, da die Leistung nicht garantiert ist, wenn sie auf Deepfakes getestet wird, die mit nicht gesehenen Techniken generiert wurden.

‘Betrachten Sie weiter die Realität des Wettlaufs zwischen Erkennern und Fälschern, ist die Verallgemeinerbarkeit ein wichtiger Kriterium, um die Effektivität einer Erkennungsmethode in der realen Welt zu messen.’

Obwohl die Forscher eine Reihe von Subtests (siehe Paper für Details) zu “Robustheit” und variierenden Arten von Videos (d.h. echte, falsche, p-fake usw.) durchführten, sind die interessantesten Ergebnisse die des Tests zur Cross-Datensatz-Leistung.

Bei diesem testeten die Autoren ihr Modell auf der oben genannten “realen” C23-Version von FF++ und testeten es gegen vier Datensätze, wobei sie, wie die Autoren angeben, eine überlegene Leistung bei allen erzielten.

Ergebnisse des Cross-Datensatz-Tests. Das Paper bemerkt, dass SBI einen ähnlichen Ansatz wie den der Autoren verwendet, während die Forscher behaupten, dass p-fake eine bessere Leistung bei der raum-zeitlichen Regelwidrigkeit aufweist.

Das Paper besagt:

‘In Deepwild übertrifft unsere Methode die SOTA-Methode um etwa 10 Prozentpunkte in Bezug auf AUC%. Wir denken, dass dies auf die große Vielfalt von Deepfakes in Deepwild zurückzuführen ist, die andere Methoden dazu bringt, nicht gut von gesehenen Deepfakes zu verallgemeinern.’

Die verwendeten Metriken für die Tests waren die Genauigkeitspunktzahl (ACC), der Bereich unter der Receiver-Operating-Characteristik-Kurve (AUC) und der gleiche Fehlerwert (EER).

Gegenangriffe?

Obwohl die Medien den Konflikt zwischen Deepfake-Entwicklern und Deepfake-Erkennungsforschern in Form eines technologischen Krieges darstellen, ist es fraglich, ob die Entwickler einfach nur versuchen, überzeugendere Ausgaben zu erstellen, und dass die erhöhte Schwierigkeit der Deepfake-Erkennung ein Nebenprodukt dieser Bemühungen ist.

Ob die Entwickler versuchen werden, diese neu aufgedeckte Schwäche zu beheben, hängt vielleicht davon ab, ob sie der Meinung sind, dass die Regelwidrigkeit als Token der Unechtheit wahrgenommen werden kann und dass dies daher ein Aspekt ist, der aus rein qualitativer Sicht angegangen werden sollte.

Obwohl fünf Jahre seit dem ersten Auftauchen von Deepfakes vergangen sind, ist die Deepfake-Technologie immer noch eine relativ neue Technologie, und die Gemeinschaft ist arguable mehr auf Detail und Auflösung fixiert als auf Kontext oder die Nachbildung der Signaturen von komprimierten Videos, was eine bestimmte “Verschlechterung” der Ausgabe erfordert – genau das, gegen das die gesamte Deepfake-Gemeinschaft derzeit kämpft.

Wenn die allgemeine Meinung dazu kommt, dass die Regelwidrigkeit ein nascentes Signal ist, das die Qualität nicht beeinträchtigt, kann es sein, dass keine Anstrengung unternommen wird, um es auszugleichen – selbst wenn es kann durch einige Nachbearbeitungs- oder Architekturverfahren “aufgehoben” werden, was jedoch noch nicht klar ist.

Erstveröffentlicht am 22. Juli 2022.