Forscher identifizieren ein robustes Merkmal von Deepfakes, das die langfristige Erkennung unterstützen könnte

Seit 2018 die ersten Deepfake-Erkennungslösungen auf den Markt kamen, versucht der Bereich Computer Vision und Sicherheitsforschung, eine zu definieren wesentliches Merkmal von Deepfake-Videos – Signale, die sich als resistent gegen Verbesserungen beliebter Gesichtssynthesetechnologien (wie Autoencoder-basierte Deepfake-Pakete wie DeepFaceLab und FaceSwap und die Verwendung von) erweisen könnten Generative Adversarial Networks menschliche Gesichter nachzubilden, zu simulieren oder zu verändern).

Viele der „Tells“, wie z Mangel an Blinzeln, wurden durch Verbesserungen bei Deepfakes überflüssig gemacht, wohingegen der potenzielle Einsatz digitaler Provenienztechniken (wie die von Adobe geführte Initiative zur Authentizität von Inhalten) – einschließlich Blockchain-Ansätzen und digitales Wasserzeichen potenzieller Quellfotos – erfordern entweder weitreichende und kostspielige Änderungen am bestehenden Bestand an verfügbaren Quellbildern im Internet oder erfordern eine nennenswerte Zusammenarbeit zwischen Nationen und Regierungen, um Überwachungs- und Authentifizierungssysteme zu schaffen.

Daher wäre es sehr nützlich, wenn in Bild- und Videoinhalten, die veränderte, erfundene oder identitätsgetauschte menschliche Gesichter zeigen, ein wirklich grundlegendes und belastbares Merkmal erkannt werden könnte; ein Merkmal, das ohne groß angelegte Überprüfung direkt aus gefälschten Videos abgeleitet werden könnte, Kryptografisches Asset-Hashing, Kontextprüfung, Plausibilitätsbewertung, artefaktzentrierte Erkennungsroutinen oder andere aufwändige Ansätze zur Deepfake-Erkennung.

Deepfakes im Frame

Eine neue Forschungskooperation zwischen China und Australien glaubt, diesen „heiligen Gral“ in Form von gefunden zu haben Regelmäßigkeitsstörung.

Die Autoren haben eine Methode entwickelt, um die räumliche Integrität und zeitliche Kontinuität echter Videos mit denen zu vergleichen, die Deepfake-Inhalte enthalten, und haben herausgefunden, dass jede Art von Deepfake-Interferenz die Regelmäßigkeit des Bildes stört, wie unmerklich sie auch sein mag.

Dies liegt zum Teil daran, dass der Deepfake-Prozess das Zielvideo in Einzelbilder zerlegt und den Effekt eines trainierten Deepfake-Modells auf jedes (ersetzte) Einzelbild anwendet. Populäre Deepfake-Distributionen verhalten sich in dieser Hinsicht genauso wie Animatoren und legen mehr Wert auf die Authentizität jedes Frames als auf den Beitrag jedes Frames zur gesamten räumlichen Integrität und zeitlichen Kontinuität des Videos.

Aus dem Artikel: A) Unterschiede zwischen den Datenarten. Hier sehen wir, dass die Störungen von P-Fake die räumlich-zeitliche Qualität des Bildes auf die gleiche Weise verändern wie ein Deepfake, ohne die Identität zu ersetzen. B) Rauschanalyse der drei Datentypen, die zeigt, wie P-Fake die Deepfake-Störung imitiert. C) Eine zeitliche Visualisierung der drei Datentypen, wobei reale Daten eine größere Integrität bei Schwankungen aufweisen. D) die T-SNE Visualisierung extrahierter Features für echte, gefälschte und p-gefälschte Videos. Quelle: https://arxiv.org/pdf/2207.10402.pdf

Dies ist nicht die Art und Weise, wie ein Videocodec eine Reihe von Bildern behandelt, wenn eine Originalaufnahme erstellt oder verarbeitet wird. Um Dateigröße zu sparen oder ein Video für das Streaming geeignet zu machen, verwirft der Video-Codec eine enorme Menge an Informationen. Selbst bei den höchsten Qualitätseinstellungen erfolgt die Zuordnung durch den Codec Schlüsselbilder (eine vom Benutzer einstellbare Variable) – ganze, praktisch unkomprimierte Bilder, die in einem voreingestellten Intervall im Video auftreten.

Die Zwischenbilder zwischen Schlüsselbildern werden gewissermaßen als Variante der Bilder geschätzt und werden dies auch tun So viele Informationen wie möglich wiederverwenden aus den angrenzenden Schlüsselbildern, anstatt vollständige Einzelbilder zu sein.

Auf der linken Seite wird ein vollständiges Schlüsselbild oder „I-Frame“ im komprimierten Video gespeichert, was auf Kosten der Dateigröße geht; Auf der rechten Seite verwendet ein interstitieller „Delta-Frame“ jeden anwendbaren Teil des datenreicheren Schlüsselframes wieder. Quelle: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

Auf diese Weise kann die Schutzmassnahmen bei (enthält x (Anzahl der Bilder, abhängig von den Keyframe-Einstellungen) ist wohl die kleinste Einheit, die in einem typischen komprimierten Video berücksichtigt wird, und nicht jedes einzelne Bild. Sogar der Keyframe selbst, bekannt als i-Frame, ist Teil dieser Einheit.

In Bezug auf traditionelle Zeichentrickanimationen führt ein Codec eine Art von aus dazwischen, wobei die Schlüsselrahmen als Zeltstangen für die interstitiellen, abgeleiteten Rahmen fungieren, die als bekannt sind Delta-Frames.

Im Gegensatz dazu widmet die Deepfake-Überlagerung enorme Aufmerksamkeit und Ressourcen jedem einzelnen Frame, ohne den größeren Kontext des Frames zu berücksichtigen und ohne zu berücksichtigen, wie sich Komprimierung und blockbasierte Kodierung auf die Eigenschaften „authentischer“ Videos auswirken.

Ein genauerer Blick auf die Diskontinuität zwischen der zeitlichen Qualität eines authentischen Videos (links) und desselben Videos, wenn es durch Deepfakes gestört wird (rechts).

Allerdings nutzen einige der besseren Deepfaker umfangreiche Nachbearbeitung, in Paketen wie After Effects und auch in der DeepFaceLab-Distribution einige native Kapazitäten Um „Mischverfahren“ wie Bewegungsunschärfe anzuwenden, hat ein solcher Taschenspielertrick keinen Einfluss auf die Diskrepanz zwischen der räumlichen und zeitlichen Qualität zwischen authentischen und gefälschten Videos.

Das neues Papier ist betitelt Erkennen von Deepfakes durch die Schaffung einer Störung der räumlich-zeitlichen Regelmäßigkeit, und stammt von Forschern der Tsinghua University, der Abteilung für Computer Vision Technology (VIS) bei Baidu Inc. und der University of Melbourne

„Gefälschte“ Fake-Videos

Die Forscher hinter dem Artikel haben die Funktionalität der Forschung in ein Plug-and-Play-Modul namens Pseudo-fake Generator integriert (P-fake-Generator), das echte Videos in Fake-Deepfake-Videos umwandelt, indem es sie auf die gleiche Weise stört, wie es der eigentliche Deepfake-Prozess tut, ohne tatsächlich irgendwelche Deepfake-Vorgänge durchzuführen.

Tests zeigen, dass das Modul praktisch ohne Ressourcenaufwand zu allen bestehenden Deepfake-Erkennungssystemen hinzugefügt werden kann und deren Leistung deutlich verbessert.

Die Entdeckung könnte dazu beitragen, einen der anderen Stolpersteine ​​in der Deepfake-Erkennungsforschung zu beseitigen: den Mangel an authentischen und aktuellen Datensätzen. Da die Generierung von Deepfakes ein aufwändiger und zeitaufwändiger Prozess ist, hat die Community in den letzten fünf Jahren eine Reihe von Deepfake-Datensätzen entwickelt, von denen viele ziemlich veraltet sind.

Durch die Isolierung der Regelmäßigkeitsstörung als Deepfake-agnostisches Signal für veränderte Videos Post factoMit der neuen Methode ist es möglich, unbegrenzt Beispiel- und Datensatzvideos zu generieren, die diesen Aspekt von Deepfakes verdeutlichen.

Überblick über den STE-Block, in dem die kanalweise zeitliche Faltung als Ansporn für die Generierung räumlich-zeitlich verbesserter Codierungen verwendet wird, was zu derselben Signatur führt, die selbst ein sehr überzeugender Deepfake hervorbringen wird. Mit dieser Methode können „gefälschte“ gefälschte Videos generiert werden, die dieselben Signaturmerkmale wie jedes veränderte Video im Deepfake-Stil aufweisen und nicht von bestimmten Verteilungen oder volatilen Aspekten wie Funktionsverhalten oder algorithmischen Artefakten abhängen.

Tests

Die Forscher führten Experimente mit sechs bekannten Datensätzen durch, die in der Deepfake-Erkennungsforschung verwendet wurden: FaceForensics ++ (FF++); WildDeepFake; Vorschau der Deepfake Detection Challenge (DFDCP); Promi-DF; Deepfake-Erkennung (DFD); Und Gesichtswandler (FSh).

Für FF++ trainierten die Forscher ihr Modell anhand des Originaldatensatzes und testeten jede der vier Teilmengen separat. Ohne den Einsatz von Deepfake-Material im Training konnte die neue Methode die Ergebnisse nach dem neuesten Stand der Technik übertreffen.

Die Methode belegte auch im Vergleich zum komprimierten FF++ C23-Datensatz die Spitzenposition, der Beispiele liefert, die die Art von Komprimierungsartefakten aufweisen, die in realen Deepfake-Betrachtungsumgebungen glaubwürdig sind.

Die Autoren kommentieren:

„Die Leistungen innerhalb von FF++ bestätigen die Machbarkeit unserer Hauptidee, während die Generalisierbarkeit ein großes Problem bestehender Deepfake-Erkennungsmethoden bleibt, da die Leistung beim Testen von Deepfakes, die durch unsichtbare Techniken generiert wurden, nicht garantiert ist.“

„Wenn man sich die Realität des Wettrüstens zwischen Detektoren und Fälschern genauer ansieht, ist die Generalisierbarkeit ein wichtiges Kriterium, um die Wirksamkeit einer Erkennungsmethode in der realen Welt zu messen.“

Obwohl die Forscher eine Reihe von Untertests zum Thema „Robustheit“ durchführten (siehe Artikel für Einzelheiten) und die Arten der Videoeingabe variierten (z. B. echt, falsch, p-gefälscht usw.), stammen die interessantesten Ergebnisse aus dem Test für datensatzübergreifende Leistung.

Zu diesem Zweck trainierten die Autoren ihr Modell auf der oben erwähnten „realen“ c23-Version von FF++ und testeten diese anhand von vier Datensätzen, wobei sie, wie die Autoren angeben, bei allen eine überlegene Leistung erzielten.

Ergebnisse der Cross-Dataset-Challenge. In der Arbeit wird darauf hingewiesen, dass SBI einen ähnlichen Ansatz wie die Autoren verwendet, während p-fake laut den Forschern eine bessere Leistung bei Störungen der räumlich-zeitlichen Regelmäßigkeit zeigt.

Das Papier sagt:

„Beim anspruchsvollsten Deepwild übertrifft unsere Methode die SOTA-Methode um etwa 10 Prozentpunkte in Bezug auf AUC%. „Wir glauben, dass dies auf die große Vielfalt an Deepfakes in Deepwild zurückzuführen ist, die dazu führt, dass andere Methoden keine gute Verallgemeinerung von gesehenen Deepfakes ermöglichen.“

Die für die Tests verwendeten Metriken waren Accuracy Score (ACC), Area Under the Receiver Operating Characteristic Curve (AUC) und Equal Error Rate (EER).

Gegenangriff?

Allerdings charakterisieren die Medien die Spannung zwischen Deepfake-Entwicklern und Deepfake-Erkennungsforschern im Sinne eines technologischen KriegesEs lässt sich argumentieren, dass erstere lediglich versuchen, überzeugendere Ergebnisse zu erzielen, und dass die erhöhte Schwierigkeit bei der Erkennung von Deepfakes ein Nebenprodukt dieser Bemühungen ist.

Ob Entwickler versuchen werden, diesen neu aufgedeckten Mangel zu beheben, hängt möglicherweise davon ab, ob sie der Meinung sind, dass eine Störung der Regelmäßigkeit in einem Deepfake-Video mit bloßem Auge als Zeichen der Unechtheit wahrgenommen werden kann und dass diese Metrik daher wertvoll ist Betrachtung aus rein qualitativer Sicht.

Obwohl fünf Jahre vergangen sind, seit die ersten Deepfakes online gingen, ist Deepfaking immer noch eine relativ junge Technologie, und die Community ist wohl mehr auf Details und Auflösung bedacht als auf den richtigen Kontext oder den Abgleich der Signaturen komprimierter Videos, die beide ein gewisses Maß an Sicherheit erfordern. „Degradation“ der Ausgabe – genau das, wogegen die gesamte Deepfake-Community derzeit zu kämpfen hat.

Wenn sich dort herausstellt, dass es sich bei der Regelmäßigkeitsstörung um eine entstehende Signatur handelt, die sich nicht auf die Qualität auswirkt, gibt es möglicherweise keine Anstrengungen, sie zu kompensieren – selbst wenn dies der Fall ist kann durch einige Nachbearbeitungs- oder architekturinterne Verfahren „aufgehoben“ werden, was alles andere als klar ist.

Erstveröffentlichung am 22. Juli 2022.