GOTCHA – Ein CAPTCHA-System für Live-Deepfakes

Neue Forschungsergebnisse der New York University deuten darauf hin, dass wir bald den Deepfake-Äquivalent eines “Betrunkenentests” durchführen müssen, um uns zu authentifizieren, bevor wir ein sensibles Videoanruf wie ein Arbeitstreffen oder ein anderes sensibles Szenario starten, das von Betrügern mit Echtzeit-Deepfake-Streaming-Software angegriffen werden könnte.

Einige der aktiven und passiven Herausforderungen, die in GOTCHA auf Videoanruf-Szenarien angewendet werden. Der Benutzer muss den Herausforderungen gehorchen und sie bestehen, während zusätzliche ‘passive’ Methoden (wie das Überlasten eines potenziellen Deepfake-Systems) verwendet werden, auf die der Teilnehmer keinen Einfluss hat. Quelle: http://export.arxiv.org/pdf/2210.06186

Das vorgeschlagene System heißt GOTCHA – eine Hommage an die CAPTCHA-Systeme, die in den letzten 10-15 Jahren zu einem zunehmenden Hindernis für das Surfen im Internet geworden sind, bei dem automatisierte Systeme den Benutzer auffordern, Aufgaben auszuführen, die Maschinen schlecht können, wie z.B. das Identifizieren von Tieren oder das Entschlüsseln von unleserlichem Text (und ironischerweise machen diese Herausforderungen den Benutzer oft zu einem kostenlosen AMT-ähnlichen Annotator).

Im Wesentlichen erweitert GOTCHA das Papier von August 2022 DF-Captcha der Ben-Gurion-Universität, das als Erstes vorschlug, den Benutzer am anderen Ende des Anrufs durch einige visuell semantische Hürden springen zu lassen, um seine Authentizität zu beweisen.

Das Papier von August 2022 der Ben-Gurion-Universität schlug als Erstes vor, eine Reihe interaktiver Tests für den Benutzer vorzuschlagen, einschließlich des Verdeckens seines Gesichts oder sogar des Einschlagens seiner Haut – Aufgaben, die sogar von gut trainierten Live-Deepfake-Systemen möglicherweise nicht vorhergesehen oder photorealistisch bewältigt werden können. Quelle: https://arxiv.org/pdf/2208.08524.pdf

Insbesondere fügt GOTCHA ‘passive’ Methoden zu einer ‘Kaskade’ von vorgeschlagenen Tests hinzu, einschließlich der automatischen Überlagerung von unrealen Elementen über das Gesicht des Benutzers und der ‘Überlastung’ von Frames, die durch das Quellsystem gehen. Allerdings können nur die benutzerreaktiven Aufgaben ohne spezielle Berechtigungen zum Zugriff auf das lokale System des Benutzers ausgewertet werden – was wahrscheinlich in Form von lokalen Modulen oder Add-ons für beliebte Systeme wie Skype und Zoom oder sogar in Form von spezieller proprietärer Software erfolgen würde, die speziell mit der Entdeckung von Fälschungen beauftragt ist.

Aus dem Papier, eine Abbildung der Interaktion zwischen dem Anrufer und dem System in GOTCHA, mit gestrichelten Linien als Entscheidungsflüsse.

Die Forscher validierten das System auf einem neuen Datensatz, der über 2,5 Millionen Video-Frames von 47 Teilnehmern enthält, die jeweils 13 Herausforderungen von GOTCHA durchführen. Sie behaupten, dass das Framework eine ‘konsistente und messbare’ Reduzierung der Qualität von Deepfake-Inhalten für betrügerische Benutzer induziert, die das lokale System bis zu offensichtlichen Artefakten belasten, die für das menschliche Auge sichtbar sind (obwohl GOTCHA auch einige subtilere algorithmische Analysemethode enthält).

Das neue Papier trägt den Titel Gotcha: Ein Challenge-Response-System für Echtzeit-Deepfake-Erkennung (der Name des Systems ist im Text großgeschrieben, aber nicht im Titel der Veröffentlichung, obwohl es kein Akronym ist).

Eine Reihe von Herausforderungen

Meistens in Übereinstimmung mit dem Papier der Ben-Gurion-Universität sind die tatsächlichen benutzerorientierten Herausforderungen in mehrere Aufgabentypen unterteilt.

Für Verdeckung muss der Benutzer entweder sein Gesicht mit seiner Hand oder mit anderen Objekten verdecken oder sein Gesicht in einem Winkel präsentieren, der wahrscheinlich nicht in ein Deepfake-Modell trainiert wurde (normalerweise wegen mangelnder Trainingsdaten für ‘unübliche’ Posen – siehe Bildbereich in der ersten Abbildung oben).

Neben Aktionen, die der Benutzer selbst gemäß den Anweisungen ausführen kann, kann GOTCHA zufällige Gesichtsausschnitte, Sticker und Augmented-Reality-Filter überlagern, um den Gesichtsstrom, den ein lokales trainiertes Deepfake-Modell erwarten könnte, zu ‘korruptieren’ und es zum Scheitern zu bringen. Wie bereits erwähnt, ist dies ein ‘passiver’ Prozess für den Benutzer, aber ein eindringlicher für die Software, die in der Lage sein muss, direkt in den Stream des Endkorrespondenten einzugreifen.

Als Nächstes kann der Benutzer aufgefordert werden, sein Gesicht in ungewöhnliche Gesichtsausdrücke zu verzerren, die wahrscheinlich in jedem Trainingsdatensatz fehlen oder unterrepräsentiert sind, was zu einer Verschlechterung der Qualität des Deepfake-Ausgangs führt (Bild ‘b’, zweite Spalte von links, in der ersten Abbildung oben).

Als Teil dieser Reihe von Tests kann der Benutzer aufgefordert werden, Text zu lesen oder ein Gespräch zu führen, das darauf abzielt, ein lokales Live-Deepfake-System herauszufordern, das möglicherweise nicht über eine ausreichende Reihe von Phonemen oder anderen Arten von Munddaten verfügt, um genaue Lippenbewegungen unter solcher Prüfung zu rekonstruieren.

Schließlich (und dies würde die schauspielerischen Fähigkeiten des Endkorrespondenten herausfordern) kann der Benutzer aufgefordert werden, eine ‘Mikro-Expression’ auszuführen – einen kurzen und unwillkürlichen Gesichtsausdruck, der eine Emotion verrät. Dazu sagt das Papier: ‘[Es] dauert normalerweise 0,5-4,0 Sekunden und ist schwer zu fälschen’.

Obwohl das Papier nicht beschreibt, wie man eine Mikro-Expression extrahiert, legt die Logik nahe, dass der einzige Weg, dies zu tun, darin besteht, eine geeignete Emotion beim Endbenutzer zu erzeugen, möglicherweise durch some ansprechende Inhalte, die als Teil des Testroutings präsentiert werden.

Gesichtsverzerrung, Beleuchtung und unerwartete Gäste

Zusätzlich schlägt die neue Arbeit, in Übereinstimmung mit den Vorschlägen des August-Papiers, vor, den Endbenutzer aufzufordern, ungewöhnliche Gesichtsverzerrungen und Manipulationen auszuführen, wie z.B. das Einschlagen seines Fingers in seine Wange, das Interagieren mit seinem Gesicht und/oder Haar und das Ausführen anderer Bewegungen, die kein aktuelles Live-Deepfake-System gut bewältigen kann, da diese marginale Aktionen sind – selbst wenn sie im Trainingsdatensatz vorhanden wären, wäre ihre Reproduktion wahrscheinlich von schlechter Qualität, im Einklang mit anderen ‘Outlier’-Daten.

Ein Lächeln, aber dieses ‘deprimierte Gesicht’ wird von einem lokalen Live-Deepfake-System nicht gut übersetzt.

Eine zusätzliche Herausforderung liegt in der Änderung der Beleuchtungsbedingungen, in denen sich der Endbenutzer befindet, da es möglich ist, dass die Beleuchtung eines Deepfake-Modells auf Standard-Videoconferencing-Beleuchtungssituationen oder sogar auf die exakten Beleuchtungsbedingungen, unter denen der Anruf stattfindet, optimiert wurde.

Der Benutzer kann also aufgefordert werden, den Scheinwerfer seines Mobiltelefons auf sein Gesicht zu richten oder die Beleuchtung auf andere Weise zu ändern (und es ist erwähnenswert, dass dieser Ansatz die zentrale Aussage eines anderen Live-Deepfake-Erkennungspapiers ist, das diesen Sommer veröffentlicht wurde).

Live-Deepfake-Systeme werden durch unerwartete Beleuchtung herausgefordert – und sogar durch mehrere Personen im Stream, wo sie nur einen einzelnen Einzelnen erwartet hatten.

Im Falle des vorgeschlagenen Systems, das in der Lage ist, in den lokalen Benutzer-Stream einzugreifen (der verdächtigt wird, einen Deepfake-Zwischenhändler zu beherbergen), kann das Hinzufügen unerwarteter Muster (siehe mittlere Spalte in der Abbildung oben) die Fähigkeit des Deepfake-Algorithmus beeinträchtigen, eine Simulation aufrechtzuerhalten.

Zusätzlich kann das System, obwohl es unvernünftig ist, von einem Korrespondenten zu erwarten, dass er zusätzliche Personen zur Hand hat, um ihn zu authentifizieren, zusätzliche Gesichter (rechte Abbildung oben) einfügen und prüfen, ob ein lokales Deepfake-System den Fehler macht, die Aufmerksamkeit zu wechseln – oder sogar versucht, alle zu deepfaken (Autoencoder-Deepfake-Systeme haben keine ‘Identitätserkennungsfähigkeiten’, die die Aufmerksamkeit auf einen Einzelnen konzentrieren könnten).

Steganographie und Überlastung

GOTCHA umfasst auch einen Ansatz, der erst von der University of California, San Diego, vorgeschlagen wurde und der die Steganographie verwendet, um eine Nachricht in den lokalen Video-Stream des Benutzers zu verschlüsseln. Deepfake-Routinen werden diese Nachricht völlig zerstören, was zu einem Authentifizierungsfehler führt.

Aus einem Papier von April 2022 der University of California, San Diego, und der San Diego State University, eine Methode zur Bestimmung der authentischen Identität, indem geprüft wird, ob ein steganographisches Signal, das in den Video-Stream des Benutzers gesendet wird, den lokalen Loop unversehrt übersteht – wenn es nicht tut, kann Deepfake-Betrug vorliegen. Quelle: https://arxiv.org/pdf/2204.01960.pdf

Zusätzlich ist GOTCHA in der Lage, das lokale System zu überlasten (bei Zugriff und Genehmigung), indem es einen Stream dupliziert und ‘exzessive’ Daten an jedes lokale System sendet, die darauf ausgelegt sind, eine Replikationsfehler in einem lokalen Deepfake-System zu verursachen.

Das System enthält weitere Tests (siehe das Papier für Details), einschließlich einer Herausforderung, bei der der Benutzer (im Falle eines smartphone-basierten Korrespondenten) aufgefordert wird, sein Telefon umzudrehen, was ein lokales Deepfake-System verzerren würde:

Wiederum würde eine solche Sache nur mit einem überzeugenden Anwendungsfall funktionieren, bei dem der Benutzer gezwungen ist, lokalen Zugriff auf den Stream zu gewähren und kann nicht durch einfache passive Bewertung des Benutzer-Videos implementiert werden, im Gegensatz zu den interaktiven Tests (wie dem Einschlagen eines Fingers in das Gesicht).

Praktikabilität

Das Papier berührt kurz die Frage, inwieweit solche Tests den Endbenutzer stören oder ihn auf andere Weise behindern könnten, z.B. indem er gezwungen ist, eine Reihe von Objekten zur Hand zu haben, die für die Tests benötigt werden, wie z.B. Sonnenbrillen.

Es erkennt auch an, dass es schwierig sein kann, mächtige Korrespondenten dazu zu bringen, den Testroutinen zu folgen. In Bezug auf den Fall eines Videoanrufs mit einem CEO sagen die Autoren:

‘Benutzerfreundlichkeit kann hier der Schlüssel sein, so dass informelle oder frivole Herausforderungen (wie Gesichtsverzerrungen oder Ausdrücke) möglicherweise nicht angemessen sind. Herausforderungen, die externe physische Artikel verwenden, mögen nicht wünschenswert sein. Der Kontext hier ist entsprechend modifiziert und GOTCHA passt seine Reihe von Herausforderungen entsprechend an.’

Daten und Tests

GOTCHA wurde gegen vier Stämme von lokalen Live-Deepfake-Systemen getestet, einschließlich zwei Variationen des sehr beliebten Autoencoder-Deepfakes-Creators DeepFaceLab (‘DFL’, obwohl das Papier überraschenderweise nicht DeepFaceLive erwähnt, das seit August 2021 die ‘Live’-Implementierung von DeepFaceLab ist und wahrscheinlich die erste Ressource für einen potenziellen Fälscher wäre).

Die vier Systeme waren DFL, das ‘leicht’ auf einer nicht berühmten Person trainiert wurde, die an Tests teilnahm, und einem zugehörigen Celebrity; DFL, das umfassender trainiert wurde, bis zu 2 Millionen Iterationen oder Schritten, bei denen man ein viel leistungsfähigeres Modell erwarten würde; Latent Image Animator (LIA); und Face Swapping Generative Adversarial Network (FSGAN).

Für die Daten haben die Forscher Video-Ausschnitte aufgenommen und kuratiert, die 47 Benutzer zeigen, die 13 aktive Herausforderungen durchführen, wobei jeder Benutzer etwa 5-6 Minuten von 1080p-Video bei 60fps ausgibt. Die Autoren sagen auch, dass diese Daten eventually öffentlich verfügbar gemacht werden.

Die Anomalie-Erkennung kann entweder durch einen menschlichen Beobachter oder algorithmisch durchgeführt werden. Für die zweite Option wurde das System auf 600 Gesichtern aus dem FaceForensics-Datensatz trainiert. Die Regressionsverlustfunktion war die leistungsstarke Learned Perceptual Image Patch Similarity (LPIPS), während binäre Kreuzentropie verwendet wurde, um den Klassifizierer zu trainieren. EigenCam wurde verwendet, um die Gewichte des Detektors zu visualisieren.

Primäre Ergebnisse der Tests für GOTCHA.

Die Forscher fanden heraus, dass für die vollständige Kaskade von Tests über die vier Systeme die geringste Anzahl und Schwere von Anomalien (d.h. Artefakten, die die Anwesenheit eines Deepfake-Systems offenbaren würden) durch die höher trainierte DFL-Verteilung erzielt wurden. Die weniger trainierte Version hatte insbesondere Schwierigkeiten, komplexe Lippenbewegungen (die nur wenig des Rahmens einnehmen, aber die hohe menschliche Aufmerksamkeit erhalten) nachzubilden, während FSGAN den Mittelweg zwischen den beiden DFL-Versionen einnahm und LIA sich als völlig unzureichend für die Aufgabe erwies, mit der die Forscher meinten, LIA würde in einer realen Bereitstellung versagen.

Erstveröffentlicht am 17. Oktober 2022.