Deepfakes können viele große Gesichts-‘Liveness’-APIs effektiv täuschen

Eine neue Forschungskooperation zwischen den USA und China hat die Anfälligkeit einiger der größten gesichtsbasierten Authentifizierungssysteme der Welt für Deepfakes untersucht und festgestellt, dass die meisten von ihnen anfällig für entwickelte und aufkommende Formen von Deepfake-Angriffen sind.

Die Forschung führte Deepfake-basierte Eingriffe mit einem benutzerdefinierten Framework durch, das gegen Facial Liveness Verification (FLV)-Systeme eingesetzt wurde, die häufig von großen Anbietern bereitgestellt und als Dienstleistung an Downstream-Kunden wie Fluggesellschaften und Versicherungsunternehmen verkauft werden.

Aus dem Paper, eine Übersicht über die Funktionsweise von Facial Liveness Verification (FLV)-APIs bei großen Anbietern. Quelle: https://arxiv.org/pdf/2202.10673.pdf

Facial Liveness soll den Einsatz von Techniken wie adversarialen Bildangriffen, dem Einsatz von Masken und vorab aufgezeichneten Videos, sogenannten ‘Master-Faces’ und anderen Formen von visueller ID-Klonierung verhindern.

Die Studie kommt zu dem Schluss, dass die begrenzte Anzahl von Deepfake-Erkennungsmodulen in diesen Systemen, von denen viele Millionen von Kunden bedient werden, weit von fehlerfrei entfernt sind und möglicherweise auf Deepfake-Techniken konfiguriert wurden, die jetzt veraltet sind, oder möglicherweise zu architekturspezifisch sind.

Die Autoren bemerken:

‘[Verschiedene] Deepfake-Methoden zeigen auch Variationen über verschiedene Anbieter hinweg… Ohne Zugang zu den technischen Details der Ziel-FLV-Anbieter spekulieren wir, dass solche Variationen auf die von verschiedenen Anbietern eingesetzten Verteidigungsmaßnahmen zurückzuführen sind. Zum Beispiel können bestimmte Anbieter Verteidigungen gegen bestimmte Deepfake-Angriffe einsetzen.’

Und weiter:

‘[Die meisten] FLV-APIs verwenden keine Anti-Deepfake-Erkennung; selbst für diejenigen mit solchen Verteidigungen ist ihre Wirksamkeit besorgniserregend (z. B. kann sie hochwertige synthetisierte Videos erkennen, aber nicht in der Lage sein, niedrigwertige zu erkennen).’

Die Forscher bemerken in diesem Zusammenhang, dass ‘Echtheit’ relativ ist:

‘[Sogar] wenn ein synthetisiertes Video für Menschen unrealistisch ist, kann es dennoch die aktuellen Anti-Deepfake-Erkennungsmechanismen mit einer sehr hohen Erfolgsrate umgehen.’

Oben, Beispiel-Deepfake-Bilder, die in den Experimenten der Autoren authentifiziert werden konnten. Unten, offensichtlich realistischere gefälschte Bilder, die die Authentifizierung nicht bestanden.

Ein weiteres Ergebnis war, dass die aktuelle Konfiguration generischer Facial-Verification-Systeme auf weiße Männer vorbereitet ist. Folglich wurden weibliche und nicht-weiße Identitäten als effektiver bei der Umgehung von Verifizierungssystemen gefunden, was Kunden in diesen Kategorien einem größeren Risiko von Verletzungen durch Deepfake-basierte Techniken aussetzt.

Der Bericht zeigt, dass weiße männliche Identitäten von den populären Facial-Liveness-Verification-APIs am strengsten und genauesten bewertet werden. In der Tabelle oben sehen wir, dass weibliche und nicht-weiße Identitäten die Systeme leichter umgehen können.

Der Bericht bemerkt, dass ‘es Ungleichheiten in [Facial Liveness Verification] gibt, die erhebliche Sicherheitsrisiken für eine bestimmte Gruppe von Menschen mit sich bringen können.’

Die Autoren führten auch ethische Gesichtsauthentifizierungsangriffe gegen eine chinesische Regierung, eine große chinesische Fluggesellschaft, eines der größten Lebensversicherungsunternehmen in China und R360, einer der größten Einhorn-Investitionsgruppen der Welt, durch und berichten über Erfolge bei der Umgehung der Authentifizierungssysteme dieser Organisationen.

Im Falle einer erfolgreichen Authentifizierungsumgehung für die chinesische Fluggesellschaft erforderte die Downstream-API, dass der Benutzer seinen Kopf ‘schüttelte’ als Beweis gegen potenzielles Deepfake-Material, was sich jedoch als unwirksam gegen das von den Forschern entwickelte Framework erwies, das sechs Deepfake-Architekturen integriert.

Trotz der Bewertung der Kopfbewegung des Benutzers durch die Fluggesellschaft konnte Deepfake-Inhalt die Prüfung bestehen.

Der Bericht bemerkt, dass die Autoren die beteiligten Anbieter kontaktiert haben, die angeblich die Arbeit anerkannt haben.

Die Autoren bieten eine Reihe von Empfehlungen für Verbesserungen im aktuellen Stand der Technik in FLV, einschließlich der Aufgabe der Einzelbild-Authentifizierung (‘Image-based FLV’), bei der die Authentifizierung auf einem einzelnen Bild basiert, das von einem Kunden bereitgestellt wird; einer flexibleren und umfassenderen Aktualisierung von Deepfake-Erkennungssystemen in Bild- und Sprachdomänen; der Einführung der Notwendigkeit, dass die Sprachauthentifizierung in Benutzervideos mit den Lippenbewegungen synchronisiert wird (was derzeit nicht der Fall ist); und der Anforderung, dass Benutzer Gesten und Bewegungen ausführen, die derzeit für Deepfake-Systeme schwer zu reproduzieren sind (z. B. Profilansichten und teilweise Verdeckung des Gesichts).

Das Papier trägt den Titel Seeing is Living? Rethinking the Security of Facial Liveness Verification in the Deepfake Era und stammt von den gemeinsamen Lead-Autoren Changjiang Li und Li Wang sowie fünf weiteren Autoren von der Pennsylvania State University, der Zhejiang University und der Shandong University.

Die Kernziele

Die Forscher richteten sich auf die ‘sechs repräsentativsten’ Facial Liveness Verification (FLV)-Anbieter, die in der Forschung anonymisiert wurden.

Die Anbieter werden wie folgt dargestellt: ‘BD’ und ‘TC’ repräsentieren einen Konglomerat-Anbieter mit der größten Anzahl von Face-Related-API-Aufrufen und dem größten Anteil an Chinas AI-Cloud-Diensten; ‘HW’ ist ‘einer der Anbieter mit dem größten [chinesischen] öffentlichen Cloud-Markt’; ‘CW’ hat das schnellste Wachstum im Bereich Computer Vision und erreicht eine führende Marktposition; ‘ST’ ist unter den größten Computer-Vision-Anbietern; und ‘iFT’ zählt zu den größten AI-Software-Anbietern in China.

Daten und Architektur

Die zugrunde liegenden Daten, die das Projekt antreiben, umfassen ein Dataset von 625.537 Bildern aus der chinesischen Initiative CelebA-Spoof sowie Live-Videos aus der SiW-M-Datenbank der Michigan State University von 2019.

Alle Experimente wurden auf einem Server mit zwei 2,40-GHz-Intel-Xeon-E5-2640-v4-CPU-Prozessoren mit 256 GB RAM und einer 4-TB-Festplatte sowie vier NVIDIA-1080Ti-Grafikkarten mit insgesamt 44 GB VRAM durchgeführt.

Sechs in einem

Das von den Autoren des Papiers entwickelte Framework heißt LiveBugger und integriert sechs State-of-the-Art-Deepfake-Frameworks, die gegen die vier Hauptverteidigungen in FLV-Systemen eingesetzt werden.

LiveBugger enthält diverse Deepfake-Ansätze und konzentriert sich auf die vier Hauptangriffsvektoren in FLV-Systemen.

Die sechs Deepfake-Frameworks, die verwendet wurden, sind: Oxford University’s 2018 X2Face; die US-akademische Zusammenarbeit ICface; zwei Variationen des 2019 israelischen Projekts FSGAN; das italienische First Order Method Model (FOMM) von Anfang 2020; und die Zusammenarbeit zwischen Peking University und Microsoft Research FaceShifter (obwohl FaceShifter nicht Open Source ist, mussten die Autoren es auf der Grundlage der veröffentlichten Architekturdetails rekonstruieren).

Methoden, die unter diesen Frameworks verwendet wurden, umfassten die Verwendung von vorgerenderten Videos, in denen die Subjekte des Spoof-Videos rote Aktionen ausführen, die aus den Authentifizierungsanforderungen der API in einem früheren Bewertungsmodul von LiveBugger extrahiert wurden, sowie die Verwendung von effektivem ‘Deepfake-Puppenspiel’, das die Live-Bewegungen eines Individuums in einen Deepfake-Stream übersetzt, der in einen kooperativen Webcam-Stream eingefügt wird.

Ein Beispiel dafür ist DeepFaceLive, das im letzten Sommer als Ergänzungsprogramm zu dem beliebten DeepFaceLab debütierte, um Echtzeit-Deepfake-Streaming zu ermöglichen, aber das nicht in der Forschung der Autoren enthalten ist.

Angreifen der vier Vektoren

Die vier Angriffsvektoren in einem typischen FLV-System sind: bildbasiertes FLV, das ein einzelnes vom Benutzer bereitgestelltes Foto als Authentifizierungstoken gegen ein im System gespeichertes Gesichts-ID verwendet; stille-basiertes FLV, das vom Benutzer die Upload eines Videoclips erfordert; aktionsbasiertes FLV, das vom Benutzer die Ausführung von Aktionen erfordert, die von der Plattform diktiert werden; und stimmbasiertes FLV, das die vom Benutzer erzeugte Sprache mit der im System gespeicherten Sprachmuster des Benutzers abgleicht.

Die erste Herausforderung für das System besteht darin, den Umfang zu ermitteln, in dem eine API ihre Anforderungen offenlegt, da diese dann im Deepfake-Prozess antizipiert und angepasst werden können. Dies wird von der Intelligence Engine in LiveBugger gehandhabt, die Informationen über Anforderungen aus öffentlich zugänglichen API-Dokumentationen und anderen Quellen sammelt.

Da die veröffentlichten Anforderungen aus verschiedenen Gründen möglicherweise nicht in den tatsächlichen Routinen der API enthalten sind, integriert die Intelligence Engine eine Sondierung, die implizite Informationen basierend auf den Ergebnissen von Explorations-API-Aufrufen sammelt. In diesem Forschungsprojekt wurde dies durch offizielle Offline-‘Test’-APIs für Entwickler und durch Freiwillige, die ihre eigenen Live-Konten für Tests zur Verfügung stellten, erleichtert.

Die Intelligence Engine sucht nach Hinweisen darauf, ob eine API derzeit eine bestimmte Methode verwendet, die in Angriffen nützlich sein könnte. Merkmale dieser Art können Kohärenzerkennung umfassen, die überprüft, ob die Frames in einem Video zeitlich kontinuierlich sind – eine Anforderung, die durch das Senden von verschlüsselten Video-Frames und das Beobachten, ob dies zu einer Authentifizierungsfehler führt, festgestellt werden kann.

Das Modul sucht auch nach LippenSprach-Erkennung, bei der die API überprüft, ob der Ton im Video mit den Lippenbewegungen des Benutzers synchronisiert ist (was selten der Fall ist – siehe ‘Ergebnisse’ unten).

Ergebnisse

Die Autoren fanden heraus, dass alle sechs bewerteten APIs zum Zeitpunkt der Experimente keine Kohärenzerkennung verwendeten, was es dem Deepfaker-Engine in LiveBugger ermöglichte, einfach synthetisierte Audio mit Deepfake-Video zu kombinieren, basierend auf Material von Freiwilligen.

Es wurde jedoch festgestellt, dass einige Downstream-Anwendungen (d. h. Kunden der API-Frameworks) die Kohärenzerkennung zum Prozess hinzugefügt hatten, was die vorherige Aufzeichnung eines Videos erforderlich machte, um dies zu umgehen.

Darüber hinaus verwenden nur einige der API-Anbieter LippenSprach-Erkennung; für die meisten von ihnen werden Video und Audio als separate Größen analysiert, und es gibt keine Funktionalität, die versucht, die Lippenbewegung mit dem bereitgestellten Audio abzugleichen.

Vielfältige Ergebnisse, die den Bereich der verfügbaren Fake-Techniken in LiveBugger gegen die verschiedenen Angriffsvektoren in FLV-APIs abdecken. Höhere Zahlen zeigen einen größeren Erfolg bei der Penetration von FLV mit Deepfake-Techniken. Nicht alle APIs enthalten alle möglichen Verteidigungen für FLV; zum Beispiel bieten einige keine Verteidigung gegen Deepfakes, während andere nicht überprüfen, ob Lippenbewegung und Audio im Benutzervideo während der Authentifizierung übereinstimmen.

Schlussfolgerung

Die Ergebnisse und Hinweise des Papiers für die Zukunft von FLV-APIs sind komplex und wurden von den Autoren in eine funktionale ‘Architektur von Verwundbarkeiten’ zusammengefasst, die FLV-Entwicklern helfen kann, einige der aufgedeckten Probleme besser zu verstehen.

Das Netzwerk der Empfehlungen des Papiers bezüglich der bestehenden und potenziellen Anfälligkeit von face-basierten Video-Identifizierungsroutinen für Deepfake-Angriffe.

Die Empfehlungen bemerken:

‘Die Sicherheitsrisiken von FLV sind weit verbreitet in vielen realen Anwendungen und gefährden somit die Sicherheit von Millionen von Endbenutzern.’

Die Autoren bemerken auch, dass die Verwendung von aktionsbasiertem FLV ‘marginal’ ist und dass die Erhöhung der Anzahl der Aktionen, die Benutzer ausführen müssen, ‘keinen Sicherheitsgewinn’ bringt.

Die Autoren bemerken weiter, dass die Kombination von Spracherkennung und zeitlicher Gesichtserkennung (in Video) eine fruchtlose Verteidigung ist, es sei denn, die API-Anbieter beginnen, zu fordern, dass Lippenbewegungen mit Audio synchronisiert werden.

Das Papier erscheint im Licht einer jüngsten Warnung der FBI vor den Gefahren von Deepfake-Betrug, fast ein Jahr nach ihrer Warnung vor der Verwendung dieser Technologie in ausländischen Einflussoperationen und vor allgemeinen Befürchtungen, dass Live-Deepfake-Technologie eine neue Kriminalitätswelle in einer Öffentlichkeit auslösen wird, die immer noch Video-Authentifizierungssicherheitsarchitekturen vertraut.

Es sind noch die frühen Tage von Deepfake als Angriffsfläche für Authentifizierung; im Jahr 2020 wurden 35 Millionen Dollar auf betrügerische Weise von einer Bank in den Vereinigten Arabischen Emiraten durch den Einsatz von Deepfake-Audio-Technologie abgezogen, und ein britischer Manager wurde ebenfalls im Jahr 2019 hereingefallen und hat 243.000 Dollar ausbezahlt.

Erstveröffentlicht am 23. Februar 2022.