Erkennung von Video-Konferenz-Deepfakes mit der “Vibrate”-Funktion eines Smartphones

Neue Forschung aus Singapur hat eine innovative Methode zur Erkennung vorgeschlagen, ob jemand am anderen Ende eines Smartphone-Video-Konferenz-Tools Methoden wie DeepFaceLive verwendet, um jemand anderen zu imitieren.

Der neue Ansatz, der SFake genannt wird, verlässt die passiven Methoden, die von den meisten Systemen verwendet werden, und verursacht, dass das Telefon des Benutzers vibriert (mit den gleichen “Vibrate”-Mechanismen, die in Smartphones üblich sind), und verursacht eine leichte Unschärfe des Gesichts.

Obwohl Live-Deepfake-Systeme in der Lage sind, Bewegungsunschärfe zu replizieren, solange unscharfe Aufnahmen in den Trainingsdaten oder zumindest in den Vortrainingsdaten enthalten sind, können sie nicht schnell genug auf unerwartete Unschärfe reagieren und setzen die Ausgabe nicht unscharfer Gesichtsteile fort, was die Existenz eines Deepfake-Konferenzanrufs offenbart.

DeepFaceLive kann nicht schnell genug reagieren, um die durch die Kameravibrationen verursachte Unschärfe zu simulieren. Quelle: https://arxiv.org/pdf/2409.10889v1

Testergebnisse auf dem selbst kuratierten Datensatz der Forscher (da es keine Datensätze mit aktiver Kamerabewegung gibt) zeigten, dass SFake die konkurrierenden video-basierten Deepfake-Erkennungsmethoden übertraf, sogar unter schwierigen Umständen, wie der natürlichen Handbewegung, die auftritt, wenn die andere Person in einer Video-Konferenz die Kamera mit der Hand hält, anstelle eines statischen Telefonhalters.

Das wachsende Bedürfnis nach video-basierten Deepfake-Erkennung

Forschung zur video-basierten Deepfake-Erkennung hat in letzter Zeit zugenommen. Im Anschluss an mehrere Jahre erfolgreicher sprachbasierter Deepfake-Raubüberfälle wurde Anfang dieses Jahres ein Finanzarbeiter getäuscht, indem er 25 Millionen Dollar an einen Betrüger überwies, der in einem Deepfake-Video-Anruf als CFO auftrat.

Obwohl ein System dieser Art einen hohen Grad an Hardware-Zugriff erfordert, sind viele Smartphone-Benutzer bereits an Finanz- und andere Arten von Verifizierungsdiensten gewöhnt, die uns auffordern, unsere Gesichtsmerkmale für eine Gesichtsauthentifizierung aufzuzeichnen (tatsächlich ist dies Teil des Verifizierungsprozesses von LinkedIn).

Es scheint daher wahrscheinlich, dass solche Methoden zunehmend für Video-Konferenz-Systeme eingesetzt werden, da diese Art von Kriminalität weiterhin Schlagzeilen macht.

Die meisten Lösungen, die sich mit Echtzeit-Video-Konferenz-Deepfaking befassen, gehen von einer sehr statischen Szene aus, in der der Kommunikant ein stationäres Webcam verwendet und keine Bewegung oder übermäßige Umgebungs- oder Beleuchtungsänderungen erwartet werden. Ein Smartphone-Anruf bietet keine solche “feste” Situation.

Stattdessen verwendet SFake eine Reihe von Erkennungsmethoden, um die hohe Anzahl visueller Varianten in einer handgehaltenen Smartphone-Video-Konferenz auszugleichen, und scheint das erste Forschungsprojekt zu sein, das dieses Problem mit Hilfe der Standard-Vibrationsausrüstung in Smartphones angeht.

Die Studie trägt den Titel Shaking the Fake: Detecting Deepfake Videos in Real Time via Active Probes und stammt von zwei Forschern der Nanyang Technological University in Singapur.

Methode

SFake ist als Cloud-basierten Dienst konzipiert, bei dem eine lokale App Daten an einen Remote-API-Dienst sendet, um diese zu verarbeiten, und die Ergebnisse zurücksendet.

Sein geringer Fußabdruck von 450 MB und die optimierte Methode ermöglichen es jedoch, die Deepfake-Erkennung vollständig auf dem Gerät selbst durchzuführen, in Fällen, in denen eine Netzwerkverbindung die gesendeten Bilder zu sehr komprimieren und den diagnostischen Prozess beeinträchtigen könnte.

Wenn es “all local” läuft, hat das System direkten Zugriff auf den Kamerastrom des Benutzers, ohne die Codec-Interferenz, die oft mit Video-Konferenzen verbunden ist.

Die durchschnittliche Analysezeit erfordert eine viersekündige Videoaufnahme, während der der Benutzer aufgefordert wird, stillzustehen, und während der SFake “Sonden” sendet, um Kameravibrationen zu verursachen, in selektiv zufälligen Intervallen, auf die Systeme wie DeepFaceLive nicht rechtzeitig reagieren können.

(Es sollte noch einmal betont werden, dass ein Angreifer, der keine unscharfen Inhalte in seinem Trainingsdatensatz enthalten hat, wahrscheinlich nicht in der Lage ist, ein Modell zu erstellen, das Unschärfe auch unter viel günstigeren Umständen erzeugen kann, und dass DeepFaceLive diese Funktionalität nicht einfach zu einem Modell hinzufügen kann, das auf einem unterkuratierten Datensatz trainiert wurde)

Das System wählt bestimmte Bereiche des Gesichts als potenzielle Deepfake-Inhalte aus, wobei die Augen und Augenbrauen ausgeschlossen werden (da Blinken und andere Gesichtsbewegungen in diesem Bereich außerhalb des Bereichs der Unschärfe-Erkennung liegen und kein idealer Indikator sind).

Konzeptuelles Schema für SFake.

Wie wir im konzeptuellen Schema oben sehen können, wählt SFake nach der Auswahl geeigneter und nicht vorhersehbarer Vibrationsmuster, der Festlegung der besten Brennweite und der Durchführung der Gesichtserkennung (einschließlich Landmarken-Erkennung über einen Dlib-Komponente, die 68 Gesichtslandmarken schätzt), die Gradienten aus dem Eingabegesicht ab und konzentriert sich auf bestimmte Bereiche dieser Gradienten.

Die Varianzfolge wird durch die sequenzielle Analyse jedes Frames in der kurzen Clip-Sequenz unter Studie erhalten, bis die durchschnittliche oder “ideale” Sequenz erreicht ist, und der Rest ignoriert wird.

Dies liefert extrahierte Merkmale, die als Quantifizierer für die Wahrscheinlichkeit von Deepfake-Inhalten auf der Grundlage des trainierten Datenbestands (von dem wir gleich sprechen werden) verwendet werden können.

Das System erfordert eine Bildauflösung von 1920×1080 Pixeln sowie eine Mindestzoomanforderung von 2x für die Linse. Die Studie bemerkt, dass solche Auflösungen (und sogar höhere Auflösungen) in Microsoft Teams, Skype, Zoom und Tencent Meeting unterstützt werden.

Die meisten Smartphones haben eine Front- und eine Selbstkamera, und oft hat nur eine davon die Zoomfähigkeiten, die SFake erfordert; die App würde daher den Kommunikationspartner auffordern, die Kamera zu verwenden, die diese Anforderungen erfüllt.

Das Ziel hier ist, den richtigen Anteil des Gesichts des Benutzers in den Video-Stream zu bekommen, den das System analysieren wird. Die Studie bemerkt, dass die durchschnittliche Entfernung, in der Frauen mobile Geräte verwenden, 34,7 cm beträgt, und für Männer 38,2 cm (wie berichtet in Journal of Optometry), und dass SFake sehr gut bei diesen Entfernungen funktioniert.

Da die Stabilisierung bei handgehaltenen Videos ein Problem darstellt und die durch Handbewegungen verursachte Unschärfe die Funktionsweise von SFake behindert, haben die Forscher mehrere Methoden ausprobiert, um dies auszugleichen. Die erfolgreichste Methode bestand darin, den Mittelpunkt der geschätzten Landmarken zu berechnen und diesen als “Anker” zu verwenden – effektiv eine algorithmische Stabilisierungstechnik. Mit dieser Methode wurde eine Genauigkeit von 92% erreicht.

Daten und Tests

Da es keine geeigneten Datensätze gab, entwickelten die Forscher ihren eigenen:

‘[Wir] verwenden 8 verschiedene Marken von Smartphones, um 15 Teilnehmer unterschiedlichen Geschlechts und Alters aufzuzeichnen, um unseren eigenen Datensatz zu erstellen. Wir platzieren das Smartphone auf einem Halter 20 cm vom Teilnehmer entfernt und zoomen zweimal, um das Gesicht des Teilnehmers zu umfassen, während wir das Smartphone in verschiedenen Mustern vibrieren lassen.

‘Für Telefone, deren Frontkameras nicht zoomen können, verwenden wir die Rückkameras als Ersatz. Wir aufzeichnen 150 lange Videos, jeweils 20 Sekunden lang. Standardmäßig nehmen wir an, dass die Erkennungszeit 4 Sekunden beträgt. Wir schneiden 10 Clips von 4 Sekunden Länge aus einem langen Video, indem wir die Startzeit randomisieren. Daher erhalten wir insgesamt 1500 reale Clips, jeweils 4 Sekunden lang.’

Obwohl DeepFaceLive (GitHub-Link) das zentrale Ziel der Studie war, da es derzeit das am häufigsten verwendete Open-Source-Live-Deepfaking-System ist, haben die Forscher vier weitere Methoden zur Schulung ihres Basis-Erkennungsmodells einbezogen: Hififace; FS-GANV2; RemakerAI; und MobileFaceSwap – letzteres eine besonders geeignete Wahl, angesichts der Zielumgebung.

1500 gefälschte Videos wurden für die Schulung verwendet, zusammen mit der gleichen Anzahl an echten und unveränderten Videos.

SFake wurde gegen mehrere verschiedene Klassifizierer getestet, einschließlich SBI; FaceAF; CnnDetect; LRNet; DefakeHop-Varianten; und den kostenlosen Online-Deepfake-Erkennungsdienst Deepaware. Für jede dieser Deepfake-Methoden wurden 1500 gefälschte und 1500 reale Videos trainiert.

Für den Basis-Test-Klassifizierer wurde ein einfaches zweischichtiges Neuronales Netzwerk mit einer ReLU-Aktivierungsfunktion verwendet. 1000 reale und 1000 gefälschte Videos wurden zufällig ausgewählt (obwohl die gefälschten Videos ausschließlich DeepFaceLive-Beispiele waren).

Area Under Receiver Operating Characteristic Curve (AUC/AUROC) und Genauigkeit (ACC) wurden als Metriken verwendet.

Für die Schulung und Inferenz wurde eine NVIDIA RTX 3060 verwendet, und die Tests wurden unter Ubuntu durchgeführt. Die Test-Videos wurden mit einem Xiaomi Redmi 10x, einem Xiaomi Redmi K50, einem OPPO Find x6, einem Huawei Nova9, einem Xiaomi 14 Ultra, einem Honor 20, einem Google Pixel 6a und einem Huawei P60 aufgezeichnet.

Um mit bestehenden Erkennungsmethoden übereinzustimmen, wurden die Tests in PyTorch implementiert. Die primären Testergebnisse sind in der folgenden Tabelle dargestellt:

Ergebnisse für SFake im Vergleich zu konkurrierenden Methoden.

Hier kommentieren die Autoren:

‘In allen Fällen übertraf die Erkennungsgenauigkeit von SFake 95%. Von den fünf Deepfake-Algorithmen, außer Hififace, funktioniert SFake besser gegen andere Deepfake-Algorithmen als die anderen sechs Erkennungsmethoden. Da unser Klassifizierer mit gefälschten Bildern trainiert wurde, die von DeepFaceLive generiert wurden, erreicht er die höchste Genauigkeitsrate von 98,8%, wenn er DeepFaceLive erkennt.

‘Wenn es um gefälschte Gesichter geht, die von RemakerAI generiert werden, funktionieren die anderen Erkennungsmethoden schlecht. Wir vermuten, dass dies daran liegen könnte, dass die automatische Komprimierung von Videos beim Herunterladen aus dem Internet zu einem Verlust von Bild-details führt und die Erkennungsgenauigkeit verringert. Dies beeinträchtigt jedoch nicht die Erkennung durch SFake, das eine Genauigkeit von 96,8% bei der Erkennung von RemakerAI erreicht.’

Die Autoren bemerken weiter, dass SFake das leistungsstärkste System in Szenarien mit einer 2x-Zoom-Aufnahme der Kamera ist, da dies die Bewegung übertrieben darstellt und ein extrem herausforderndes Szenario darstellt. Selbst in dieser Situation konnte SFake eine Erkennungsgenauigkeit von 84% und 83% erreichen, jeweils bei 2,5- und 3-facher Vergrößerung.

Schlussfolgerung

Ein Projekt, das die Schwächen eines Live-Deepfake-Systems gegen sich selbst verwendet, ist ein erfrischendes Angebot in einem Jahr, in dem die Deepfake-Erkennung von Studien dominiert wurde, die lediglich bewährte Ansätze um die Frequenzanalyse (die weit davon entfernt ist, gegen Innovationen im Deepfake-Bereich immun zu sein) aufgewirbelt haben.

Ende 2022 verwendete ein anderes System die Helligkeitsvarianz des Monitors als Erkennungshook; und im gleichen Jahr zeigte meine eigene Demonstration von DeepFaceLives Unfähigkeit, harte 90-Grad-Profildarstellungen zu handhaben, einiges Interesse in der Community hervor.

DeepFaceLive ist das richtige Ziel für ein solches Projekt, da es mit Sicherheit im Mittelpunkt des kriminellen Interesses an Video-Konferenz-Betrug steht.

Ich habe jedoch kürzlich einige anekdotische Beweise gesehen, dass das LivePortrait-System, das derzeit in der VFX-Community sehr beliebt ist, Profildarstellungen besser handhabt als DeepFaceLive; es wäre interessant gewesen, wenn es in diese Studie einbezogen worden wäre.

Erstveröffentlicht am Dienstag, dem 24. September 2024