Erkennung von Deepfake-Videoanrufen durch Monitorbeleuchtung

Eine neue Zusammenarbeit zwischen einem Forscher der National Security Agency (NSA) der Vereinigten Staaten und der University of California at Berkeley bietet eine innovative Methode zur Erkennung von Deepfake-Inhalten in einem Live-Video-Kontext – indem sie die Auswirkungen der Monitorbeleuchtung auf das Aussehen der Person am anderen Ende des Videoanrufs beobachtet.

Der beliebte DeepFaceLive-Benutzer Druuzil Tech & Games testet sein eigenes Christian-Bale-DeepFaceLab-Modell in einer Live-Sitzung mit seinen Followern, während die Lichtquellen wechseln. Quelle: https://www.youtube.com/watch?v=XPQLDnogLKA

Das System funktioniert, indem es ein grafisches Element auf dem Bildschirm des Benutzers platziert, das eine schmale Farbbandbreite schneller ändert, als ein typisches Deepfake-System reagieren kann – selbst wenn es, wie die Echtzeit-Deepfake-Streaming-Implementierung DeepFaceLive (siehe oben), eine gewisse Fähigkeit hat, die Live-Farbübertragung aufrechtzuerhalten und die Umgebungsbeleuchtung zu berücksichtigen.

Das einheitliche Farbbild, das auf dem Monitor der Person am anderen Ende (d. h. des potenziellen Deepfake-Betrügers) angezeigt wird, wechselt durch eine begrenzte Variation von Farbveränderungen, die so konzipiert sind, dass sie die automatische Weißabgleich-Einstellung der Webcam und andere ad-hoc-Beleuchtungskompensations-Systeme nicht aktivieren, was die Methode kompromittieren würde.

Aus dem Paper, eine Illustration der Änderung der Beleuchtungsbedingungen vom Monitor vor einem Benutzer, der effektiv als diffuses ‘Flächenlicht’ wirkt. Quelle: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

Die Theorie hinter diesem Ansatz ist, dass Live-Deepfake-Systeme nicht schnell genug auf die Änderungen im Bildschirm-Graphik reagieren können, was die ‘Verzögerung’ des Deepfake-Effekts in bestimmten Teilen des Farbspektrums erhöht und seine Anwesenheit offenbart.

Um das reflektierte Monitorlicht genau messen zu können, muss das System die allgemeine Umgebungsbeleuchtung berücksichtigen und ausgleichen, die nicht mit dem Licht vom Monitor zusammenhängt. Es kann dann die Mängel in der Messung der aktiven Beleuchtungsfarbe und der Gesichtsfarbe der Benutzer erkennen, was eine zeitliche Verschiebung von 1-4 Bildern zwischen jedem darstellt:

Indem die Forscher die Farbveränderungen im Bildschirm-Graphik begrenzt haben und sichergestellt haben, dass die Webcam des Benutzers nicht durch übermäßige Änderungen der Monitorbeleuchtung zur Auto-Anpassung der Aufnahmeeinstellungen veranlasst wird, konnten sie eine verräterische Verzögerung in der Anpassung des Deepfake-Systems an die Beleuchtungsänderungen erkennen.

Das Paper kommt zu dem Schluss:

‘Aufgrund des berechtigten Vertrauens, das wir in Live-Videoanrufe setzen, und der wachsenden Allgegenwart von Videoanrufen in unserem persönlichen und beruflichen Leben, schlagen wir vor, dass Techniken zur Authentifizierung von Video- (und Audio-) Anrufen an Bedeutung gewinnen werden.’

Die Studie trägt den Titel Erkennung von Echtzeit-Deepfake-Videos unter Verwendung von aktiver Beleuchtung und stammt von Candice R. Gerstner, einer angewandten Forschungsmathematikerin des US-Verteidigungsministeriums, und Professor Hany Farid von Berkeley.

Erosion des Vertrauens

Die Anti-Deepfake-Forschung hat sich in den letzten sechs Monaten deutlich von der allgemeinen Deepfake-Erkennung (d. h. der Erkennung von vorab aufgenommenen Videos und pornografischem Inhalt) abgewandt und auf die “Liveness”-Erkennung konzentriert, als Reaktion auf eine wachsende Welle von Vorfällen von Deepfake-Nutzung in Video-Konferenzanrufen und auf die jüngste Warnung des FBI bezüglich der zunehmenden Nutzung solcher Technologien in Anträgen für Remote-Arbeit.

Even wenn ein Videoanruf nicht deepgefaked wurde, beginnt die zunehmende Verfügbarkeit von AI-gesteuerten Video-Impersonatoren, Paranoia zu erzeugen.

Das neue Paper besagt:

‘Die Erstellung von Echtzeit-Deepfakes [birgt] einzigartige Bedrohungen, da sie das allgemeine Vertrauen in einen Live-Video- oder Telefonanruf ausnutzen und die Erkennung von Deepfakes in Echtzeit, während der Anruf stattfindet, herausfordern.’

Die Forschungsgemeinschaft hat sich seit Langem das Ziel gesetzt, unfehlbare Anzeichen von Deepfake-Inhalten zu finden, die nicht leicht kompensiert werden können. Obwohl die Medien dies typischerweise als technologischen Krieg zwischen Sicherheitsforschern und Deepfake-Entwicklern darstellen, sind die meisten Negationen früherer Ansätze (wie Augenblicksanalyse, Kopfhaltungserkennung und Verhaltensanalyse) einfach deshalb aufgetreten, weil die Entwickler und Benutzer versucht haben, realistischere Deepfakes im Allgemeinen zu erstellen, anstatt sich speziell mit dem neuesten “Tell” auseinanderzusetzen, das von der Sicherheitsgemeinschaft identifiziert wurde.

Aufklärung über Live-Deepfake-Video

Die Erkennung von Deepfakes in Live-Video-Umgebungen trägt die Last, schlechte Video-Verbindungen zu berücksichtigen, die in Video-Konferenz-Szenarien sehr häufig sind. Selbst ohne ein dazwischengeschaltetes Deepfake-Layer kann Video-Inhalt von NASA-ähnlicher Verzögerung, Rendern-Artefakten und anderen Arten von Verschlechterung in Audio und Video betroffen sein. Diese können dazu dienen, die rauhen Kanten in einer Live-Deepfake-Architektur zu verbergen, sowohl in Bezug auf Video als auch auf Audio-Deepfakes.

Das System der Autoren verbessert die Ergebnisse und Methoden, die in einer Veröffentlichung von 2020 des Center for Networked Computing an der Temple University in Philadelphia vorgestellt wurden.

Aus dem 2020er Paper, können wir die Änderung der ‘eingefüllten’ Gesichtsbeleuchtung beobachten, wenn der Inhalt des Benutzerbildschirms wechselt. Quelle: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf

Die Differenz in der neuen Arbeit besteht darin, dass sie die Art und Weise berücksichtigt, wie Webcams auf Beleuchtungsänderungen reagieren. Die Autoren erklären:

‘Da alle modernen Webcams Auto-Exposition durchführen, ist die Art von hochintensiver aktiver Beleuchtung [wie in der vorherigen Arbeit verwendet] wahrscheinlich, die Auto-Exposition der Kamera auszulösen, was wiederum die aufgezeichnete Gesichtserscheinung beeinträchtigen würde. Um dies zu vermeiden, verwenden wir eine aktive Beleuchtung, die eine isoluminante Änderung der Farbe darstellt.

‘Während dies die Kamera vor der Auto-Exposition schützt, könnte es die Weißabgleich-Einstellung der Kamera auslösen, was wiederum die aufgezeichnete Gesichtserscheinung beeinträchtigen würde. Um dies zu vermeiden, arbeiten wir in einem Farbbereich, den wir empirisch bestimmt haben, der die Weißabgleich-Einstellung nicht auslöst.’

Für diese Initiative haben die Autoren auch ähnliche vorherige Bemühungen in Betracht gezogen, wie LiveScreen, das ein unauffälliges Beleuchtungsmuster auf den Benutzermonitor projiziert, um Deepfake-Inhalte aufzudecken.

Obwohl dieses System eine Genauigkeitsrate von 94,8 % erreichte, kommen die Forscher zu dem Schluss, dass die Subtilität der Lichtmuster eine heimliche Umsetzung in hellen Umgebungen schwierig machen würde, und schlagen stattdessen vor, dass ihr eigenes System oder eines, das ähnliche Linien verfolgt, in populäre Video-Konferenz-Software integriert werden könnte:

‘Unser vorgeschlagener Eingriff könnte entweder durch einen Anrufer realisiert werden, der einfach seinen Bildschirm teilt und das zeitlich variierende Muster anzeigt, oder idealerweise direkt in den Video-Anruf-Client integriert werden.’

Tests

Die Autoren verwendeten eine Mischung aus synthetischen und realen Testpersonen, um ihren Dlib-gesteuerten Deepfake-Detektor zu testen. Für das synthetische Szenario verwendeten sie Mitsuba, einen Forward- und Inverse-Renderer des Schweizerischen Bundesinstituts für Technologie in Lausanne.

Beispiele aus dem simulierten Umfeldtest, mit variierender Hauttönung, Lichtquellengröße, Umgebungslichtintensität und Nähe zur Kamera.

Die dargestellte Szene umfasst einen parametrischen CGI-Kopf, der von einer virtuellen Kamera mit einem 90-Grad-Blickwinkel aufgenommen wird. Die Köpfe weisen Lambert-Reflexion und neutrale Hauttöne auf und sind 2 Fuß vor der virtuellen Kamera positioniert.

Um das Framework über eine Reihe von möglichen Hauttönen und Einrichtungen zu testen, führten die Forscher eine Reihe von Tests durch, bei denen verschiedene Aspekte nacheinander geändert wurden. Die geänderten Aspekte umfassten Hauttönung, Nähe und Beleuchtungslichtgröße.

Die Autoren kommentieren:

‘In der Simulation, mit unseren verschiedenen Annahmen erfüllt, ist unsere vorgeschlagene Technik sehr robust gegenüber einer breiten Palette von Bildkonfigurationen.’

Für das reale Szenario verwendeten die Forscher 15 Freiwillige mit verschiedenen Hauttönen in unterschiedlichen Umgebungen. Jeder wurde zwei Zyklen der eingeschränkten Farbveränderung unterzogen, unter Bedingungen, bei denen eine 30-Hz-Bildwiederholfrequenz mit der Webcam synchronisiert war, was bedeutet, dass die aktive Beleuchtung nur für eine Sekunde gleichzeitig bestand. Die Ergebnisse waren im Allgemeinen mit den synthetischen Tests vergleichbar, obwohl die Korrelationen mit größeren Beleuchtungswerten deutlich zunahmen.

Zukünftige Richtungen

Das System, so geben die Forscher zu, berücksichtigt nicht typische Gesichtsverdeckungen, wie z. B. Ponyfrisuren, Brillen oder Bart. Sie weisen jedoch darauf hin, dass eine Maskierung dieser Art zu späteren Systemen hinzugefügt werden kann (durch Markierung und anschließende semantische Segmentierung), die ausschließlich Werte aus wahrgenommenen Hautbereichen des Zielobjekts übernehmen können.

Die Autoren schlagen auch vor, dass ein ähnliches Paradigma zur Erkennung von deepgefälschten Audio-Anrufen eingesetzt werden könnte, und dass das notwendige Erkennungssignal in einer Frequenz außerhalb des normalen menschlichen Hörbereichs gespielt werden könnte.

Vielleicht am interessantesten ist, dass die Forscher auch vorschlagen, dass die Erweiterung der Bewertungsfläche über das Gesicht hinaus in einem umfassenderen Erfassungsframework die Möglichkeit der Deepfake-Erkennung erheblich verbessern könnte*:

‘Eine komplexere 3-D-Lichtschätzung würde wahrscheinlich ein reichhaltigeres Erscheinungsbild liefern, das für einen Fälscher noch schwieriger zu umgehen wäre. Während wir uns nur auf das Gesicht konzentrierten, beleuchtet der Computerbildschirm auch den Hals, den Oberkörper und den umgebenden Hintergrund, von dem ähnliche Messungen vorgenommen werden könnten.

‘Diese zusätzlichen Messungen würden den Fälscher zwingen, die gesamte 3-D-Szene und nicht nur das Gesicht zu berücksichtigen.’

* Meine Umwandlung der inline-Zitate der Autoren in Hyperlinks.

Erstveröffentlichung am 6. Juli 2022.