Tiefe-Informationen können Deepfakes in Echtzeit enthüllen

Neue Forschung aus Italien hat ergeben, dass Tiefe-Informationen, die aus Bildern gewonnen werden, ein nützliches Werkzeug zur Erkennung von Deepfakes sein können – sogar in Echtzeit.

Während die meisten Forschungen zur Deepfake-Erkennung in den letzten fünf Jahren sich auf die Identifizierung von Artefakten (die durch verbesserte Techniken gemildert oder mit schlechter Video-Codec-Komprimierung verwechselt werden können) konzentriert haben, Umgebungsbeleuchtung, biometrische Merkmale, zeitliche Störungen und sogar menschliche Intuition, legt die neue Studie nahe, dass Tiefe-Informationen ein wertvoller Schlüssel für Deepfake-Inhalte sein könnten.

Beispiele für abgeleitete Tiefen-Karten und den Unterschied in der wahrgenommenen Tiefen-Information zwischen echten und gefälschten Bildern. Quelle: https://arxiv.org/pdf/2208.11074.pdf

Kritisch ist, dass die Erkennungs-Systeme, die für die neue Studie entwickelt wurden, sehr gut auf einem leichten Netzwerk wie Xception funktionieren und akzeptabel auf MobileNet, und die neue Studie erkennt an, dass die geringe Latenz der Inferenz, die durch solche Netzwerke angeboten wird, eine Echtzeit-Erkennung von Deepfakes gegen die neue Tendenz hin zu Live-Deepfake-Betrug ermöglichen kann, wie sie durch den jüngsten Angriff auf Binance exemplifiziert wird.

Eine größere Effizienz bei der Inferenzzeit kann erreicht werden, weil das System nicht vollständige Farbbilder benötigt, um den Unterschied zwischen gefälschten und echten Tiefen-Karten zu bestimmen, sondern effizient auf Graustufen-Bildern der Tiefen-Informationen arbeiten kann.

Die Autoren stellen fest: ‘Dieses Ergebnis legt nahe, dass die Tiefe in diesem Fall einen relevanten Beitrag zur Klassifizierung leistet als Farbartefakte.’

Die Ergebnisse repräsentieren einen Teil einer neuen Welle von Deepfake-Erkennungs-Forschung, die sich gegen Echtzeit-Gesichtssynthese-Systeme wie DeepFaceLive richtet – ein Schwerpunkt, der in den letzten 3-4 Monaten, nach der Warnung des FBI im März über das Risiko von Echtzeit-Video- und Audio-Deepfakes, deutlich an Fahrt gewonnen hat.

Die Studie trägt den Titel DepthFake: eine tiefenbasierte Strategie zur Erkennung von Deepfake-Videos und stammt von fünf Forschern der Sapienza-Universität in Rom.

Randfälle

Während der Ausbildung priorisieren Autoencoder-basierte Deepfake-Modelle die inneren Regionen des Gesichts, wie Augen, Nase und Mund. In den meisten Fällen, über offene Quell-Verteilungen wie DeepFaceLab und FaceSwap (beide von dem ursprünglichen Reddit-Code vor dessen Löschung abgeleitet), werden die äußeren Linien des Gesichts nicht bis zu einem sehr späten Stadium in der Ausbildung gut definiert und sind unwahrscheinlich, die Qualität der Synthese in der inneren Gesichtsregion zu erreichen.

Aus einer vorherigen Studie sehen wir eine Visualisierung von ‘Saliency-Maps’ des Gesichts. Quelle: https://arxiv.org/pdf/2203.01318.pdf

Normalerweise ist dies nicht wichtig, da unsere Tendenz, zuerst auf die Augen zu achten und nach außen zu priorisieren, mit abnehmenden Aufmerksamkeitsgraden bedeutet, dass wir unwahrscheinlich durch diese Abnahmen in der peripheren Qualität gestört werden – insbesondere, wenn wir live mit der Person sprechen, die eine andere Identität fälscht, was soziale Konventionen und Verarbeitungsbeschränkungen auslöst, die nicht vorhanden sind, wenn wir ‘gerenderte’ Deepfake-Footage auswerten.

Die fehlende Detailgenauigkeit oder -präzision in den betroffenen Randregionen eines tiefgefälschten Gesichts kann jedoch algorithmisch erkannt werden. Im März wurde ein System, das auf die periphere Gesichtsregion abzielt, angekündigt. Allerdings erfordert es aufgrund der notwendigen überdurchschnittlichen Menge an Trainingsdaten nur für Berühmtheiten, die wahrscheinlich in populären Gesichtsdatensätzen (wie ImageNet) vorkommen, die in aktuellen Computer-Vision- und Deepfake-Erkennungstechniken eine Beweisführung haben.

Stattdessen kann das neue System, DepthFake genannt, generisch sogar auf unbedeutende oder unbekannte Identitäten arbeiten, indem es die Qualität der geschätzten Tiefen-Karten-Informationen in echten und gefälschten Video-Inhalten unterscheidet.

Tiefere Einblicke

Tiefen-Karten-Informationen werden zunehmend in Smartphones integriert, einschließlich AI-gestützter Stereo-Implementierungen, die besonders nützlich für Computer-Vision-Studien sind. In der neuen Studie haben die Autoren das FaceDepth-Modell der National University of Ireland verwendet, ein konvolutionales Encoder/Decoder-Netzwerk, das effizient Tiefen-Karten aus einzelnen Bildquellen schätzen kann.

Das FaceDepth-Modell in Aktion. Quelle: https://tinyurl.com/3ctcazma

Als Nächstes extrahiert die Pipeline für das neue Framework des italienischen Forscherteams einen 224×224-Pixel-Patch des Gesichts des Subjekts aus dem ursprünglichen RGB-Bild und der abgeleiteten Tiefen-Karte. Kritisch ist, dass dies den Prozess ermöglicht, Kerninhalte ohne Neugrößenanpassung zu übertragen; dies ist wichtig, da Größenanpassungsalgorithmen die Qualität der Zielbereiche negativ beeinflussen würden.

Mit dieser Information aus realen und tiefgefälschten Quellen trainierten die Forscher dann ein konvolutionales neuronales Netzwerk (CNN), das in der Lage ist, reale von gefälschten Instanzen zu unterscheiden, basierend auf den Unterschieden in der wahrgenommenen Qualität der jeweiligen Tiefen-Karten.

Konzeptionelle Pipeline für DepthFake.

Das FaceDepth-Modell wird auf realistischen und synthetischen Daten mit einer Hybridfunktion trainiert, die eine größere Detailgenauigkeit an den äußeren Rändern des Gesichts bietet, was es für DepthFake gut geeignet macht. Es verwendet eine MobileNet-Instanz als Feature-Extractor und wurde mit 480×640-Eingabe-Bildern trainiert, die 240×320-Tiefen-Karten ausgaben. Jede Tiefen-Karte repräsentiert ein Viertel der vier Eingabekanäle, die im neuen Projekt verwendet werden.

Die Tiefen-Karte wird automatisch in das ursprüngliche RGB-Bild eingebettet, um die Art von RGBD-Bild zu liefern, das moderne Smartphone-Kameras ausgeben können.

Ausbildung

Das Modell wurde auf einem Xception-Netzwerk trainiert, das bereits auf ImageNet vortrainiert war, obwohl die Architektur einige Anpassungen benötigte, um die zusätzliche Tiefen-Information zu berücksichtigen, während die korrekte Initialisierung der Gewichte aufrechterhalten wurde.

Zusätzlich erforderte eine Diskrepanz in den Wertebereichen zwischen der Tiefen-Information und dem, was das Netzwerk erwartet, dass die Forscher die Werte auf 0-255 normalisierten.

Während der Ausbildung wurde nur Flipping und Rotation angewendet. In vielen Fällen würden verschiedene andere visuelle Störungen dem Modell präsentiert, um robuste Inferenz zu entwickeln, aber die Notwendigkeit, die begrenzten und sehr fragilen Rand-Tiefen-Karten-Informationen in den Quellbildern zu erhalten, zwang die Forscher, ein reduziertes Regime zu verwenden.

Das System wurde zusätzlich auf einfache 2-Kanal-Graustufen trainiert, um zu bestimmen, wie komplex die Quellbilder sein müssen, um ein funktionierendes Algorithmus zu erhalten.

Die Ausbildung fand über die TensorFlow-API auf einem NVIDIA GTX 1080 mit 8 GB VRAM statt, unter Verwendung des ADAMAX-Optimierers, für 25 Epochen, bei einer Batch-Größe von 32. Die Eingabeauflösung wurde während des Croppings auf 224×224 festgelegt, und Gesichtserkennung und -extraktion wurden mit der dlib-C++-Bibliothek durchgeführt.

Ergebnisse

Die Genauigkeit der Ergebnisse wurde gegen Deepfake, Face2Face, FaceSwap, Neural Texture und das vollständige Dataset mit RGB- und RGBD-Eingaben getestet, unter Verwendung des FaceForensic++-Frameworks.

Ergebnisse auf Genauigkeit über vier Deepfake-Methoden und gegen das gesamte ungeteilte Dataset. Die Ergebnisse sind zwischen der Analyse von Quell-RGB-Bildern und denselben Bildern mit einer eingebetteten abgeleiteten Tiefen-Karte geteilt. Die besten Ergebnisse sind in Bold, mit Prozentsatz-Zahlen darunter, die den Umfang zeigen, in dem die Tiefen-Karten-Information die Ergebnisse verbessert.

In allen Fällen verbessert der Tiefen-Kanal die Leistung des Modells über alle Konfigurationen. Xception erhält die besten Ergebnisse, mit dem agilen MobileNet dicht dahinter. Zu diesem Thema kommentieren die Autoren:

‘[Es] ist interessant zu beachten, dass MobileNet slightly inferior zu Xception und besser als das tiefere ResNet50 ist. Dies ist ein bemerkenswertes Ergebnis, wenn man das Ziel der Reduzierung der Inferenzzeiten für Echtzeit-Anwendungen berücksichtigt. Obwohl dies nicht die Hauptbeitrag dieser Arbeit ist, betrachten wir es dennoch als ermutigendes Ergebnis für zukünftige Entwicklungen.’

Die Forscher stellen auch einen konsistenten Vorteil von RGBD- und 2-Kanal-Graustufen-Eingabe gegenüber RGB- und einfachen Graustufen-Eingabe fest, indem sie beobachten, dass die Graustufen-Konversionen der Tiefen-Schätzungen, die rechnerisch sehr billig sind, es dem Modell ermöglichen, verbesserte Ergebnisse mit sehr begrenzten lokalen Ressourcen zu erzielen, was die zukünftige Entwicklung von Echtzeit-Deepfake-Erkennung basierend auf Tiefen-Informationen erleichtert.

Erstveröffentlicht am 24. August 2022.