Identifizierung von Deepfake-Datenquellen mit AI-basiertem Tagging

Eine Zusammenarbeit zwischen Forschern in China, Singapur und den USA hat ein robustes System für das “Taggen” von Gesichtsfotos entwickelt, das so widerstandsfähig ist, dass die Identifikationsmerkmale während eines Deepfake-Trainingsprozesses nicht zerstört werden, was den Weg für IP-Ansprüche ebnet, die die Fähigkeit von synthetischen Bildgenerierungssystemen, illegitim gesammelte Quelldaten zu “anonymisieren”, beeinträchtigen könnten.

Das System, das FakeTagger genannt wird, verwendet einen Encoder/Decoder-Prozess, um visuell nicht unterscheidbare ID-Informationen in Bilder auf einer niedrigen Ebene zu integrieren, sodass die injizierten Informationen als wesentliche Gesichtsmerkmale interpretiert werden und daher während Abstraktions-Prozessen intakt bleiben, ähnlich wie beispielsweise Augen- oder Mund-Daten.

Überblick über die FakeTagger-Architektur. Quelldaten werden verwendet, um ein ‘redundantes’ Gesichtsmerkmal zu generieren, wobei Hintergrundelemente ignoriert werden, die durch einen typischen Deepfake-Workflow maskiert werden. Die Nachricht ist am anderen Ende des Prozesses wiederherstellbar und kann durch einen geeigneten Erkennungsalgorithmus identifiziert werden. Quelle: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Die Forschung stammt von der School of Cyber Science and Engineering in Wuhan, dem Key Laboratory of Aerospace Information Security and Trusted Computing des chinesischen Bildungsministeriums, der Alibaba Group in den USA, der Northeastern University in Boston und der Nanyang Technological University in Singapur.

Experimentelle Ergebnisse mit FakeTagger zeigen eine Wiedererkennungsrate von bis zu fast 95% bei vier gängigen Arten von Deepfake-Methoden: Identitätsaustausch (z. B. DeepFaceLab, FaceSwap); Gesichtsreenactment; Attributediting; und totale Synthese.

Shortcomings of Deepfake Detection

Obwohl die letzten drei Jahre eine Ernte neuer Ansätze für Deepfake-Identifizierungsmethoden gebracht haben, basieren alle diese Ansätze auf behebbaren Schwächen von Deepfake-Workflows, wie z. B. Eye-Glint in unzureichend trainierten Modellen und Mangel an Blinken in früheren Deepfakes mit unzureichend diversen Gesichtssätzen. Wenn neue Schlüssel identifiziert werden, haben die kostenlosen und offenen Software-Repositorys sie beseitigt, entweder absichtlich oder als Nebenprodukt von Verbesserungen in Deepfake-Techniken.

Das neue Papier bemerkt, dass die effektivste post-facto-Erkennungsmethode, die aus dem jüngsten Deepfake-Erkennungswettbewerb von Facebook (DFDC) stammt, auf 70% Genauigkeit begrenzt ist, wenn es darum geht, Deepfakes in der Wildnis zu erkennen. Die Forscher führen diese repräsentative Fehlleistung auf eine schlechte Verallgemeinerung gegen neue und innovative GAN- und Encoder/Decoder-Deepfake-Systeme sowie auf die oft schlechte Qualität von Deepfake-Ersatzbildern zurück.

In letzterem Fall kann dies durch schlechte Arbeit von Deepfakes oder Komprimierungsartefakte verursacht werden, wenn Videos auf Sharing-Plattformen hochgeladen werden, die versuchen, die Bandbreitenkosten zu begrenzen, und Videos bei deutlich niedrigeren Bitraten neu kodieren als die Einreichungen. Ironischerweise behindert diese Bildverschlechterung nicht die offensichtliche Authentizität eines Deepfakes, sondern kann tatsächlich die Illusion verstärken, da das Deepfake-Video in einen gemeinsamen, niedrigen visuellen Stil einbezogen wird, der als authentisch wahrgenommen wird.

Überlebensfähiges Tagging als Hilfe für Model-Inversion

Die Identifizierung von Quelldaten aus maschinellen Lernalgorithmen ist ein relativ neues und wachsendes Feld, das eine neue Ära von IP-basierten Rechtsstreitigkeiten ermöglicht, da die aktuellen permissiven Bildschirm-Scrapping-Regulierungen (die nicht darauf abzielen, die nationale Forschungshervorragendheit im Angesicht eines globalen AI-“Wettlaufs” zu behindern) in strengere Gesetzgebung umgewandelt werden, wenn der Sektor kommerzialisiert wird.

Model-Inversion beschäftigt sich mit der Zuordnung und Identifizierung von Quelldaten aus der Ausgabe, die von Synthese-Systemen in verschiedenen Bereichen wie Natural Language Generation (NLG) und Bildsynthese erzeugt wird. Model-Inversion ist besonders effektiv bei der Wiedererkennung von Gesichtern, die entweder verwischt, pixeliert oder durch den Abstraktionsprozess eines Generativen Adversarial Network oder Encoder/Decoder-Transformationsystems wie DeepFaceLab verarbeitet wurden.

Das Hinzufügen gezielter Tags zu neuen oder bestehenden Gesichtsbildern ist ein potenzieller neuer Helfer für Model-Inversion-Techniken, mit Wasserzeichen als aufkommendes Feld.

Post-Facto-Tagging

FakeTagger ist als post-processing-Ansatz konzipiert. Wenn beispielsweise ein Benutzer ein Foto auf ein soziales Netzwerk hochlädt (was normalerweise einen Optimierungsprozess beinhaltet und selten eine direkte und unverfälschte Übertragung des Originalbildes), würde der Algorithmus das Bild verarbeiten, um angeblich unverwüstliche Merkmale auf das Gesicht anzuwenden.

Alternativ könnte der Algorithmus auf historische Bildsammlungen angewendet werden, wie dies in den letzten zwanzig Jahren mehrmals der Fall war, als große Stock-Foto- und kommerzielle Bildsammlungs-Websites nach Methoden suchten, um Inhalte zu identifizieren, die ohne Erlaubnis wiederverwendet wurden.

FakeTagger versucht, wiederherstellbare ID-Merkmale aus verschiedenen Deepfake-Prozessen zu integrieren.

Entwicklung und Testing

Die Forscher testeten FakeTagger gegen mehrere Deepfake-Software-Anwendungen über die vier oben genannten Ansätze, einschließlich des am weitesten verbreiteten Repositorys, DeepFaceLab; Stanfords Face2Face, das Gesichtsausdrücke über Bilder und Identitäten übertragen kann; und STGAN, das Gesichtsattribute bearbeiten kann.

Die Tests wurden mit CelebA-HQ durchgeführt, einem beliebten öffentlichen Repository, das 30.000 Gesichtsbilder von Prominenten in verschiedenen Auflösungen bis zu 1024 x 1024 Pixeln enthält.

Als Basislinie testeten die Forscher zunächst herkömmliche Bild-Wasserzeichentechniken, um zu sehen, ob die aufgetragenen Tags den Trainingsprozessen von Deepfake-Workflows standhalten würden, aber die Methoden versagten bei allen vier Ansätzen.

Die in FakeTagger integrierten Daten wurden auf der Encoder-Stufe in die Gesichtsbilder mithilfe einer Architektur auf der Grundlage des U-Net-Konvolutionsnetzwerks für die biomedizinische Bildsegmentierung aus dem Jahr 2015 injiziert. Anschließend wird der Decoder-Teil des Frameworks trainiert, um die integrierten Informationen zu finden.

Der Prozess wurde in einem GAN-Simulator getestet, der die oben genannten FOSS-Anwendungen/Algorithmen nutzte, in einer Black-Box-Umgebung mit keinem diskreten oder speziellen Zugriff auf die Workflows der Systeme. Zufällige Signale wurden den Prominentenbildern zugeordnet und als zugehörige Daten zu jedem Bild protokolliert.

In einer Black-Box-Umgebung konnte FakeTagger eine Genauigkeit von über 88,95% bei den vier Anwendungsansätzen erreichen. In einer parallelen White-Box-Szenario stieg die Genauigkeit auf fast 100% an. Allerdings deutet dies auf zukünftige Iterationen von Deepfake-Software hin, die FakeTagger direkt integriert, was in naher Zukunft unwahrscheinlich ist.

Kosten zählen

Die Forscher bemerken, dass die herausforderndste Situation für FakeTagger die komplette Bildsynthese ist, wie z. B. CLIP-basierte abstrakte Generierung, da die Eingabetrainingsdaten in solchen Fällen den tiefsten Abstraktionsgraden unterliegen. Dies gilt jedoch nicht für die Deepfake-Workflows, die in den letzten Jahren Schlagzeilen gemacht haben, da diese von der treuen Reproduktion von ID-definierenden Gesichtsmerkmalen abhängen.

Das Papier bemerkt auch, dass adversarische Angreifer versuchen könnten, Störungen wie künstliches Rauschen und Körnigkeit hinzuzufügen, um ein solches Tagging-System zu behindern, obwohl dies wahrscheinlich einen nachteiligen Effekt auf die Authentizität von Deepfake-Ausgaben hätte.

Darüber hinaus bemerken sie, dass FakeTagger redundanten Daten zu Bildern hinzufügen muss, um das Überleben der Tags zu gewährleisten, was einen bemerkenswerten Rechenaufwand im großen Maßstab haben könnte.

Die Autoren schließen mit der Bemerkung, dass FakeTagger möglicherweise ein Potenzial für die Nachverfolgung von Herkunft in anderen Bereichen wie adversarialen Regenangriffen und anderen Arten von bildbasierten Angriffen wie adversarialer Belichtung, Nebel, Unschärfe, Vignettierung und Farb-Jitter hat.