Artificial Intelligence
Identifizieren von Deepfake-Datenquellen mit KI-basiertem Tagging
Eine Zusammenarbeit zwischen Forschern in China, Singapur und den USA hat ein robustes System zum „Taggen“ von Gesichtsfotos entwickelt, das so zuverlässig ist, dass die identifizierenden Markierungen während eines Tests nicht zerstört werden Deepfake Schulungsprozess, der den Weg für IP-Ansprüche ebnet, die die Fähigkeit synthetischer Bilderzeugungssysteme beeinträchtigen könnten, unrechtmäßig abgekratzte Quelldaten zu „anonymisieren“.
Das System mit dem Titel FakeTagger, nutzt einen Encoder-/Decoder-Prozess, um visuell nicht erkennbare ID-Informationen auf einem ausreichend niedrigen Niveau in Bilder einzubetten, sodass die eingefügten Informationen als wesentliche Gesichtsmerkmalsdaten interpretiert und daher weitergeleitet werden Abstraktion Prozesse intakt, beispielsweise auf die gleiche Weise wie Augen- oder Munddaten.
Ein Überblick über die FakeTagger-Architektur. Quelldaten werden verwendet, um ein „redundantes“ Gesichtsmerkmal zu generieren, wobei Hintergrundelemente ignoriert werden, die durch einen typischen Deepfake-Workflow ausgeblendet werden. Die Nachricht kann am anderen Ende des Prozesses wiederhergestellt und durch einen entsprechenden Erkennungsalgorithmus identifiziert werden. Quelle: http://xujuefei.com/felix_acmmm21_faketagger.pdf
Die Forschung stammt von der School of Cyber Science and Engineering in Wuhan, dem Key Laboratory of Aerospace Information Security and Trusted Computing im chinesischen Bildungsministerium, der Alibaba Group in den USA, der Northeastern University in Boston und der Nanyang Technological University in Singapur.
Experimentelle Ergebnisse mit FakeTagger deuten auf eine Wiedererkennungsrate von bis zu fast 95 % bei vier gängigen Arten von Deepfake-Methoden hin: Identitätsaustausch (d. h DeepFaceLab, Gesicht tauschen); Gesichtsnachstellung; Attributbearbeitung; und Totalsynthese.
Mängel der Deepfake-Erkennung
Obwohl die letzten drei Jahre eine gebracht haben Ernte Bei den neuen Ansätzen für Deepfake-Identifizierungsmethoden sind alle diese Ansätze auf behebbare Mängel von Deepfake-Arbeitsabläufen ausgerichtet, wie z Augenglanz in untertrainierten Modellen und Mangel an Blinzeln in früheren Deepfakes mit unzureichend unterschiedlichen Gesichtszügen. Da neue Schlüssel identifiziert wurden, haben die kostenlosen und Open-Source-Software-Repositories diese entweder absichtlich oder als Nebenprodukt der Verbesserungen bei Deepfake-Techniken vermieden.
Das neue Papier stellt fest, dass die effektivste Post-facto-Erkennungsmethode, die aus dem jüngsten Deepfake-Erkennungswettbewerb (DFDC) von Facebook hervorgegangen ist, hinsichtlich der Erkennung von Deepfakes in freier Wildbahn auf eine Genauigkeit von 70 % begrenzt ist. Die Forscher führen dieses repräsentative Versagen auf eine schlechte Verallgemeinerung gegenüber neuen und zurück innovativ GAN- und Encoder/Decoder-Deepfake-Systeme sowie die oft verschlechterte Qualität von Deepfake-Ersetzungen.
Im letzteren Fall kann dies durch minderwertige Arbeit seitens der Deepfaker oder Komprimierungsartefakte beim Hochladen von Videos auf Sharing-Plattformen verursacht werden, die darauf abzielen, die Bandbreitenkosten zu begrenzen und Videos mit drastisch niedrigeren Bitraten als die Einsendungen neu zu kodieren . Ironischerweise führt diese Imageverschlechterung nicht nur dazu nicht Sie beeinträchtigen die scheinbare Authentizität eines Deepfakes, können die Illusion jedoch tatsächlich verstärken, da das Deepfake-Video in eine gängige, minderwertige Bildsprache eingebettet ist, die als authentisch wahrgenommen wird.
Survivable Tagging als Hilfsmittel zur Modellinversion
Die Identifizierung von Quelldaten aus Ergebnissen maschinellen Lernens ist ein relativ neues und wachsendes Feld und ermöglicht eine neue Ära der IP-basierten Rechtsstreitigkeiten, wie sie derzeit von Regierungen geführt wird freizügig Screen-Scraping-Vorschriften (die nicht dazu gedacht sind, die Vormachtstellung der nationalen Forschung angesichts eines globalen KI-Wettrüstens zu untergraben) entwickeln sich mit zunehmender Kommerzialisierung des Sektors zu strengeren Gesetzen.
Modellumkehrung befasst sich mit der Zuordnung und Identifizierung von Quelldaten aus der Ausgabe, die von Synthesesystemen in einer Reihe von Bereichen generiert wird, einschließlich der Erzeugung natürlicher Sprache (NLG) und der Bildsynthese. Die Modellinversion ist besonders effektiv bei der Neuidentifizierung von Gesichtern, die entweder unscharf oder verpixelt waren oder den Abstraktionsprozess eines Generative Adversarial Network oder eines Encoder-/Decoder-Transformationssystems wie DeepFaceLab durchlaufen haben.
Das Hinzufügen gezielter Markierungen zu neuen oder vorhandenen Gesichtsbildern ist eine potenzielle neue Hilfe zur Modellierung von Inversionstechniken Watermarking ein aufstrebendes Feld.
Post-Facto-Tagging
FakeTagger ist als Nachbearbeitungsansatz gedacht. Wenn ein Benutzer beispielsweise ein Foto in ein soziales Netzwerk hochlädt (was normalerweise eine Art Optimierungsprozess und selten eine direkte und unverfälschte Übertragung des Originalbilds erfordert), verarbeitet der Algorithmus das Bild, um dem Gesicht vermeintlich unauslöschliche Eigenschaften zu verleihen .
Alternativ könnte der Algorithmus auf historische Bildsammlungen angewendet werden, wie es in den letzten zwanzig Jahren mehrfach geschehen ist, nachdem große Websites für Stockfotos und kommerzielle Bildsammlungen danach gesucht haben Methoden um Inhalte zu identifizieren, die ohne Genehmigung wiederverwendet wurden.
FakeTagger versucht, wiederherstellbare ID-Merkmale aus verschiedenen Deepfake-Prozessen einzubetten.
Entwicklung und Test
Die Forscher testeten FakeTagger anhand einer Reihe von Deepfake-Softwareanwendungen in den oben genannten vier Ansätzen, darunter das am weitesten verbreitete Repository DeepFaceLab; Stanfords Face2Face, das Gesichtsausdrücke über Bilder und Identitäten hinweg übertragen kann; Und STGAN, mit dem Gesichtsattribute bearbeitet werden können.
Das Testen wurde mit durchgeführt CelebA-HQ, ein beliebtes öffentliches Scraping-Repository mit 30,000 Gesichtsbildern von Prominenten in verschiedenen Auflösungen bis zu 1024 x 1024 Pixel.
Als Basis testeten die Forscher zunächst herkömmliche Bildwasserzeichentechniken, um zu sehen, ob die auferlegten Tags die Trainingsprozesse von Deepfake-Workflows überstehen würden, aber die Methoden scheiterten bei allen vier Ansätzen.
Die eingebetteten Daten von FakeTagger wurden in der Encoder-Phase mithilfe einer darauf basierenden Architektur in die Gesichtsbilder eingefügt U-Netz Faltungsnetzwerk für biomedizinische Bildsegmentierung, veröffentlicht im Jahr 2015. Anschließend wird der Decoder-Abschnitt des Frameworks trainiert, die eingebetteten Informationen zu finden.
Der Prozess wurde in einem GAN-Simulator getestet, der die oben genannten FOSS-Anwendungen/-Algorithmen nutzte, in einer Black-Box-Umgebung ohne diskreten oder speziellen Zugriff auf die Arbeitsabläufe jedes Systems. Den Promi-Bildern wurden zufällige Signale beigefügt und als zugehörige Daten zu jedem Bild protokolliert.
In einer Black-Box-Umgebung konnte FakeTagger über die Ansätze der vier Anwendungen eine Genauigkeit von über 88.95 % erreichen. In einem parallelen White-Box-Szenario stieg die Genauigkeit auf nahezu 100 %. Da dies jedoch auf zukünftige Iterationen von Deepfake-Software schließen lässt, die FakeTagger direkt einbinden, ist dies in naher Zukunft ein unwahrscheinliches Szenario.
Kosten zählen
Die Forscher weisen darauf hin, dass das anspruchsvollste Szenario für FakeTagger die vollständige Bildsynthese ist, beispielsweise die CLIP-basierte Zusammenfassungsgenerierung, da die eingegebenen Trainingsdaten in einem solchen Fall den tiefsten Abstraktionsebenen unterliegen. Dies gilt jedoch nicht für die Deepfake-Arbeitsabläufe, die in den letzten Jahren die Schlagzeilen beherrschten, da diese auf der originalgetreuen Reproduktion identitätsdefinierender Gesichtsmerkmale basieren.
Das Papier stellt außerdem fest, dass gegnerische Angreifer möglicherweise versuchen könnten, Störungen wie künstliches Rauschen und Körnung hinzuzufügen, um ein solches Tagging-System zu vereiteln, obwohl dies wahrscheinlich einen nachteiligen Einfluss auf die Authentizität der Deepfake-Ausgabe hätte.
Darüber hinaus stellen sie fest, dass FakeTagger den Bildern redundante Daten hinzufügen muss, um das Überleben der eingebetteten Tags sicherzustellen, und dass dies bei großem Maßstab einen erheblichen Rechenaufwand verursachen könnte.
Die Autoren kommen zu dem Schluss, dass FakeTagger Potenzial für die Herkunftsverfolgung in anderen Domänen haben könnte, z gegnerische Regenangriffe und andere Arten von bildbasierten Angriffen, wie z kontroverse Exposition, Dunst, verwischen, Vignettierung und Farbflimmern.
