Deepfake-Detektoren gehen neue Wege: Latente Diffusionsmodelle und GANs

Meinung  

In letzter Zeit beschäftigt sich die Forschungsgemeinschaft zur Deepfake-Erkennung, die sich seit Ende 2017 fast ausschließlich mit dem beschäftigt Autoencoder-basiertes Framework, das zu dieser Zeit mit so viel öffentlichem Ehrfurcht uraufgeführt wurde (und Bestürzung), hat begonnen, sich forensisch für weniger stagnierende Architekturen zu interessieren, darunter latente Diffusion Modelle wie z DALL-E2 und Stable Diffusion sowie die Ausgabe von Generative Adversarial Networks (GANs). Zum Beispiel im Juni an der UC Berkeley veröffentlichte die Ergebnisse seiner Forschungen zur Entwicklung eines Detektors für die Ausgabe des damals vorherrschenden DALL-E 2.

Was dieses wachsende Interesse anscheinend vorantreibt, ist der plötzliche evolutionäre Sprung in der Leistungsfähigkeit und Verfügbarkeit latenter Diffusionsmodelle im Jahr 2022, mit geschlossenen Quellen und begrenztem Zugang Release von DALL-E 2 im Frühjahr, im Spätsommer folgte die sensationelle Open-Sourcing der stabilen Diffusion vonstabilität.ai.

GANs gab es auch lange studiert in diesem Zusammenhang, wenn auch weniger intensiv, da ja sehr schwierig sie für überzeugende und aufwändige videobasierte Nachbildungen von Menschen zu nutzen; Zumindest im Vergleich zu den inzwischen ehrwürdigen Autoencoder-Paketen wie Gesicht tauschen und DeepFaceLab – und dessen Cousin, der Live-Streaming-Dienst, DeepFaceLive.

Bewegtbilder

In beiden Fällen scheint der ausschlaggebende Faktor die Aussicht auf einen anschließenden Entwicklungssprint zu sein Video Synthese. Der Beginn des Oktobers – und die große Konferenzsaison 2022 – war geprägt von einer Lawine plötzlicher und unerwarteter Lösungen für verschiedene langjährige Probleme der Videosynthese: Kaum hatte Facebook freigegebene Proben Als Google Research seine eigene Text-to-Video-Plattform auf den Markt brachte, übertönte Google Research diesen anfänglichen Beifall schnell mit der Ankündigung seiner neuen Imagen-to-Video-T2V-Architektur mit Ausgabefunktion hochauflösendes Filmmaterial (allerdings nur über ein 7-schichtiges Netzwerk von Upscalern).

Wenn Sie glauben, dass so etwas in Dreiergruppen kommt, denken Sie auch an das rätselhafte Versprechen von stability.ai, dass „Video“ zu Stable Diffusion kommt, anscheinend noch in diesem Jahr, während Stable Diffusions Mitentwickler Runway machte ein ähnliches Versprechen, obwohl unklar ist, ob sie sich auf dasselbe System beziehen. Der Discord-Nachricht von Stability CEO Emad Mostaque versprach auch „Audio, Video [und] 3D“.

Was mit einem unerwarteten Angebot an mehreren neuen Frameworks zur Audioerzeugung (einige basieren auf latenter Diffusion) und ein neues Diffusionsmodell, das generieren kann authentische Charakterbewegung, die Idee, dass „statische“ Frameworks wie GANs und Diffusoren endlich ihren Platz als unterstützende Zusätze auf externe Animations-Frameworks gewinnt zunehmend an Bedeutung.

Kurz gesagt, es scheint wahrscheinlich, dass die gelähmte Welt der Autoencoder-basierten Video-Deepfakes das nur effektiv ersetzen kann zentraler Teil eines Gesichts, könnte im nächsten Jahr um diese Zeit von einer neuen Generation diffusionsbasierter Deepfake-fähiger Technologien in den Schatten gestellt werden – beliebte Open-Source-Ansätze mit dem Potenzial, nicht nur ganze Körper, sondern ganze Szenen fotorealistisch zu fälschen.

Aus diesem Grund beginnt die Anti-Deepfake-Forschungsgemeinschaft möglicherweise, die Bildsynthese ernst zu nehmen und zu erkennen, dass sie möglicherweise mehr Zwecken dient als nur der Generierung gefälschte LinkedIn-Profilfotos; und dass, wenn alle ihre hartnäckigen latenten Räume eine zeitliche Bewegung bewirken können, dies der Fall ist fungiert als wirklich großartiger Textur-Renderer, das könnte tatsächlich mehr als genug sein.

Blade Runner

Die letzten beiden Arbeiten, die sich mit der latenten Diffusion bzw. der GAN-basierten Deepfake-Erkennung befassen, sind: DE-FAKE: Erkennung und Zuordnung gefälschter Bilder, die durch Text-zu-Bild-Diffusionsmodelle generiert werden, eine Zusammenarbeit zwischen dem CISPA Helmholtz-Zentrum für Informationssicherheit und Salesforce; Und BLADERUNNER: Schnelle Gegenmaßnahme für synthetische (KI-generierte) StyleGAN-Gesichter, von Adam Dorian Wong am Lincoln Laboratory des MIT.

Bevor die neue Methode erläutert wird, nimmt sich das letztgenannte Dokument etwas Zeit, um frühere Ansätze zur Bestimmung zu untersuchen, ob ein Bild von einem GAN generiert wurde oder nicht (das Dokument befasst sich speziell mit der StyleGAN-Familie von NVIDIA).

Die „Brady Bunch“-Methode – vielleicht eine bedeutungsloser Hinweis für alle, die in den 1970er Jahren kein Fernsehen geschaut oder die Verfilmungen der 1990er Jahre verpasst haben – identifiziert GAN-gefälschte Inhalte anhand der festen Positionen, die bestimmte Teile eines GAN-Gesichts aufgrund der mechanischen und schablonenhaften Natur des „Produktionsprozesses“ mit Sicherheit einnehmen.

Die „Brady Bunch“-Methode, die 2022 in einem Webcast des SANS-Instituts vorgestellt wurde: Ein GAN-basierter Gesichtsgenerator führt eine unwahrscheinlich gleichmäßige Platzierung bestimmter Gesichtsmerkmale durch, wodurch in bestimmten Fällen der Ursprung des Fotos verfälscht wird. Quelle: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

Ein weiterer nützlicher bekannter Hinweis ist die häufige Unfähigkeit von StyleGAN, mehrere Gesichter zu rendern (erstes Bild unten), falls erforderlich, sowie sein mangelndes Talent für die Koordination von Accessoires (mittleres Bild unten) und die Tendenz, einen Haaransatz als Anfang eines improvisierten Hutes zu verwenden (drittes Bild unten).

Die dritte Methode, auf die der Forscher aufmerksam macht, ist Fotoüberlagerung (Ein Beispiel dafür finden Sie in Unser August-Artikel zur KI-gestützten Diagnose von psychischen Störungen), bei der mithilfe von Bildkompositionssoftware wie der CombineZ-Reihe mehrere Bilder zu einem einzigen Bild zusammengefügt werden, wodurch häufig zugrunde liegende Gemeinsamkeiten in der Struktur sichtbar werden – ein potenzieller Hinweis auf eine Synthese.

Die im neuen Papier vorgeschlagene Architektur trägt den Titel (möglicherweise im Widerspruch zu allen SEO-Ratschlägen): Blade Runner, unter Bezugnahme auf die Voight-Kampff-Test das bestimmt, ob die Antagonisten im Science-Fiction-Franchise „unecht“ sind oder nicht.

Die Pipeline besteht aus zwei Phasen, von denen die erste der PapersPlease-Analysator ist, der Daten auswerten kann, die von bekannten GAN-Face-Websites wie thispersondoesnotexist.com oder generic.photos stammen.

Obwohl eine abgespeckte Version des Codes bei GitHub eingesehen werden kann (siehe unten), werden nur wenige Details zu diesem Modul bereitgestellt, außer dass OpenCV und DLIB werden verwendet, um Gesichter im gesammelten Material zu skizzieren und zu erkennen.

Das zweite Modul ist das Unter uns Detektor. Das System ist darauf ausgelegt, nach koordinierter Augenplatzierung in Fotos zu suchen, einem beständigen Merkmal der Gesichtsausgabe von StyleGAN, das im oben beschriebenen „Brady Bunch“-Szenario typisch ist. AmongUs wird von einem Standard-68-Landmark-Detektor angetrieben.

Anmerkungen zu Gesichtspunkten über die Intelligent Behavior Understanding Group (IBUG), deren Plotcode für Gesichtsmarkierungen im Blade Runner-Paket verwendet wird.

AmongUs basiert auf vortrainierten Orientierungspunkten, die auf den bekannten „Brady-Bunnel“-Koordinaten von PapersPlease basieren, und ist für die Verwendung mit Live-Beispielen von StyleGAN-basierten Gesichtsbildern im Web vorgesehen.

Blade Runner, so der Autor, sei eine Plug-and-Play-Lösung für Unternehmen oder Organisationen, denen die Ressourcen für die Entwicklung interner Lösungen für die hier behandelte Art der Deepfake-Erkennung fehlen, und eine „Überbrückungsmaßnahme, um Zeit für dauerhaftere Gegenmaßnahmen zu gewinnen“.

Tatsächlich gibt es in einem so volatilen und schnell wachsenden Sicherheitssektor nicht viele maßgeschneiderte Lösungen or Standardlösungen von Cloud-Anbietern, auf die ein Unternehmen mit geringen Ressourcen derzeit vertrauensvoll zurückgreifen kann.

Allerdings schneidet Blade Runner dagegen schlecht ab mit Brille StyleGAN-gefälschte Leute, dies ist ein relativ häufiges Problem bei ähnlichen Systemen, die erwarten, dass sie Augenabgrenzungen als zentrale Bezugspunkte auswerten können, die in solchen Fällen verdeckt werden.

Eine reduzierte Version von Blade Runner wurde veröffentlicht freigegeben als Open Source auf GitHub. Es gibt eine proprietäre Version mit mehr Funktionen, die mehrere Fotos verarbeiten kann, anstatt nur ein einzelnes Foto pro Vorgang des Open-Source-Repositorys. Der Autor beabsichtige, die GitHub-Version irgendwann auf den gleichen Standard zu aktualisieren, wenn es die Zeit erlaube. Er räumt auch ein, dass sich StyleGAN wahrscheinlich über seine bekannten oder aktuellen Schwächen hinaus weiterentwickeln wird und dass die Software ebenfalls parallel weiterentwickelt werden muss.

DE-FAKE

Die DE-FAKE-Architektur zielt nicht nur darauf ab, eine „universelle Erkennung“ für Bilder zu erreichen, die durch Text-zu-Bild-Diffusionsmodelle erzeugt werden, sondern auch eine Methode bereitzustellen, um zu erkennen welche Das Modell der latenten Diffusion (LD) erzeugte das Bild.

Das universelle Erkennungs-Framework in DE-FAKE befasst sich mit lokalen Bildern, einem Hybrid-Framework (grün) und Open-World-Bildern (blau). Quelle: http://export.arxiv.org/pdf/2210.06998

Um ehrlich zu sein, ist dies im Moment eine recht einfache Aufgabe, da alle gängigen LD-Modelle – ob Closed oder Open Source – bemerkenswerte Unterscheidungsmerkmale aufweisen.

Darüber hinaus haben die meisten einige gemeinsame Schwächen, wie z. B. die Neigung, Köpfe abzuschlagen willkürliche Weise dass nicht-quadratische Web-Scraped-Bilder in die riesigen Datensätze aufgenommen werden, die Systeme wie DALL-E 2, Stable Diffusion und MidJourney antreiben:

Latent-Diffusion-Modelle benötigen wie alle Computer-Vision-Modelle quadratische Eingaben. Das aggregierte Web-Scraping, das dem LAION5B-Datensatz zugrunde liegt, bietet jedoch keine „Luxus-Extras“ wie die Fähigkeit, Gesichter (oder andere Objekte) zu erkennen und zu fokussieren, und schneidet Bilder drastisch ab, anstatt sie aufzufüllen (wodurch das gesamte Quellbild erhalten bliebe, allerdings in geringerer Auflösung). Nach dem Training normalisieren sich diese „Ausschnitte“ und treten sehr häufig in der Ausgabe von Latent-Diffusion-Systemen wie Stable Diffusion auf. Quellen: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac und Stable Diffusion.

DE-FAKE soll algorithmenunabhängig sein, ein seit langem gehegtes Ziel der Autoencoder-Anti-Deepfake-Forscher und derzeit im Hinblick auf LD-Systeme durchaus erreichbar.

Die Architektur verwendet OpenAIs Contrastive Language-Image Pretraining (CLIP) multimodale Bibliothek – ein wesentliches Element der stabilen Diffusion und schnell zum Herzstück der neuen Welle von Bild-/Videosynthesesystemen – als Möglichkeit, Einbettungen aus „gefälschten“ LD-Bildern zu extrahieren und einen Klassifikator anhand der beobachteten Muster und Klassen zu trainieren.

In einem eher „Black Box“-Szenario, in dem die PNG-Chunks, die Informationen über den Generierungsprozess enthalten, schon lange durch Upload-Prozesse und aus anderen Gründen entfernt wurden, verwenden die Forscher die Salesforce BLIP-Framework (auch eine Komponente in mindestens ein Verteilung der stabilen Diffusion), um die Bilder „blind“ auf die wahrscheinliche semantische Struktur der Eingabeaufforderungen abzufragen, die sie erstellt haben.

Die Forscher verwendeten Stable Diffusion, Latent Diffusion (selbst ein diskretes Produkt), GLIDE und DALL-E 2, um einen Trainings- und Testdatensatz unter Nutzung von MSCOCO und Flickr30k zu füllen.

Normalerweise würden wir uns die Ergebnisse der Experimente der Forscher für ein neues Framework recht ausführlich ansehen. Tatsächlich scheinen die Erkenntnisse von DE-FAKE jedoch eher als zukünftiger Maßstab für spätere Iterationen und ähnliche Projekte nützlich zu sein als als aussagekräftiges Maß für den Projekterfolg, wenn man das volatile Umfeld bedenkt, in dem das Projekt agiert, und wenn man bedenkt, dass das System, mit dem es in den Versuchen des Artikels konkurriert, fast drei Jahre alt ist – aus der Zeit, als die Bildsynthese-Szene noch richtig in den Kinderschuhen steckte.

Ganz links: Das „herausgeforderte“ vorherige Framework aus dem Jahr 2019 schnitt bei den vier getesteten LD-Systemen erwartungsgemäß schlechter ab als DE-FAKE (ganz rechts): die beiden Bilder.

Die Ergebnisse des Teams sind aus zwei Gründen überwältigend positiv: Es gibt kaum frühere Arbeiten, mit denen man sie vergleichen könnte (und überhaupt keine, die einen fairen Vergleich ermöglichen, d. h. die die bloßen zwölf Wochen abdecken, seit Stable Diffusion als Open Source veröffentlicht wurde).

Zweitens: Obwohl sich der Bereich der LD-Bildsynthese exponentiell entwickelt, markiert sich der Ausgabeinhalt der aktuellen Angebote, wie oben erwähnt, durch seine eigenen strukturellen (und sehr vorhersehbaren) Mängel und Exzentrizitäten – von denen viele wahrscheinlich behoben werden – selbst ein Wasserzeichen. im Fall von Stable Diffusion zumindest durch die Veröffentlichung des leistungsstärkeren 1.5-Checkpoints (dh des trainierten 4-GB-Modells, das das System antreibt).

Gleichzeitig hat Stability bereits angedeutet, dass es eine klare Roadmap für V2 und V3 des Systems hat. Angesichts der schlagzeilenträchtigen Ereignisse der letzten drei Monate ist die unternehmerische Erstarrung von OpenAI und anderen konkurrierenden Akteuren im Bereich der Bildsynthese wahrscheinlich verflogen, sodass wir auch im Bereich der Bildsynthese mit einem ähnlich zügigen Fortschrittstempo rechnen können Closed-Source-Bildsyntheseraum.

Erstveröffentlichung am 14. Oktober 2022.