Kleinere Deepfakes können die größere Bedrohung sein

Conversational-AI-Tools wie ChatGPT und Google Gemini werden jetzt verwendet, um Deepfakes zu erstellen, die keine Gesichter austauschen, sondern auf subtile Weise die ganze Geschichte innerhalb eines Bildes umschreiben. Durch Änderungen von Gesten, Requisiten und Hintergründen täuschen diese Bearbeitungen sowohl AI-Detektoren als auch Menschen, was die Risiken für das Erkennen dessen, was online real ist, erhöht.

In der aktuellen Situation, insbesondere im Gefolge von bedeutenden Gesetzen wie dem TAKE IT DOWN-Gesetz, assoziieren viele von uns Deepfakes und AI-gesteuerte Identitätssynthese mit nicht einvernehmlicher AI-Pornografie und politischer Manipulation – im Allgemeinen groben Verzerrungen der Wahrheit.

Dies führt uns dazu, zu erwarten, dass AI-manipulierte Bilder immer auf hochkarätige Inhalte abzielen, wo die Qualität der Darstellung und die Manipulation des Kontexts möglicherweise in der Lage sind, einen Glaubwürdigkeitscoup zu erreichen, zumindest auf kurze Sicht.

Historisch gesehen hatten jedoch viel subtilere Veränderungen oft eine noch schädlichere und anhaltendere Wirkung – wie die staatlich geförderte fotografische Trickkiste, die es Stalin ermöglichte, diejenigen zu entfernen, die in Ungnade gefallen waren, aus dem fotografischen Archiv, wie in dem Roman von George Orwell Nineteen Eighty-Four satirisch dargestellt, in dem der Protagonist Winston Smith seine Tage damit verbringt, die Geschichte umzuschreiben und Fotos erstellen, zerstören und “bearbeiten” zu lassen.

In dem folgenden Beispiel ist das Problem mit dem zweiten Bild, dass wir “nicht wissen, was wir nicht wissen” – dass der ehemalige Chef von Stalins Geheimpolizei, Nikolai Jeschow, einst den Raum besetzte, wo jetzt nur noch eine Sicherheitsbarriere ist:

Jetzt siehst du ihn, jetzt ist er… verschwunden. Stalins fotografische Manipulation entfernt ein entehrtes Parteimitglied aus der Geschichte. Quelle: Public Domain, via https://www.rferl.org/a/soviet-airbrushing-the-censors-who-scratched-out-history/29361426.html

Strömungen dieser Art, die oft wiederholt werden, bestehen in vielerlei Hinsicht fort; nicht nur kulturell, sondern auch in der Computer-Vision selbst, die Trends aus statistisch dominanten Themen und Motiven in Trainingsdatensätzen ableitet. Um ein Beispiel zu geben, bedeutet die Tatsache, dass Smartphones die Einstiegshürde gesenkt und massiv die Kosten der Fotografie gesenkt haben, dass ihre Ikonografie unvermeidlich mit vielen abstrakten Konzepten assoziiert wird, auch wenn dies nicht angebracht ist.

Wenn herkömmliche Deepfakes als eine Art “Angriff” wahrgenommen werden können, sind perniziöse und anhaltende geringfügige Änderungen in audiovisuellen Medien eher mit “Gaslighting” vergleichbar. Darüber hinaus macht die Fähigkeit dieser Art von Deepfakes, unbemerkt zu bleiben, es schwierig, sie mit Hilfe von State-of-the-Art-Deepfake-Erkennungssystemen (die nach groben Änderungen suchen) zu identifizieren. Dieser Ansatz ist eher mit Wasser vergleichbar, das über einen längeren Zeitraum hinweg Felsen abträgt, als mit einem Stein, der auf einen Kopf geworfen wird.

MultiFakeVerse

Forscher aus Australien haben den Mangel an Aufmerksamkeit für “subtile” Deepfakes in der Literatur angegangen, indem sie einen umfangreichen neuen Datensatz von personenzentrierten Bildbearbeitungen kuratiert haben, die Kontext, Emotion und Erzählung ändern, ohne die Kernidentität des Subjekts zu ändern:

Beispiele aus der neuen Sammlung, reale/falsche Paare, mit einigen Änderungen, die subtiler sind als andere. Quelle: https://huggingface.co/datasets/parulgupta/MultiFakeVerse_preview

Der Titel MultiFakeVerse umfasst 845.826 Bilder, die über Vision-Language-Modelle (VLMs) generiert wurden, die online abgerufen und heruntergeladen werden können, mit Genehmigung.

Die Autoren erklären:

‘Dieser VLM-gesteuerte Ansatz ermöglicht semantische, kontextbewusste Änderungen wie die Modifizierung von Aktionen, Szenen und menschlichen Objektinteraktionen, anstatt synthetischer oder niedrigerstufiger Identitätsaustausch und regionspezifischer Bearbeitungen, die in bestehenden Datensätzen üblich sind.

‘Unsere Experimente zeigen, dass aktuelle State-of-the-Art-Deepfake-Erkennungsmodelle und menschliche Beobachter Schwierigkeiten haben, diese subtilen, aber bedeutungsvollen Manipulationen zu erkennen.’

Die Forscher testeten sowohl Menschen als auch führende Deepfake-Erkennungssysteme auf ihrem neuen Datensatz, um zu sehen, wie gut diese subtilen Manipulationen identifiziert werden könnten. Menschliche Teilnehmer hatten Schwierigkeiten, Bilder als echt oder falsch zu klassifizieren, und hatten noch größere Schwierigkeiten, zu bestimmen, welche Teile des Bildes geändert worden waren.

Bestehtende Deepfake-Detektoren, die hauptsächlich auf offensichtlichere Gesichtsaustausch- oder Inpainting-Datensätze trainiert wurden, funktionierten ebenfalls schlecht und konnten oft nicht erkennen, dass eine Manipulation vorgenommen worden war. Selbst nach Feinabstimmung auf MultiFakeVerse blieben die Erkennungsraten niedrig, was zeigt, wie schlecht aktuelle Systeme mit diesen subtilen, narrativ getriebenen Bearbeitungen umgehen.

Der neue Artikel trägt den Titel Multiverse Through Deepfakes: The MultiFakeVerse Dataset of Person-Centric Visual and Conceptual Manipulations und stammt von fünf Forschern aus der Monash University in Melbourne und der Curtin University in Perth. Code und verwandte Daten wurden auf GitHub veröffentlicht, zusätzlich zu den auf Hugging Face gehosteten Daten, die zuvor erwähnt wurden.

Methodik

Der MultiFakeVerse-Datensatz wurde aus vier realen Bildsätzen erstellt, die Menschen in verschiedenen Situationen zeigen: EMOTIC; PISC, PIPA und PIC 2.0. Ausgehend von 86.952 Originalbildern produzierten die Forscher 758.041 manipulierte Versionen.

Die Gemini-2.0-Flash– und ChatGPT-4o-Framework wurden verwendet, um sechs minimale Bearbeitungen für jedes Bild vorzuschlagen – Bearbeitungen, die darauf ausgelegt waren, die Wahrnehmung der prominentesten Person im Bild subtil zu ändern.

Die Modelle wurden angewiesen, Änderungen zu generieren, die die Person naiv, stolz, reumütig, unerfahren oder leichläufig erscheinen lassen würden, oder um ein tatsächliches Element in der Szene anzupassen. Neben jeder Bearbeitung produzierten die Modelle auch einen Bezugsausdruck, um den Zielort der Bearbeitung eindeutig zu identifizieren, sodass der nachfolgende Bearbeitungsprozess Änderungen an der richtigen Person oder dem richtigen Objekt in jedem Bild anwenden konnte.

Die Autoren erklären:

‘Hinweis, dass Bezugsausdruck ein weithin erforschtes Gebiet in der Gemeinschaft ist, das eine Phrase bezeichnet, die den Zielort in einem Bild eindeutig identifizieren kann, z. B. für ein Bild mit zwei Männern, die an einem Schreibtisch sitzen, von denen einer am Telefon spricht und der andere durch Dokumente blättert, wäre ein geeigneter Bezugsausdruck für den Letzteren der Mann auf der linken Seite, der ein Stück Papier hält.’

Sobald die Bearbeitungen definiert waren, wurde die tatsächliche Bildbearbeitung von Vision-Language-Modellen durchgeführt, die die spezifizierten Änderungen vornahmen, während der Rest der Szene intakt blieb. Die Forscher testeten drei Systeme für diese Aufgabe: GPT-Image-1; Gemini-2.0-Flash-Bildgenerierung; und ICEdit.

Nach der Generierung von 22.000 Beispielbildern erwies sich Gemini-2.0-Flash als das konsistenteste Verfahren, das Bearbeitungen produzierte, die sich nahtlos in die Szene einfügten, ohne sichtbare Artefakte einzuführen; ICEdit produzierte oft offensichtlichere Fälschungen mit bemerkbaren Fehlern in den geänderten Bereichen; und GPT-Image-1 beeinflusste gelegentlich unbeabsichtigte Teile des Bildes, teilweise aufgrund seiner Konformität mit festen Ausgabe-Aspekt-Verhältnissen.

Bildanalyse

Jedes manipulierte Bild wurde mit seinem Original verglichen, um zu bestimmen, wie viel des Bildes geändert worden war. Die pixelweisen Unterschiede zwischen den beiden Versionen wurden berechnet, wobei kleine zufällige Rauschstörungen gefiltert wurden, um sich auf bedeutungsvolle Bearbeitungen zu konzentrieren. In einigen Bildern wurden nur winzige Bereiche beeinflusst; in anderen wurden bis zu achtzig Prozent der Szene geändert.

Um zu bewerten, wie sehr die Bedeutung jedes Bildes im Lichte dieser Änderungen verschoben wurde, wurden Untertitel für die Original- und die manipulierten Bilder mit dem ShareGPT-4V-Vision-Language-Modell generiert.

Diese Untertitel wurden dann in Einbettungen mit Long-CLIP umgewandelt, was einen Vergleich ermöglichte, wie sehr der Inhalt zwischen den Versionen abgewichen war. Die stärksten semantischen Änderungen wurden in Fällen beobachtet, in denen Objekte in der Nähe von oder direkt mit der Person in Verbindung stehend geändert worden waren, da diese kleinen Anpassungen die Interpretation des Bildes erheblich ändern konnten.

Gemini-2.0-Flash wurde dann verwendet, um den Typ der Bearbeitung zu klassifizieren, der auf jedes Bild angewendet wurde, basierend auf der Art und Weise, wie die Bearbeitungen vorgenommen wurden. Bearbeitungen wurden in drei Kategorien unterteilt: Personenbezogene Bearbeitungen umfassten Änderungen an der Gesichtsausdruck, Pose, Blick, Kleidung oder anderen persönlichen Merkmalen des Subjekts; Objektbezogene Bearbeitungen betrafen Gegenstände, die mit der Person in Verbindung standen, wie Gegenstände, die sie in der Vordergrundszene hielten oder mit denen sie interagierten; und Szenenbezogene Bearbeitungen umfassten Hintergrundselemente oder weitere Aspekte der Szene, die die Person nicht direkt betrafen.

Die MultiFakeVerse-Datensatz-Generierungspipeline beginnt mit realen Bildern, bei denen Vision-Language-Modelle narrative Bearbeitungen vorschlagen, die auf Personen, Objekte oder Szenen abzielen. Quelle: https://arxiv.org/pdf/2506.00868

Da einzelne Bilder mehrere Bearbeitungstypen auf einmal enthalten konnten, wurde die Verteilung dieser Kategorien über den gesamten Datensatz kartiert. Etwa ein Drittel der Bearbeitungen zielten nur auf die Person ab, etwa ein Fünftel betraf nur die Szene und etwa ein Sechstel waren auf Objekte beschränkt.

Beurteilung der Wahrnehmungsbeeinflussung

Gemini-2.0-Flash wurde verwendet, um zu beurteilen, wie die Bearbeitungen die Wahrnehmung eines Betrachters in sechs Bereichen beeinflussen könnten: Emotion, personale Identität, Machtdynamik, Szenen-Narrativ, Manipulationsabsicht und ethische Bedenken.

Für Emotion wurden die Bearbeitungen oft mit Begriffen wie freudig, ansprechend oder zugänglich beschrieben, was auf Verschiebungen in der emotionalen Darstellung der Subjekte hindeutet. In narrativer Hinsicht deuteten Wörter wie professionell oder anders auf Änderungen in der implizierten Geschichte oder dem Setting hin:

Gemini-2.0-Flash wurde angewiesen, zu bewerten, wie jede Bearbeitung sechs Aspekte der Wahrnehmung eines Betrachters beeinflusste.

Beschreibungen von Identitätsverschiebungen umfassten Begriffe wie jünger, spielerisch und verletzlich, was zeigt, wie kleine Änderungen die Wahrnehmung von Individuen beeinflussen können. Die Absicht hinter vielen Bearbeitungen wurde als überzeugend, täuschend oder ästhetisch bezeichnet. Während die meisten Bearbeitungen als mild ethisch bedenklich eingestuft wurden, wurden einige als moderate oder schwerwiegende ethische Implikationen angesehen.

Beispiele aus MultiFakeVerse, die zeigen, wie kleine Bearbeitungen die Wahrnehmung eines Betrachters verschieben.

Metriken

Die visuelle Qualität der MultiFakeVerse-Sammlung wurde mit drei Standardmetriken bewertet: Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); und Fréchet Inception Distance (FID):

Bildqualitätsbewertungen für MultiFakeVerse, gemessen an PSNR, SSIM und FID.

Der SSIM-Wert von 0,5774 spiegelt eine moderate Ähnlichkeit wider, was mit dem Ziel übereinstimmt, den größten Teil des Bildes zu erhalten, während gezielte Bearbeitungen angewendet werden; der FID-Wert von 3,30 deutet darauf hin, dass die generierten Bilder hohe Qualität und Vielfalt aufweisen; und ein PSNR-Wert von 66,30 Dezibel zeigt, dass die Bilder nach der Bearbeitung eine gute visuelle Treue bewahren.

Nutzerstudie

Eine Nutzerstudie wurde durchgeführt, um zu sehen, wie gut Menschen die subtilen Fälschungen in MultiFakeVerse erkennen können. Achtzehn Teilnehmer wurden fünfzig Bilder gezeigt, die gleichmäßig zwischen realen und manipulierten Beispielen aufgeteilt waren und eine Vielzahl von Bearbeitungstypen abdeckten. Jeder Teilnehmer wurde aufgefordert, das Bild als echt oder falsch zu klassifizieren und, wenn es falsch war, die Art der angewendeten Bearbeitung zu identifizieren.

Die Gesamtgenauigkeit für die Entscheidung zwischen echt und falsch lag bei 61,67 Prozent, was bedeutet, dass die Teilnehmer die Bilder mehr als ein Drittel der Zeit falsch klassifizierten.

Die Autoren erklären:

‘Bei der Analyse der menschlichen Vorhersagen der Manipulationsniveaus für die gefälschten Bilder wurde festgestellt, dass der Durchschnitt der Überschneidung zwischen den vorhergesagten und tatsächlichen Manipulationsniveaus 24,96 Prozent betrug.

‘Dies zeigt, dass es für menschliche Beobachter nicht trivial ist, die Bereiche der Manipulationen in unserem Datensatz zu identifizieren.’

Die Erstellung des MultiFakeVerse-Datensatzes erforderte umfangreiche Rechenressourcen: Für die Generierung von Bearbeitungsvorschlägen wurden über 845.000 API-Anfragen an Gemini- und GPT-Modelle gestellt, wobei diese Aufgaben etwa 1000 Dollar kosteten; die Erstellung der Gemini-basierten Bilder kostete etwa 2867 Dollar; und die Generierung von Bildern mit GPT-Image-1 kostete etwa 200 Dollar. ICEdit-Bilder wurden lokal auf einem NVIDIA A6000-GPU erstellt, wobei die Aufgabe in etwa 24 Stunden abgeschlossen wurde.

Tests

Vor den Tests wurde der Datensatz in Trainings-, Validierungs- und Testsets aufgeteilt, indem zunächst 70 Prozent der realen Bilder für das Training ausgewählt wurden; 10 Prozent für die Validierung; und 20 Prozent für die Tests. Die manipulierten Bilder, die aus jedem realen Bild generiert wurden, wurden dem gleichen Satz wie das entsprechende Original zugewiesen.

Weitere Beispiele für reale (links) und geänderte (rechts) Inhalte aus dem Datensatz.

Die Leistung bei der Erkennung von Fälschungen wurde anhand der Bild-Genauigkeit (ob das System das gesamte Bild richtig als echt oder falsch klassifiziert) und F1-Werten bewertet. Für die Lokalisierung der manipulierten Bereiche wurde die Bewertung anhand von Flächen unter der Kurve (AUC), F1-Werten und Überschneidung über die Union (IoU) durchgeführt.

Der MultiFakeVerse-Datensatz wurde gegen führende Deepfake-Erkennungssysteme auf dem gesamten Testset getestet, wobei die konkurrierenden Frameworks CnnSpot; AntifakePrompt; TruFor; und das vision-language-basierte SIDA waren. Jedes Modell wurde zunächst im Zero-Shot-Modus ausgewertet, wobei die ursprünglichen vorgegebenen Gewichte ohne weitere Anpassung verwendet wurden.

Zwei Modelle, CnnSpot und SIDA, wurden dann feinabgestimmt auf die Trainingsdaten von MultiFakeVerse, um zu bewerten, ob die Feinabstimmung die Leistung verbessert.

Deepfake-Erkennungsergebnisse auf MultiFakeVerse unter Zero-Shot- und feinabgestimmten Bedingungen.

Zu diesen Ergebnissen erklären die Autoren:

‘[Die] Modelle, die auf frühere Inpainting-basierte Fälschungen trainiert wurden, haben Schwierigkeiten, unsere VLM-Edit-basierten Fälschungen zu identifizieren, insbesondere CnnSpot, das fast alle Bilder als echt klassifiziert. AntifakePrompt hat die beste Zero-Shot-Leistung mit 66,87 Prozent durchschnittlicher Klassenweiser Genauigkeit und 55,55 Prozent F1-Wert.

‘Nach der Feinabstimmung auf unserem Trainingsset beobachten wir eine Leistungsverbesserung bei CnnSpot und SIDA-13B, wobei CnnSpot SIDA-13B in Bezug auf durchschnittliche Klassenweiser Genauigkeit (um 1,92 Prozent) und F1-Wert (um 1,97 Prozent) übertrifft.’

SIDA-13B wurde auf MultiFakeVerse getestet, um zu messen, wie genau es in der Lage war, die manipulierten Bereiche innerhalb jedes Bildes zu lokalisieren. Das Modell wurde sowohl im Zero-Shot-Modus als auch nach der Feinabstimmung auf den Datensatz getestet.

Im ursprünglichen Zustand erreichte es einen IoU-Wert von 13,10, einen F1-Wert von 19,92 und einen AUC-Wert von 14,06, was eine schwache Lokalisierungsleistung widerspiegelt.

Nach der Feinabstimmung verbesserten sich die Werte auf 24,74 für IoU, 39,40 für F1 und 37,53 für AUC. Selbst nach der zusätzlichen Schulung hatte das Modell jedoch weiterhin Schwierigkeiten, genau zu bestimmen, wo die Bearbeitungen vorgenommen worden waren, was unterstreicht, wie schwierig es ist, diese Arten von kleinen, gezielten Änderungen zu erkennen.

Zusammenfassung

Die neue Studie deckt eine Blindheit in der menschlichen und maschinellen Wahrnehmung auf: Während der größte Teil der öffentlichen Debatte über Deepfakes auf spektakuläre Identitätsaustausche fokussiert ist, sind diese stillen “narrativen Bearbeitungen” schwerer zu erkennen und potenziell schädlicher auf lange Sicht.

Da Systeme wie ChatGPT und Gemini eine aktivere Rolle bei der Generierung dieser Art von Inhalten spielen und wir selbst immer mehr an der Veränderung der Realität unserer eigenen Fotostreams teilnehmen, können Erkennungsmodelle, die auf das Erkennen von groben Manipulationen angewiesen sind, unzureichenden Schutz bieten.

Was MultiFakeVerse zeigt, ist nicht, dass die Erkennung fehlgeschlagen ist, sondern dass zumindest ein Teil des Problems in eine schwierigere, langsamere Form übergehen kann: eine, in der kleine visuelle Lügen unbemerkt ansammeln.

Erstveröffentlicht am Donnerstag, den 5. Juni 2025