Deepfake-Erkennungsgenauigkeit fällt um 49% in einem Jahr KI-Video-Fortschritt

Ich stelle mit Interesse fest, dass ein neuer, von der Ukraine geleiteter Fachartikel darauf hinweist, dass die ältere Generation von Deepfake‑Video‑Detektoren bei aktuellen, hochmodernen GenAI‑Videos sehr schlecht abschneidet, egal ob diese Generatoren Open‑Source sind, lokale KI‑Installationen wie Alibaba’s Wan 2.2 oder Hunyuan Video; oder rein API‑basierte, proprietäre Modelle wie Grok Imagine oder Kling.

Klicken zum Abspielen (AUDIO‑INHALT). Drei Beispiele aus der Kategorie ‘Direkt zur Kamera, lässig’ im DF26‑Datensatz. Quelle 

Bereits 2024 hatte ein weiteres Papier gezeigt, dass die menschliche Fähigkeit, KI‑Videos zu erkennen, nicht viel über dem Zufall lag, bei 57 %. Was die neue Arbeit (mit dem Titel DF26: Wir können nicht mehr zwischen Fake und Echt unterscheiden) hinzufügt, ist der empirische Nachweis, dass automatisierte Deepfake‑Detektoren seitdem dramatisch an Wirksamkeit verloren haben – von 94 % auf 48 %, wenn sie mit den allerneuesten GenAI‑Videoausgaben konfrontiert werden.

Aus dem für die Arbeit erzeugten neuen Datensatz, Beispiele für Bild‑zu‑Video‑ und Text‑zu‑Video‑generierte Videos (unten), im Vergleich zu echten Videos links. Der Korpus konzentriert sich auf „überzeugende“ und glaubwürdige Kopf‑und‑Schulter‑Setups, die derzeit zu den besorgniserregendsten GenAI‑Bereichen gehören. Quelle

Der steilste Rückgang in den für die Arbeit durchgeführten Tests beträgt 49 %. Da der frühere Benchmark aus dem Jahr 2025 stammt und die neue Arbeit eine Reihe der neuesten Video‑Modelle der Generation 2026 testet, steht diese Zahl für fast ein Jahr Verschlechterung der KI‑Video‑Erkennungswirksamkeit.

Details der Modelle, die zur Erzeugung der Videos verwendet wurden, gegen die die Detektoren getestet wurden.

Die geschlossenen, kommerziellen Modelle, die zur Erzeugung dieser detektorüberwindenden Ausgabe verwendet wurden, waren Grok 1.0; Kling 3.0; Veo 3.1; und Wan 2.6. Für diese wurden nur Text‑zu‑Video‑Beispiele erzeugt, da Versuche mit Bild‑zu‑Video‑Generierungen (I2V) häufig Filter bezüglich „Deepfake‑Generierung“ auslösten oder sonst gegen die Nutzungsbedingungen der Plattform verstoßen hätten.

Schau mir in die Augen

Diese Auslöser traten wahrscheinlich auf, weil die Forschenden sich auf die potenziell stärkste und durchaus bedenkliche Form der videobasierten Persuasion konzentrierten – verschiedene Varianten von „Kopf‑und‑Schulter“- und „Sprechkopf“-Videos, bei denen die Probanden in die Kamera sprechen, wie in YouTube‑ und TikTok‑Influencer‑Videos oder in Nachrichtenszenarien (einschließlich Interviewpartner über Satellitenverbindungen usw.).

Die Autoren argumentieren, dass diese Szenarien Hauptziele für Deepfake‑Aktivitäten seien, nicht zuletzt weil sie „Influencer“ und verschiedene andere „Informations“-Kontexte darstellen – Kontexte, in denen ein vorausgesetztes Vertrauensverhältnis besteht und dieses daher ein großes Missbrauchspotenzial bietet (natürlich gilt dies ebenso für Deepfake‑Videoanrufe, obwohl die Forschenden dies nicht behandeln).

Aus dem Höhepunkt des Autoencoder‑Deepfake‑Zeitalters war die Manipulation echten Richard‑Nixon‑Filmmaterials in der Lage, seine Ankündigung des Todes der Apollo‑9‑Astronauten im Jahr 1969 zu simulieren – ein Ereignis, das nie stattfand, für das jedoch das reale Skript verwendet wurde, um eine deepfaked Stimme und Lippenbewegungen aufzuzwingen.

Abgesehen von der Fokussierung auf dieses Influencer‑Szenario konzentrieren sich der neue Benchmark – und die dafür erstellten Videos – darauf, das gesamte Bild des Videos zu bewerten, im Gegensatz zu historischen Deepfake‑Erkennungsstrategien.

Diese älteren Strategien setzten Gesichts‑ oder Ausdrucksmanipulation ein, oder Gesichts‑ (oder bestenfalls Vollkopf‑) Substitution innerhalb echter Videos – was tatsächlich der einzig sinnvolle Ansatz war, bis diffusionsbasierte Modelle in den letzten 18‑24 Monaten wirksam genug wurden, sie zu ersetzen.

Gesicht weg

So wird es heute nicht mehr gemacht; die ältere Autoencoder‑basierte Methode stammt aus dem ersten Auftreten von Deepfakes Ende 2017; und diese Technik, die nur den Bereich innerhalb der äußeren Konturen des Gesichts ersetzt, war bis 2022 vollständig erschöpft.

Das wichtigste Terrain für Deepfake‑Aktivität, 2017‑2023 – doch für die neue Generation von GenAI‑Video‑Plattformen gibt es keine solche Grenze, um die Aufmerksamkeit zu bündeln. Quelle

Dennoch, da der wissenschaftliche Forschungssektor liebt eine langfristige Konstante – wo das Ziel festgelegt ist und wo im Laufe der Jahre/Jahrzehnte eine sich entwickelnde Bandbreite von Ansätzen dagegen eingesetzt werden kann – haben Deepfake-Erkennungsverfahren, die auf ‘inner-face substitution/amendment’ basieren, in der Literatur und in kommerziellen Erkennungsangeboten weit über die Gültigkeit der zugrunde liegenden Technologie hinaus Bestand.

Neben den drei geschlossenen Modellen, die für die neue Arbeit getestet wurden, wurden auch drei sehr leistungsfähige, für Verbraucher nutzbare Open-Source-Modelle ausprobiert: Wan 2.2 A14B; HunyuanVideo 1.5; und LTX 2.3, das in letzter Zeit die FOSS‑genAI‑Gemeinschaft begeistert. Die LTX‑Reihe kann zudem Sprache erzeugen:

Klicken zum Abspielen: Experimente mit der LTX‑Serie bei r/stablediffusion, deren Community ausschließlich mit FOSS‑Modellen arbeitet. Source 

Datenaufbau

Die Autoren beabsichtigen, ihren neuen Datensatz DF26 als ‘hold-out’-Datensatz für die Bewertung von bislang unbekanntem Material zu verwenden. Die Sammlung besteht aus 2.691 Videos in drei öffentlichen Redesszenarien: direkte Kameraansprache oder lockere Ansprachen; offizielle Erklärungen; und Studio‑Interviews.

Alle KI‑generierten Videoclips basierten auf 271 realen Clips, die aus OpenVid; TalkingCelebs; und MAVOS-DD zusammengestellt wurden.

Beispiel aus der OpenVid‑Sammlung, aus der 271 reale Videos als Ausgangsmaterial für die KI‑generierten Videos der DF26‑Sammlung gewonnen wurden. Zwei weitere Datensätze trugen ebenfalls zu diesem nicht‑gefälschten Teil von DF26 bei. Source

Die 271 realen Videos wurden verwendet, um die KI‑Videos zu erzeugen, indem aus ihren Einzelbildern passende Szenen‑Prompts abgeleitet und diese – zusammen mit dem ersten Bild, sofern unterstützt – in die sieben Video‑Generierungsmodelle eingespeist wurden, was insgesamt 2.420 synthetische Clips ergab.

Die Autoren stellten sicher, dass keine realen Frames mit Texteinblendungen (wie Ankündigungen, wer spricht usw.) in die Generierungs‑Workflows gelangten, da diese wahrscheinlich Abkürzungen und Annahmen gefördert hätten. Kandidaten‑Clips wurden von Gemini 2.5 bewertet.

Zusätzlich wurden Segmente mit mehr als einem Gesicht verworfen, um eine ‚Ein‑Sprecher‘‑Einstellung zu erzwingen.

Klicken zum Abspielen [NO SOUND]. Aus dem mit dem Papier verbundenen Datensatz Beispiele für hochmoderne Video‑Generierungen über sieben der neuesten und leistungsfähigsten generativen Modelle, sowohl Open‑ als auch Closed‑Source. Die für den Datensatz verwendeten Modelle umfassen auch solche, die Sprache erzeugen können (siehe frühere Beispiele im Artikel). Source

Die Forschenden nutzten die beliebte kommerzielle Plattform Higgsfield AI, die eine breite Palette geschlossener und offener Modelle bereitstellt, mit unterschiedlichen Stufen von Zugangsbeschränkungen und Schutzmechanismen.

Mit einer NVIDIA H200 (141 GB VRAM) als Basis‑GPU‑Modell für einen internen Forschungs‑Cluster benötigte man etwa 440 GPU‑Stunden, um 1.626 Videos für die Sammlung zu erzeugen.

Neben der Sicherstellung, dass im Ergebnis kein Text sichtbar war, war es zudem nötig, die Darstellung von KI‑Wasserzeichen zu verschleiern oder generell zu vermeiden, da dies ebenfalls eine potenzielle ‘Abkürzung’ für einen Bewerter oder ein Bewertungssystem darstellen würde.

Tests

Das primäre Maß, das für die abschließende Testrunde verwendet wurde, war die Fläche unter der Receiver‑Operating‑Characteristic‑Kurve (AUC / AUROC), wobei die Equal‑Error‑Rate (EER) als ergänzendes Maß diente.

Bildbasierte Detektoren (die einzelne Standbilder unabhängig bewerten) wurden an 32 gleichmäßig verteilten Frames jedes Videos getestet, wobei die Ergebnisse anschließend zu einem Gesamtergebnis gemittelt wurden. Temporale Detektoren (die Informationen aus aufeinanderfolgenden Frames nutzen können) analysierten stattdessen die Videosequenz selbst.

Ergebnisse der temporalen Detektoren DFD-FCG und PwTF-DVD sind unten zu sehen, zusammen mit den Ergebnissen für ForAda; Effort; FSFM; GenD-CLIP und GenD-DINO; sowie DFD-HR. Alle wurden auf dem renommierten Datensatz FaceForensics++ trainiert.

Testergebnisse zum Vergleich von Deepfake‑Detektoren auf CelebDF++ und DF26. Alle Detektoren wurden auf FaceForensics++ trainiert, wobei ein höherer AUROC und ein niedrigerer EER eine bessere Leistung anzeigen.

Die Autoren stellen fest, dass die meisten Detektoren auf Celeb-DF++ (CDFv3) gut abschneiden, jedoch bei der anspruchsvolleren neuen DF26‑Sammlung stark abfallen.

‘[Multiple] modernste Detektoren erzielen starke Leistungen auf dem CelebDF++ [16] (CDFv3) Benchmark, wobei temporale Methoden eine AUROC von 94,3 bzw. 92,3 erreichen.

Allerdings sinkt ihre Leistung auf DF26 deutlich, auf 48,2 bzw. 61,6 AUROC.

Die meisten Methoden verschlechtern sich deutlich und liegen fast zufällig; der höchste AUROC von 69,7 wird von GenD-PE erreicht.

Dies zeigt, dass DF26 ein anspruchsvolleres Benchmark für aktuelle Detektoren ist.

Bild‑zu‑Video erwies sich, wie beobachtet, als schwieriger zu erkennen als Text‑zu‑Video, sowohl für Menschen als auch für automatisierte Detektoren, wobei PwTF-DVD bei I2V‑Material am besten abschneidet und GenD-PE bei T2V führend ist.

Die Leistung variierte stark, je nachdem, welcher Generator das gefälschte Video erzeugte, was darauf hindeutet, dass Detektoren häufig generatorspezifische Spuren lernen statt einer allgemeinen Signatur synthetischer Videos. PwTF-DVD erreichte beispielsweise 92,9 AUROC bei Text‑zu‑Video‑Ausgaben von Wan 2.2, fiel jedoch auf etwa zufällige Leistung bei HunyuanVideo 1.5 – obwohl beide zur selben modernen Generation gehören:

Detektorleistung über kommerzielle und Open‑Source‑Video‑Generatoren. Die große Variation zwischen den Spalten zeigt, dass die Zuverlässigkeit der Erkennung stark davon abhängt, welches Modell das Video erzeugt hat, wobei GenD-PE den höchsten durchschnittlichen AUROC erzielt.

Unten sehen wir, dass das erneute Training von GenD-PE mit neuem DF26‑Material seine Fähigkeit, Videos von Generatoren zu erkennen, die es während des Trainings nicht gesehen hatte, deutlich verbesserte:

Ergebnisse des Retrainings von GenD-PE über ungesehene Video‑Generatoren. Das Training mit neuerem DF26‑Material verbesserte im Allgemeinen die cross‑Generator‑Leistung im Vergleich zum ursprünglichen FaceForensics++‑Training.

Das Training mit HunyuanVideo 1.5 erhöhte den AUROC auf mindestens 93,1 bei Grok Imagine 1.0, Veo 3.1 und Wan 2.6 und unterstützt damit das Argument des Papiers, dass Detektoren, die nur auf älteren Datensätzen wie FaceForensics++ trainiert wurden, schlecht zu aktuellen generativen Videos passen.

Vielleicht erwartungsgemäß hatten die beiden temporalen Detektoren mit Open‑Source‑Videos wesentlich weniger Schwierigkeiten als mit Clips von kommerziellen Modellen. DFD-FCG sank von 57,4 AUROC bei Open‑Source‑Material auf 34,5 bei geschlossenen Quellen; während PwTF-DVD von 70,5 auf 48,3 fiel:

Ergebnisse zum Vergleich zweier temporaler Detektoren über Generator‑Quelle und Sprech‑Szenario. Beide schnitten bei geschlossenen Quellen deutlich schlechter ab, während die Unterschiede zwischen den Szenentypen geringer waren.

Allerdings geht das Papier nicht so weit zu behaupten, dass kommerzielle Modelle einfach schwerer zu erkennen sind, da Unterschiede in Modellfamilie, Nachbearbeitung und visueller Qualität ebenfalls Faktoren sein könnten.

Die Art der Szene spielte viel weniger eine Rolle: DFD-FCG blieb bei Direkt‑zu‑Kamera‑Clips, offiziellen Statements und Studio‑Interviews nahe dem Zufallsniveau, während PwTF-DVD bei offiziellen Statements am besten abschnitt. Laut dem Papier scheint der Generator selbst wichtiger zu sein als der Präsentationsstil.

Eine menschliche Studie wurde ebenfalls durchgeführt, um zu prüfen, ob Menschen mit DF26 auf dieselbe Weise kämpfen wie die automatisierten Detektoren. In 232 Kennzeichnungs‑Sitzungen bewerteten die Teilnehmenden kurze Clips aus DF26, CelebDF++ und DeepSpeak v2 als echt oder gefälscht, ohne zu wissen, wie viele Beispiele jeder Klasse sie sehen würden.

Menschliche Genauigkeit über DF26, CelebDF++ und DeepSpeak v2. Die Teilnehmenden identifizierten reale Videos in allen drei Datensätzen mit ähnlichen Raten, während die Genauigkeit bei gefälschten DF26‑Videos fast zufällig war.

Die Leistung bei realen Videos war in allen drei Datensätzen ähnlich, bei 76,0 % für DF26, 75,5 % für CelebDF++ und 72,8 % für DeepSpeak v2. Der Unterschied zeigte sich bei den gefälschten Videos, wo die Genauigkeit auf 52,6 % bei DF26 fiel, verglichen mit 74,5 % bzw. 69,8 % bei den beiden älteren Datensätzen.

Daher, laut dem Papier, obwohl die Teilnehmenden nicht allgemein von DF26 verwirrt waren, hatten sie Schwierigkeiten, spezifische sichtbare Hinweise zu finden, dass seine synthetischen Videos gefälscht waren.

Fazit

Trotz eines gemeldeten 16‑fachen Anstiegs der Deepfake‑Häufigkeit in den letzten zwei Jahren ist die tatsächliche Realität bösartiger Deepfakes in unserer Alltagserfahrung weitgehend abwesend, es sei denn, wir werden selbst Ziel solcher Fälschungen.

Im Fall von Opfern sexueller Deepfakes ist das völlig nachvollziehbar – aber da Deepfakes jetzt einen zunehmenden Einfluss auf das Verbrechen des Betrugs haben, könnte es sinnvoll sein, mehr von diesem Material der Öffentlichkeit zugänglich zu machen, damit unser Kontext vom „goldenen Zeitalter“ der Autoencoder‑Deepfakes in die weitaus prägnantere und täuschendere Ära der diffusionsbasierten Deepfakes übergeht.

Natürlich erscheint das meiste Material, das sich auf die Ausgaben der Modelle in der neuen Studie sowie anderer Modelle bezieht, ohne ausreichenden Kontext auf sozialen Medienplattformen, deren Aufseher entweder nicht in der Lage sind, KI von Realität zu unterscheiden, oder denen es einfach egal ist.

Ein weiteres Kriterium, das wir alle auf Videos anwenden können, bei denen wir Zweifel haben, ist vernünftige Glaubwürdigkeit – doch diese Fähigkeit variiert so stark zwischen Individuen, dass sie unzuverlässig ist. Daher kann es sein, dass wir in einer Übergangsphase, während wir uns an die Auswirkungen dieser Technologie und ihrer ständig wachsenden Fähigkeiten gewöhnen, einfach Urteil zurückhalten müssen.

Erstmals veröffentlicht Montag, 14. September 2026