Nauwkeurigheid van deepfake-detectie daalt 49% in een jaar van AI-videovoortgang

Ik las met belangstelling een nieuw onderzoek onder leiding van Oekraïense onderzoekers. Daaruit blijkt dat de oudere generatie detectoren voor deepfakevideo’s zeer slecht presteert op video’s van de huidige geavanceerde generatieve AI. Dat geldt zowel voor opensourcegeneratoren die lokaal draaien, zoals Alibaba’s Wan 2.2 of Hunyuan Video, als voor gesloten modellen die alleen via een API toegankelijk zijn, zoals Grok Imagine of Kling.

Klik om af te spelen (AUDIO INHOUD). Drie voorbeelden uit de categorie ‘Direct to camera casual’ in de DF26‑dataset. Bron 

In 2024 had een ander artikel al aangetoond dat het menselijk vermogen om AI‑video te detecteren niet veel beter was dan toeval, met 57 %. Wat het nieuwe onderzoek (met de titel DF26: We Cannot Tell Fake From Real Anymore) toevoegt, is empirisch bewijs dat geautomatiseerde deepfake‑detectoren hun effectiviteit drastisch hebben verloren sinds die tijd – van 94 % naar 48 %, wanneer ze geconfronteerd worden met de allernieuwste genAI‑video‑output.

Uit de nieuwe dataset die voor het onderzoek is gegenereerd, voorbeelden van door afbeelding‑naar‑video en tekst‑naar‑video gegenereerde video’s (hieronder), vergeleken met echte video’s aan de linkerkant. De corpus richt zich op ‘overtuigende’ en geloofwaardige hoofd‑en‑schouderopstellingen, die tot de meest zorgwekkende genAI‑domeinen van dit moment behoren. Bron

De steilste daling in de voor het onderzoek uitgevoerde tests bedraagt een verlies van 49 %. Aangezien de eerdere benchmark uit 2025 dateert, en het nieuwe onderzoek een reeks van de nieuwste video‑modellen uit 2026 test, vertegenwoordigt dit cijfer bijna een jaar van achteruitgang in de effectiviteit van AI‑videodetectie.

Details van de modellen die werden gebruikt om de video’s te genereren waartegen de detectoren werden getest.

De gesloten‑bron, commerciële modellen die werden gebruikt om deze detector‑ontwijkende output te genereren waren Grok 1.0; Kling 3.0; Veo 3.1; en Wan 2.6. Alleen tekst‑naar‑video‑voorbeelden werden voor deze modellen gegenereerd, omdat pogingen tot afbeelding‑naar‑video (I2V) vaak filters activeerden met betrekking tot ‘deepfake‑generatie’, of anders de gebruiksvoorwaarden van het platform zouden hebben geschonden.

Kijk in mijn ogen

Deze triggers traden waarschijnlijk op omdat de onderzoekers zich concentreerden op de potentieel krachtigste, en wellicht sinistere vorm van video‑gebaseerde overtuiging – diverse variaties op ‘hoofd‑en‑schouder‑’ en ‘talking‑head’-video’s, waarbij de onderwerpen tegen de camera spreken, zoals in YouTube‑ en TikTok‑influencer‑video’s, of in een nieuwsrapportagescenario (inclusief geïnterviewden via satellietverbindingen, enz.).

De auteurs stellen dat deze scenario’s voornaamste doelwitten zijn voor deepfake‑activiteit, niet in het minst omdat ze ‘influencer’ en diverse andere ‘informatieve’ contexten vertegenwoordigen – contexten waarin een veronderstelde voorafgaande vertrouwensrelatie bestaat, en waarin die relatie daarom een groot misbruikpotentieel heeft (natuurlijk geldt dit ten minste evenzeer voor deepfake video calls, hoewel de onderzoekers dit niet behandelen).

Vanuit het hoogtepunt van het auto‑encoder‑deepfake‑tijdperk kon manipulatie van echt Richard Nixon‑materiaal zijn aankondiging van de dood van de Apollo‑9‑astronauten in 1969 simuleren – een gebeurtenis die nooit heeft plaatsgevonden, maar waarvoor het echte script werd gebruikt om een deepfaked‑stem en lipbewegingen op te leggen.

Naast de focus op dit influencer‑scenario, concentreert de nieuwe benchmark – en de daarvoor gemaakte video’s – zich op het evalueren van het volledige frame van de video, in tegenstelling tot historische deepfake‑detectiestrategieën.

Die oudere strategieën pasten gezichts‑ of expressiemanipulatie toe, of gezichts‑ (of op zijn best volledige hoofd‑) substitutie binnen echte video’s – wat inderdaad de enige redelijke benadering was, totdat diffusiemodellen voldoende effectief werden om ze in de afgelopen 18‑24 maanden te vervangen.

Weg van het gezicht

Zo wordt het tegenwoordig niet meer gedaan; de oudere auto‑encoder‑gebaseerde methode dateert van de eerste opkomst van deepfakes eind 2017; en deze techniek, die alleen het gebied binnen de buitenste contouren van het gezicht vervangt, was tegen 2022 volledig uitgeput.

Het belangrijkste terrein voor deepfake‑activiteit, 2017‑2023 – maar voor de nieuwe generatie genAI‑videoplatformen bestaat er geen dergelijke grens om de aandacht op te concentreren. Bron

Desondanks, aangezien de wetenschappelijke onderzoeksector houdt van een langetermijnconstante – waar het doel vastligt, en waar een evoluerend scala aan benaderingen erdoorheen kan worden gegooid gedurende jaren/tientallen jaren – hebben deepfake-detectiemethoden gebaseerd op ‘inner-face substitutie/wijziging’ in de literatuur en in commerciële detectieaanbiedingen standgehouden, ver voorbij de geldigheid van de onderliggende technologie die wordt aangevallen.

Naast de drie gesloten-source modellen die voor het nieuwe werk werden getest, werden ook drie zeer capabele consumentgerichte open-source modellen uitgeprobeerd: Wan 2.2 A14B; HunyuanVideo 1.5; en LTX 2.3, die de FOSS genAI-gemeenschap de laatste tijd verbluffend heeft gemaakt. Het LTX-assortiment kan ook spraak genereren:

Klik om af te spelen: experimenten met de LTX-serie op r/stablediffusion, waarvan de gemeenschap alleen met FOSS-modellen werkt. Source 

Gegevensontwerp

De auteurs beschouwen hun nieuwe dataset, DF26, als een ‘hold-out’ set voor evaluatie van ongezien materiaal. De collectie bestaat uit 2.691 video’s over drie scenario’s van publiek spreken: direct‑to‑camera of informele toespraken; officiële verklaringen; en studio‑interviews.

Alle AI‑gegenereerde videoclips waren gebaseerd op 271 echte clips samengesteld uit OpenVid; TalkingCelebs; en MAVOS-DD.

Voorbeeld uit de OpenVid‑collectie, waaruit 271 echte video’s werden gehaald als basismateriaal voor de AI‑gegenereerde video’s in de DF26‑collectie. Twee andere datasets droegen ook bij aan dit niet‑nep‑onderdeel van DF26. Source

De 271 echte video’s werden gebruikt om de AI‑video’s te genereren door bijbehorende scène‑prompts af te leiden uit hun frames, en die prompts – en het eerste frame zelf, waar ondersteund – in te voeren in de zeven video‑generatiemodellen, om in totaal 2.420 synthetische clips te produceren.

De auteurs zorgden ervoor dat er geen echte frames met tekstoverlays (zoals aankondigingen van wie er spreekt, enz.) in de generatie‑workflows terechtkwamen, omdat deze waarschijnlijk shortcuts en aannames zouden hebben gestimuleerd. Kandidaten‑clips werden geëvalueerd door Gemini 2.5.

Daarnaast werden segmenten met meer dan één gezicht afgewezen, om een ‘single speaker’‑instelling af te dwingen.

Klik om af te spelen [NO SOUND]. Uit de dataset die bij het artikel hoort, voorbeelden van state‑of‑the‑art video‑generaties over zeven van de nieuwste en meest capabele generatieve modellen, zowel open als gesloten bron. De modellen die voor de dataset werden gebruikt omvatten ook diegenen die spraak kunnen genereren (zie eerdere voorbeelden in dit artikel). Source

De onderzoekers maakten gebruik van het populaire commerciële Higgsfield AI platform, dat een breed scala aan gesloten en open‑source modellen beschikbaar stelt, met diverse niveaus van toegangsbeperkingen en guardrails.

Met een NVIDIA H200 (141 GB VRAM) als basis‑GPU‑model voor een intern onderzoekscluster, kostte het ongeveer 440 GPU‑uren om 1.626 video’s voor de collectie te genereren.

Naast het waarborgen dat er geen tekst zichtbaar was in de output, was het ook noodzakelijk om watermerken voor AI-inhoud te verhullen of in het algemeen te vermijden, aangezien dit eveneens een potentiële ‘shortcut’ voor een evaluator of evaluatiesysteem zou vormen.

Tests

De primaire metriek die werd gebruikt voor een afsluitende testronde was de Area Under Receiver Operating Characteristic Curve (AUC / AUROC), met Equal Error Rate (EER) als aanvullende maatstaf.

Frame‑gebaseerde detectors (die individuele frames onafhankelijk beoordelen) werden getest op 32 gelijkmatig verdeelde frames uit elke video, waarna de scores werden gemiddeld tot één resultaat. Temporale detectors (die informatie uit opeenvolgende frames kunnen gebruiken) analyseerden in plaats daarvan de videosequentie zelf.

Resultaten voor de temporale detectors DFD-FCG en PwTF-DVD zijn hieronder te zien, samen met resultaten voor ForAda; Effort; FSFM; GenD-CLIP en GenD‑DINO; en DFD‑HR. Allemaal getraind op de gerenommeerde FaceForensics++ dataset.

Testresultaten die deepfake‑detectors vergelijken op CelebDF++ en DF26. Alle detectors werden getraind op FaceForensics++, waarbij een hogere AUROC en een lagere EER betere prestaties aangeven.

De auteurs merken op dat de meeste detectors goed presteren op Celeb-DF++ (CDFv3), maar scherp dalen op de meer uitdagende nieuwe DF26‑collectie.

‘[Multiple] state‑of‑the‑art detectors behalen sterke prestaties op de CelebDF++ [16] (CDFv3) benchmark, waarbij temporale methoden een AUROC van 94,3 en 92,3 bereiken.

‘Echter, hun prestaties dalen aanzienlijk op DF26, tot respectievelijk 48,2 en 61,6 AUROC.

‘De meeste methoden degraderen aanzienlijk, blijven bijna op toeval; de hoogste AUROC van 69,7 wordt behaald door GenD-PE.

‘Dit toont aan dat DF26 een uitdagendere benchmark is voor state-of-the-art detectors.’

Image-to-video bleek, volgens hen, moeilijker te detecteren dan text-to-video, zowel voor mensen als geautomatiseerde detectors, waarbij PwTF-DVD het beste presteerde op I2V-materiaal, en GenD-PE leidend was op T2V.

De prestaties varieerden sterk afhankelijk van welke generator de nepvideo produceerde, wat suggereert dat detectors vaak generator‑specifieke sporen leren in plaats van een algemene handtekening van synthetische video. PwTF-DVD bereikte bijvoorbeeld een AUROC van 92,9 op text-to-video‑output van Wan 2.2, maar zakte tot ongeveer toevalsprestaties op HunyuanVideo 1.5 – hoewel beide tot hetzelfde moderne generatie‑landschap behoorden:

Detectorre prestaties over commerciële en open‑source video‑generators. De grote variatie tussen kolommen toont aan dat detectiebetrouwbaarheid sterk afhankelijk is van welk model de video heeft geproduceerd, waarbij GenD-PE de hoogste gemiddelde AUROC behaalt.

Hieronder zien we dat het opnieuw trainen van GenD-PE op nieuwere DF26‑materialen de mogelijkheid om video’s van generators die het niet tijdens de training had gezien, aanzienlijk verbeterde:

Resultaten van hertraining voor GenD-PE over ongeziene video‑generators. Training op nieuwere DF26‑materialen verbeterde over het algemeen de cross‑generator prestaties vergeleken met de oorspronkelijke FaceForensics++‑training.

Training op HunyuanVideo 1.5 verhoogde de AUROC tot minstens 93,1 op Grok Imagine 1.0, Veo 3.1 en Wan 2.6, wat de stelling van het artikel ondersteunt dat detectors die alleen op oudere datasets zoals FaceForensics++ zijn getraind, slecht aansluiten bij huidige generatieve video.

Misschien voorspelbaar hadden de twee temporele detectors het veel gemakkelijker met open‑source video dan met clips van commerciële modellen. DFD-FCG daalde van 57,4 AUROC op open‑source materiaal naar 34,5 op gesloten‑source video; terwijl PwTF-DVD daalde van 70,5 naar 48,3:

Resultaten die twee temporele detectors vergelijken over generator‑bron en spreek‑scenario. Beide presteerden aanzienlijk slechter op gesloten‑source video, terwijl de verschillen tussen scène‑typen kleiner waren.

Het artikel gaat echter niet zover te stellen dat commerciële modellen simpelweg moeilijker te detecteren zijn, aangezien verschillen in modelfamilie, nabewerking en visuele kwaliteit ook factoren kunnen zijn.

Het type scène speelde veel minder een rol: DFD-FCG bleef dicht bij toeval bij directe‑naar‑camera clips, officiële verklaringen en studio‑interviews, terwijl PwTF-DVD het beste presteerde bij officiële verklaringen. Volgens het artikel lijkt de generator zelf belangrijker dan de presentatie‑stijl.

Er werd ook een menselijk onderzoek uitgevoerd om te zien of mensen met DF26 worstelden op dezelfde manier als de geautomatiseerde detectors. In 232 labelingsessies beoordeelden deelnemers korte clips van DF26, CelebDF++ en DeepSpeak v2 als echt of nep, zonder te weten hoeveel voorbeelden van elke klasse ze zouden zien.

Menselijke nauwkeurigheid over DF26, CelebDF++ en DeepSpeak v2. Deelnemers identificeerden echte video’s met vergelijkbare percentages over alle drie de datasets, terwijl de nauwkeurigheid op nep‑DF26‑video’s bijna op toeval lag.

De prestaties op echte video’s waren vergelijkbaar over alle drie de datasets, met 76,0 % voor DF26, 75,5 % voor CelebDF++ en 72,8 % voor DeepSpeak v2. Het verschil kwam naar voren bij de nep‑video’s, waar de nauwkeurigheid daalde tot 52,6 % op DF26, vergeleken met 74,5 % en 69,8 % op de twee oudere datasets.

Daarom, volgens het artikel, hoewel deelnemers over het algemeen niet verward waren door DF26, worstelden ze om specifiek zichtbaar bewijs te vinden dat de synthetische video’s nep waren.

Conclusie

Ondanks een gerapporteerde 16‑voudige toename in deepfake‑frequentie in de afgelopen twee jaar, is de feitelijke realiteit van kwaadaardige deepfakes grotendeels afwezig in onze alledaagse ervaring, tenzij we zelf het doelwit zijn.

In het geval van slachtoffers van seksuele deepfakes is dit volkomen begrijpelijk – maar aangezien deepfakes nu een steeds grotere impact op het misdrijf fraude hebben, kan het nuttig zijn als meer van dat materiaal met het publiek gedeeld kan worden, zodat onze context wordt bijgewerkt van het ‘gouden tijdperk’ van auto‑encoder deepfakes naar het veel scherpere en misleidende tijdperk van diffusion‑gebaseerde deepfakes.

Natuurlijk verschijnt het merendeel van het materiaal met betrekking tot de output van de modellen in de nieuwe studie, evenals andere modellen, zonder voldoende context op sociale mediaplatforms waarvan de toezichthouders ofwel niet in staat zijn AI van echt te onderscheiden, of die gewoon niet geven om.

Een extra meetwaarde die we allemaal kunnen toepassen op video’s die we betwijfelen, is redelijke geloofwaardigheid – maar dit vermogen varieert zo sterk tussen individuen dat het onbetrouwbaar is. Het kan daarom zijn dat we gedurende een overgangsperiode, terwijl we ons aanpassen aan de impact van deze technologie en haar steeds toenemende mogelijkheden, simpelweg het oordeel moeten uitstellen.

Eerste publicatie maandag 14 september 2026