Deepfake‑detekteringsnoggrannhet faller med 49% under ett år av AI‑videoframsteg

Jag noterar med intresse ett nytt Ukraina‑lett papper som visar att den äldre generationen av deepfake‑videodetektorer detektorer presterar mycket dåligt på dagens mest avancerade genAI‑video, oavsett om dessa generatorer är öppen källkod, lokala AI‑installationer såsom Alibabas Wan 2.2 eller Hunyuan Video; eller API‑endast, slutna källkodsmodeller såsom Grok Imagine eller Kling.

Klicka för att spela (AUDIO CONTENT). Tre exempel från kategorin ‘Direct to camera casual’ i DF26‑datamängden. Källa 

År 2024 hade en annan artikel redan fastställt att människors förmåga att upptäcka AI‑video var inte så mycket över slumpen, på 57 %. Det nya arbetet (med titeln DF26: Vi kan inte längre skilja falskt från riktigt) tillför empirisk evidens för att automatiska deepfake‑detektorer har fallit dramatiskt i effektivitet sedan dess – från 94 % till 48 %, när de möter den allra senaste genAI‑videoutgången.

Från den nya dataset som genererats för arbetet, exempel på bild‑till‑video och text‑till‑video genererade videor (nedan), jämfört med riktiga videor till vänster. Korpuset fokuserar på ‘övertygande’ och trovärdiga huvud‑och‑axel‑uppsättningar, som är bland de mest oroande genAI‑områdena för närvarande. Källa

Den brantaste nedgången i de tester som genomfördes för arbetet representerar ett fall på 49 %. Eftersom den tidigare referenspunkten kommer från 2025, och det nya arbetet testar en rad av de senaste videomodellerna från 2026‑generationen, motsvarar denna siffra nästan ett år av försämring i AI‑videodetekteringens effektivitet.

Detaljer om modellerna som användes för att generera videorna som detektorerna testades mot.

De sluten källkod, kommersiella modellerna som användes för att generera detta detektor‑besegra output var Grok 1.0; Kling 3.0; Veo 3.1; och Wan 2.6. Endast text‑till‑video‑exempel genererades för dessa, eftersom försök med bild‑till‑video (I2V) ofta utlöste filter avseende ‘deepfake‑generering’, eller annars skulle ha brutit mot plattformens TOS.

Titta in i mina ögon

Dessa triggers inträffade sannolikt eftersom forskarna fokuserade på den mest potentiellt kraftfulla, och möjligen ondskefulla formen av videobaserad övertalning – olika varianter av ‘huvud och axel’ och ‘talking head’-videor, med personer som talar till kameran, som de skulle i YouTube‑ och TikTok‑influerarvideor, eller i ett nyhetsrapportscenario (inklusive intervjupersoner via satellitanslutningar osv.).

Författarna menar att dessa scenarier är primära mål för deepfake‑aktivitet, inte minst eftersom de representerar ‘influerare’ och olika andra ‘informations’-kontexter – kontexter där ett antagande om ett tidigare förtroendeförhållande finns, och där detta förhållande därför har stor potential för missbruk (naturligtvis gäller detta åtminstone lika mycket för deepfake‑videomöten, även om forskarna inte behandlar detta).

Från toppen av autoencoder‑deepfake‑eran kunde manipulation av äkta Richard Nixon‑material simulera hans tillkännagivande av dödsfallet för Apollo 9‑astronauterna 1969 – en händelse som aldrig inträffade, men för vilken det verkliga manuskriptet användes för att pålägga en deepfake‑röst och läpprörelser.

Förutom att fokusera på detta influerarscenario koncentrerar det nya benchmarket – och videorna som skapats för det – sig på att utvärdera videons hela ramen, i kontrast till historiska deepfake‑detekteringsstrategier.

De äldre strategierna utförde ansikts‑ eller uttrycksmanipulation, eller ansikts‑ (eller i bästa fall, helhuvuds‑) ersättning i riktiga videor – vilket faktiskt var det enda rimliga tillvägagångssättet, tills diffusions‑baserade modeller blev tillräckligt effektiva för att ersätta dem under de senaste 18–24 månaderna.

Vänd ansiktet bort

Det är inte så längre; den äldre autoencoder‑baserade metoden går tillbaka till de första deepfakesens framkomst i slutet av 2017; och denna teknik, som endast ersätter området inom ansiktets yttre konturer, var helt uttömd år 2022.

Den främsta platsen för deepfake‑aktivitet, 2017‑2023 – men för den nya generationen av genAI‑videoplattformar finns ingen sådan gräns för att koncentrera uppmärksamheten. Källa

Trots detta, eftersom den vetenskapliga forskningssektorn älskar en långsiktig konstant – där målet är fast, och där ett utvecklande spektrum av metoder kan testas mot det under årtionden – har metoder för deepfake‑detektion baserade på ‘inner-face substitution/amendment’ bestått i litteraturen och i kommersiella detekteringsprodukter, långt bortom giltigheten för den underliggande teknologin som riktas mot.

Förutom de tre slutna modeller som testades för det nya arbetet, testades även tre mycket kapabla konsumentvänliga öppna källkodsmodeller: Wan 2.2 A14B; HunyuanVideo 1.5; och LTX 2.3, som har bländat FOSS genAI‑gemenskapen på sistone. LTX‑serien kan också generera tal:

Klicka för att spela: experiment med LTX‑serien på r/stablediffusion, vars community endast arbetar med FOSS‑modeller. Source 

Datadesign

Författarna avser sitt nya dataset, DF26, som ett ‘hold-out’-set för utvärdering av osedd material. Samlingen består av 2 691 videor över tre offentliga talarscenarier: direkt till kamera eller informella anföranden; officiella uttalanden; och studiointervjuer.

Alla AI‑genererade videoklipp baserades på 271 verkliga klipp som samlats in från OpenVid; TalkingCelebs; och MAVOS-DD.

Exempel från OpenVid‑samlingen, från vilken 271 verkliga videor hämtades som grundmaterial för de AI‑genererade videorna i DF26‑samlingen. Två andra dataset bidrog också till denna icke‑fejk‑komponent av DF26. Source

De 271 verkliga videorna användes för att generera AI‑videorna genom att härleda matchande scen‑promptar från deras bildrutor, och sedan mata in dessa promptar – samt den första bildrutan själv, där det stöddes – i de sju videogenereringsmodellerna, för att producera totalt 2 420 syntetiska klipp.

Författarna säkerställde att inga verkliga bildrutor med textöverlägg (såsom meddelanden om vem som talar osv.) fick komma in i genereringsflödena, eftersom dessa sannolikt skulle ha uppmuntrat genvägar och antaganden. Kandidatklipp utvärderades av Gemini 2.5.

Dessutom avvisades segment som innehöll mer än ett ansikte, för att upprätthålla en ‘enda talare’-inställning.

Klicka för att spela [NO SOUND]. Från datasetet som är kopplat till artikeln, exempel på toppmoderna videogenereringar från sju av de senaste och mest kapabla generativa modellerna, både öppna och slutna. Modellerna som användes för datasetet inkluderar även de som kan generera tal (se exempel tidigare i denna artikel). Source

Forskarna använde den populära kommersiella Higgsfield AI-plattformen, som erbjuder ett brett utbud av slutna och öppna modeller, med varierande nivåer av åtkomstkontroll och säkerhetsgränser.

Med en NVIDIA H200 (141 GB VRAM) som grund‑GPU‑modell för ett internt forskningskluster tog det cirka 440 GPU‑timmar att generera 1 626 videor till samlingen.

Förutom att säkerställa att ingen text var synlig i resultatet, var det också nödvändigt att dölja eller i allmänhet undvika framställning av AI‑vattenmärkning, eftersom detta också skulle utgöra ett potentiellt ‘genväg’ för en utvärderare eller utvärderingssystem.

Tester

Det primära måttet som användes för en avslutande testomgång var Area Under Receiver Operating Characteristic Curve (AUC / AUROC), med Equal Error Rate (EER) som ett kompletterande mått.

Ram‑baserade detektorer (som bedömer stillbilder oberoende) testades på 32 jämnt fördelade bildrutor från varje video, med poängen sedan medelvärdesberäknade till ett enda resultat. Temporala detektorer (som kan använda information från på varandra följande bildrutor) analyserade i stället själva videosekvensen.

Resultaten för de temporala detektorerna DFD-FCG och PwTF-DVD visas nedan, tillsammans med resultat för ForAda; Effort; FSFM; GenD-CLIP och GenD-DINO; samt DFD-HR. Alla tränades på det välkända FaceForensics++-datasetet.

Testresultat som jämför deepfake‑detektorer på CelebDF++ och DF26. Alla detektorer tränades på FaceForensics++, där högre AUROC och lägre EER indikerar bättre prestanda.

Författarna noterar att de flesta detektorer presterar väl på Celeb-DF++ (CDFv3), men faller kraftigt på den mer utmanande nya DF26‑samlingen.

‘[Multiple] toppmoderna detektorer uppnår stark prestanda på CelebDF++ [16] (CDFv3)-benchmarken, med temporala metoder som når en AUROC på 94,3 och 92,3.

‘Men deras prestanda sjunker avsevärt på DF26, till 48,2 respektive 61,6 AUROC.

‘De flesta metoder försämras avsevärt och ligger nära slumpen; den högsta AUROC‑poängen på 69,7 uppnås av GenD-PE.

‘Detta visar att DF26 är en mer utmanande referens för toppmoderna detektorer.’

Image-to-video, de observerar, visade sig svårare att upptäcka än text-to-video, både för människor och automatiska detektorer, där PwTF-DVD presterade bäst på I2V‑material och GenD-PE ledde på T2V.

Prestandan varierade dramatiskt beroende på vilken generator som skapade den falska videon, vilket tyder på att detektorer ofta lärde sig generator‑specifika spår snarare än en allmän signatur för syntetisk video. PwTF-DVD nådde exempelvis 92,9 AUROC på text‑till‑video‑utdata från Wan 2.2, men föll till ungefär slumpmässig prestanda på HunyuanVideo 1.5 – trots att båda tillhörde samma moderna generationslandskap:

Detektorns prestanda över kommersiella och öppna videogeneratorer. Den stora variationen mellan kolumnerna visar att detektionspålitlighet starkt beror på vilken modell som producerade videon, där GenD-PE uppnår den högsta genomsnittliga AUROC‑poängen.

Nedan ser vi att omträning av GenD-PE på nyare DF26‑material avsevärt förbättrade dess förmåga att upptäcka videor från generatorer som den inte hade sett under träning:

Omträningsresultat för GenD-PE över osedda videogeneratorer. Träning på nyare DF26‑material förbättrade generellt kors‑generator‑prestanda jämfört med den ursprungliga FaceForensics++‑träningen.

Träning på HunyuanVideo 1.5 höjde AUROC till minst 93,1 på Grok Imagine 1.0, Veo 3.1 och Wan 2.6, vilket stödjer artikelns argument att detektorer som bara tränats på äldre dataset som FaceForensics++ är dåligt anpassade till dagens generativa video.

Förutsägbart nog hade de två temporala detektorerna mycket lättare att hantera öppna videor än klipp från kommersiella modeller. DFD-FCG sjönk från 57,4 AUROC på öppet material till 34,5 på slutet‑källvideo; medan PwTF-DVD föll från 70,5 till 48,3:

Resultat som jämför två temporala detektorer över generatorkälla och talsscenarium. Båda presterade avsevärt sämre på slutet‑källvideo, medan skillnaderna mellan scenetyper var mindre.

Dock går artikeln inte så långt som att påstå att kommersiella modeller helt enkelt är svårare att upptäcka, eftersom skillnader i modellfamilj, efterbehandling och visuell kvalitet också kan vara faktorer.

Den typ av scen hade mycket mindre betydelse: DFD-FCG låg nära slumpen över direkt‑till‑kamera‑klipp, officiella uttalanden och studiointervjuer, medan PwTF-DVD presterade bäst på officiella uttalanden. Enligt artikeln verkar själva generatorn spela en större roll än presentationsstilen.

En mänsklig studie genomfördes också för att se om människor hade samma svårigheter med DF26 som de automatiska detektorerna. Under 232 märkningstillfällen bedömde deltagarna korta klipp från DF26, CelebDF++ och DeepSpeak v2 som äkta eller falska, utan att få veta hur många exempel av varje klass de skulle se.

Mänsklig noggrannhet över DF26, CelebDF++ och DeepSpeak v2. Deltagarna identifierade äkta videor i liknande grad över alla tre dataset, medan noggrannheten på falska DF26‑videor föll nära slumpen.

Prestandan på äkta videor var likartad över alla tre dataset, med 76,0 % för DF26, 75,5 % för CelebDF++ och 72,8 % för DeepSpeak v2. Skillnaden framkom med de falska videorna, där noggrannheten föll till 52,6 % på DF26, jämfört med 74,5 % och 69,8 % på de två äldre datasetten.

Därför, enligt artikeln, även om deltagarna i allmänhet inte var förvirrade av DF26, hade de svårt att hitta specifik synlig bevisning på att dess syntetiska videor var falska.

Slutsats

Trots en rapporterad 16‑faldig ökning i deepfake‑frekvens under de senaste två åren är den faktiska verkligheten av skadliga deepfakes i stort sett frånvarande i vår vanliga upplevelse, såvida vi inte själva blir mål för dem.

I fallet med offer för sexuella deepfakes är detta helt förståeligt – men eftersom deepfakes nu har en ökande inverkan på bedrägeribrottet, kan det vara bra om mer av detta material kunde delas med allmänheten, så att vårt sammanhang uppdateras från den ‘gyllene åldern’ för autoencoder‑deepfakes till den mycket mer träffsäkra och vilseledande eran av diffusionsbaserade deepfakes.

Naturligtvis dyker det mesta materialet som rör utdata från modellerna i den nya studien, liksom andra modeller, upp utan tillräcklig kontext på sociala medieplattformar vars övervakare antingen kanske inte kan skilja AI från verkligheten, eller som bara inte bryr sig.

Ett ytterligare mått som vi alla kan tillämpa på videor som vi kan tvivla på är rimlig tro – men denna förmåga varierar så mycket mellan individer att den är opålitlig. Det kan därför vara så att under en övergångsperiod, när vi vänjer oss vid teknologins påverkan och dess ständigt ökande kapacitet, måste vi helt enkelt avvakta med bedömning.

Först publicerad måndag 14 september 2026