Nøjagtigheden af deepfake-detektion falder med 49% på et år med AI-videofremskridt

Jeg bemærker med interesse en ny undersøgelse ledet af ukrainske forskere, som viser, at den ældre generation af detektorer til deepfakevideoer klarer sig meget dårligt på videoer fra nutidens mest avancerede generative AI. Det gælder både generatorer med åben kildekode, der kører lokalt, såsom Alibabas Wan 2.2 eller Hunyuan Video, og modeller med lukket kildekode, som kun er tilgængelige via en API, såsom Grok Imagine eller Kling.

Klik for at afspille (LYDINDHOLD). Tre eksempler fra kategorien ‘Direkte til kamera afslappet’ i DF26-datasættet. Kilde 

Tilbage i 2024 havde et andet papir allerede fastslået, at menneskers evne til at opdage AI-video var ikke så meget bedre end tilfældet, på 57 %. Det, som det nye arbejde (med titlen DF26: Vi kan ikke længere skelne falsk fra ægte) tilføjer, er empirisk bevis for, at automatiserede deepfake-detektorer er faldet dramatisk i effektivitet siden da – fra 94 % til 48 %, når de konfronteres med den helt nye genAI-videooutput.

Fra det nye datasæt, der er genereret til arbejdet, eksempler på billed-til-video og tekst-til-video genererede videoer (nedenfor), sammenlignet med ægte videoer til venstre. Korpuset fokuserer på ‘overbevisende’ og troværdige hoved- og skulderopsætninger, som er blandt de mest bekymrende genAI-domæner i øjeblikket. Kilde

Det stejleste fald i de test, der blev udført for arbejdet, udgør et fald på 49 %. Da den tidligere benchmark stammer fra 2025, og det nye arbejde tester en række af de nyeste 2026-generation video-modeller, repræsenterer dette tal næsten et år med forringelse af AI-video-detektionens effektivitet.

Detaljer om de modeller, der blev brugt til at generere videoerne, som detektorerne blev testet imod.

De lukkede, kommercielle modeller, der blev brugt til at generere dette detector-omgående output, var Grok 1.0; Kling 3.0; Veo 3.1; og Wan 2.6. Kun tekst-til-video eksempler blev genereret for disse, da forsøg på billed-til-video (I2V) generationer ofte udløste filtre i forhold til ‘deepfake-generering’, eller ellers ville have overtrådt platformens TOS.

Se ind i mine øjne

Disse udløsere opstod sandsynligvis, fordi forskerne fokuserede på den potentielt mest kraftfulde og måske også mest uhyggelige form for video-baseret overtalelse – forskellige variationer af ‘hoved- og skulder’- og ‘talende hoved’-videoer, hvor personer taler til kameraet, som de ville i YouTube- og TikTok-influencervideoer eller i en nyhedsrapporteringskontekst (herunder interviewpersoner via satellitforbindelser osv.).

Forfatterne hævder, at disse scenarier er primære mål for deepfake-aktivitet, ikke mindst fordi de repræsenterer ‘influencer’- og forskellige andre ‘informations’-kontekster – kontekster hvor en antagelse om et forudgående tillidsforhold eksisterer, og hvor dette forhold derfor har stort potentiale for misbrug (naturligvis gælder dette i det mindste lige så meget for deepfake videoopkald, selvom forskerne ikke behandler dette).

Fra toppen af autoencoder‑deepfake‑alderen var manipulation af ægte Richard Nixon‑optagelser i stand til at simulere hans meddelelse om dødsfaldet for Apollo 9‑astronauterne i 1969 – en begivenhed der aldrig fandt sted, men hvor det virkelige manuskript blev brugt til at påtvinge en deepfaket stemme og læbebevægelser.

Udover at fokusere på dette influencer‑scenario, koncentrerer den nye benchmark – og de videoer, der er lavet til den – sig på at evaluere hele rammen af videoen, i modsætning til historiske deepfake-detektionstrategier.

De ældre strategier udførte ansigts‑ eller udtryksmanipulation, eller ansigts‑ (eller i bedste fald, fuld hoved‑) substitution inden for ægte videoer – hvilket faktisk var den eneste fornuftige tilgang, indtil diffusions‑baserede modeller blev effektive nok til at erstatte dem i løbet af de sidste 18‑24 måneder.

Vend ansigtet væk

Det er ikke længere sådan; den ældre autoencoder‑baserede metode går tilbage til den første fremkomst af deepfakes i slutningen af 2017; og denne teknik, som kun erstatter området inden for ansigtets ydre konturer, var fuldstændig udtømt i 2022.

Det primære område for deepfake‑aktivitet, 2017‑2023 – men for den nye generation af genAI‑videoplatforme findes der ingen sådan grænse for at koncentrere opmærksomheden. Kilde

Alligevel, da den videnskabelige forskningssektor elsker en langsigtet konstant – hvor målet er fast, og hvor en udviklende række tilgange kan kastes mod det over årtier – har metoder til deepfake-detektion baseret på ‘inner-face substitution/amendment’ vedvaret i litteraturen og i kommercielle detektionsprodukter, langt ud over gyldigheden af den underliggende teknologi, der er målet.

Ud over de tre lukkede kilde-modeller, der blev testet for det nye arbejde, blev også tre meget kapable forbruger-venlige open source-modeller afprøvet: Wan 2.2 A14B; HunyuanVideo 1.5; og LTX 2.3, som har blændet FOSS genAI-fællesskabet for nylig. LTX-serien kan også generere tale:

Klik for at afspille: eksperimenter med LTX-serien på r/stablediffusion, hvis fællesskab kun beskæftiger sig med FOSS-modeller. Kilde 

Data Design

Forfatterne har til hensigt, at deres nye datasæt, DF26, skal fungere som et ‘hold-out’-sæt til evaluering af uudforsket materiale. Samlingen består af 2.691 videoer inden for tre offentlige taler-scenarier: direkte til kamera eller uformelle adresser; officielle udtalelser; og studieinterviews.

Alle de AI-genererede videoklip var baseret på 271 virkelige klip udvalgt fra OpenVid; TalkingCelebs; og MAVOS-DD.

Eksempel fra OpenVid‑samlingen, hvorfra 271 virkelige videoer blev hentet som grundmateriale til de AI‑genererede videoer i DF26‑samlingen. To andre datasæt bidrog også til denne ikke‑falske komponent af DF26. Kilde

De 271 virkelige videoer blev brugt til at generere AI-videoerne ved at udlede matchende sceneprompt fra deres rammer og derefter fodre disse prompts – samt den første ramme selv, hvor det var understøttet – ind i de syv video‑genereringsmodeller, hvilket resulterede i i alt 2.420 syntetiske klip.

Forfatterne sikrede, at ingen virkelige rammer med tekstoverlejringer (såsom meddelelser om, hvem der taler osv.) blev tilladt i genereringsprocesserne, da disse sandsynligvis ville have fremmet shortcuts og antagelser. Kandidatklip blev evalueret af Gemini 2.5.

Derudover blev segmenter med mere end ét ansigt afvist for at håndhæve en ‘enkelt taler’-indstilling.

Klik for at afspille [NO SOUND]. Fra datasættet tilknyttet artiklen, eksempler på state-of-the-art video‑generationer på tværs af syv af de nyeste og mest kapable generative modeller, både open og closed source. Modellerne, der blev brugt til datasættet, inkluderer også dem, der kan generere tale (se eksempler tidligere i denne artikel). Kilde

Forskerne brugte den populære kommercielle Higgsfield AI-platform, som stiller en bred vifte af lukkede og åbne kilde-modeller til rådighed, med forskellige grader af adgangskontrol og guardrails.

Med en NVIDIA H200 (141 GB VRAM) som grundlæggende GPU‑model for en intern forskningsklynge, tog det omkring 440 GPU‑timer at generere 1.626 videoer til samlingen.

Udover at sikre, at ingen tekst var synlig i outputtet, var det også nødvendigt at sløre eller generelt undgå fremstillingen af vandmærkning af AI-genereret indhold, da dette også ville udgøre en potentiel ‘shortcut’ for en evaluator eller evalueringssystem.

Tests

Den primære måling, der blev brugt i den afsluttende testrunde, var Area Under Receiver Operating Characteristic Curve (AUC / AUROC), med Equal Error Rate (EER) som et supplerende mål.

Ramme‑baserede detektorer (som vurderer enkelte rammer uafhængigt) blev testet på 32 jævnt fordelte rammer fra hver video, hvorefter scorerne blev gennemsnittet til et enkelt resultat. Temporale detektorer (som kan bruge information fra på hinanden følgende rammer) analyserede i stedet selve videosekvensen.

Resultaterne for de temporale detektorer DFD-FCG og PwTF-DVD kan ses nedenfor, sammen med resultater for ForAda; Effort; FSFM; GenD-CLIP og GenD-DINO; samt DFD-HR. Alle blev trænet på det ærede FaceForensics++-datasæt.

Testresultater, der sammenligner deepfake‑detektorer på CelebDF++ og DF26. Alle detektorer blev trænet på FaceForensics++, hvor højere AUROC og lavere EER indikerer bedre præstation.

Forfatterne bemærker, at de fleste detektorer klarer sig godt på Celeb-DF++ (CDFv3), men falder kraftigt på den mere udfordrende nye DF26‑samling.

‘[Multiple] state-of-the-art detektorer opnår stærk præstation på CelebDF++ [16] (CDFv3) benchmark, med temporale metoder, der når en AUROC på 94,3 og 92,3.

‘Dog deres præstation falder betydeligt på DF26, til henholdsvis 48,2 og 61,6 AUROC.

‘De fleste metoder forringes markant og ligger tæt på tilfældighed; den højeste AUROC på 69,7 opnås af GenD-PE.

‘Dette viser, at DF26 er en mere udfordrende benchmark for de mest avancerede detektorer.’

Image-to-video viser sig, ifølge observationerne, at være sværere at opdage end text-to-video, både for mennesker og automatiske detektorer, hvor PwTF-DVD klarer sig bedst på I2V-materiale, og GenD-PE fører på T2V.

Præstationen varierede dramatisk afhængigt af, hvilken generator der producerede den falske video, hvilket tyder på, at detektorer ofte lærte generator‑specifikke spor frem for et generelt kendetegn for syntetisk video. PwTF-DVD nåede for eksempel 92,9 AUROC på text-to-video‑output fra Wan 2.2, men faldt til omtrent tilfældig præstation på HunyuanVideo 1.5 – selvom begge tilhørte den samme moderne generationslandskab:

Detektorpræstation på kommercielle og open‑source video‑generatorer. Den store variation mellem kolonnerne viser, at pålideligheden af detektering afhænger stærkt af, hvilken model der har produceret videoen, hvor GenD-PE opnår den højeste samlede gennemsnitlige AUROC.

Nedenfor ser vi, at gen‑træning af GenD-PE på nyere DF26‑materiale væsentligt forbedrede dens evne til at opdage videoer fra generatorer, den ikke havde set under træning:

Gen‑træningsresultater for GenD-PE på uobserverede video‑generatorer. Træning på nyere DF26‑materiale forbedrede generelt kryds‑generator‑præstationen sammenlignet med den oprindelige FaceForensics++‑træning.

Træning på HunyuanVideo 1.5 hævede AUROC til mindst 93,1 på Grok Imagine 1.0, Veo 3.1 og Wan 2.6, hvilket understøtter artiklens argument om, at detektorer, der kun er trænet på ældre datasæt som FaceForensics++, er dårligt tilpasset nutidens generative video.

Måske forudsigeligt havde de to temporale detektorer meget lettere ved open‑source video end ved klip fra kommercielle modeller. DFD-FCG faldt fra 57,4 AUROC på open‑source materiale til 34,5 på lukket kilde‑video; mens PwTF-DVD faldt fra 70,5 til 48,3:

Resultater, der sammenligner to temporale detektorer på tværs af generator‑kilde og talende scenarie. Begge klarede sig væsentligt dårligere på lukket kilde‑video, mens forskellene mellem scenetyper var mindre.

Dog stopper artiklen kort før at erklære, at kommercielle modeller simpelthen er sværere at opdage, da forskelle i model‑familie, efterbehandling og visuel kvalitet også kan spille ind.

Den type af scene havde meget mindre betydning: DFD-FCG holdt sig tæt på tilfældighed på direkte‑til‑kamera‑klip, officielle udtalelser og studieinterviews, mens PwTF-DVD klarede sig bedst på officielle udtalelser. Ifølge artiklen synes selve generatoren at have større betydning end præsentationsstilen.

En menneskelig undersøgelse blev også gennemført for at se, om folk havde samme problemer med DF26 som de automatiske detektorer. På tværs af 232 mærkningssessioner vurderede deltagerne korte klip fra DF26, CelebDF++ og DeepSpeak v2 som ægte eller falske, uden at blive informeret om, hvor mange eksempler af hver klasse de ville se.

Menneskelig nøjagtighed på tværs af DF26, CelebDF++ og DeepSpeak v2. Deltagerne identificerede ægte videoer med lignende hyppighed på alle tre datasæt, mens nøjagtigheden på falske DF26‑videoer faldt til næsten tilfældighed.

For ægte videoer var resultaterne omtrent ens på tværs af de tre datasæt. DF26 opnåede 76,0 %, mens CelebDF++ nåede 75,5 % og DeepSpeak v2 nåede 72,8 %. Forskellen viste sig ved de falske videoer: Nøjagtigheden på DF26 faldt til 52,6 %, sammenlignet med henholdsvis 74,5 % og 69,8 % på de to ældre datasæt.

Derfor, ifølge artiklen, selvom deltagerne generelt ikke var forvirrede af DF26, havde de svært ved at finde specifik synlig evidens for, at de syntetiske videoer var falske.

Konklusion

På trods af en rapporteret 16‑gange stigning i deepfake‑frekvensen de sidste to år, er den faktiske realitet af ondsindede deepfakes stort set fraværende i vores daglige oplevelse, medmindre vi selv bliver mål for dem.

I tilfælde af ofre for seksuelle deepfakes er dette fuldstændig forståeligt – men da deepfakes nu har en stigende indvirkning på bedragericriminalitet, kan det være nyttigt, hvis mere af dette materiale kunne deles med offentligheden, så vores kontekst opdateres fra ‘den gyldne æra’ af autoencoder-deepfakes til den langt mere skarpe og vildledende æra af diffusionsbaserede deepfakes.

Selvfølgelig dukker det meste materiale relateret til output fra modellerne i den nye undersøgelse, såvel som andre modeller, op uden tilstrækkelig kontekst på sociale medieplatforme, hvis tilsynsførende enten måske ikke kan skelne AI fra det ægte, eller som bare ikke bekymrer sig.

Et yderligere mål, som vi alle kan anvende på videoer, vi måske tvivler på, er rimelig godtroenhed – men denne evne varierer så meget mellem individer, at den er upålidelig. Det kan derfor være, at vi i en overgangsperiode, mens vi vænner os til denne teknologis indvirkning og dens stadigt stigende kapaciteter, simpelthen må udsætte dommen.

Først offentliggjort mandag den 14. september 2026