Deepfake‑deteksjonsnøyaktighet faller 49% i løpet av ett år med AI‑videofremgang

Jeg bemerker med interesse en nytt Ukraina-ledet papir som indikerer at den eldre generasjonen av deepfake‑video detektorer presterer svært dårlig på nåværende toppmoderne genAI‑video, enten generatorene er åpen kilde, lokale AI‑installasjoner som Alibabas Wan 2.2 eller Hunyuan Video; eller kun API‑baserte, lukket kilde‑modeller som Grok Imagine eller Kling.

Klikk for å spille (AUDIO CONTENT). Tre eksempler fra kategorien ‘Direkte til kamera uformell’ i DF26‑datasettet. Kilde 

Tilbake i 2024 hadde et annet papir allerede fastslått at menneskelig evne til å oppdage AI‑video var ikke så mye over sjansen, på 57 %. Hva det nye arbeidet (med tittelen DF26: We Cannot Tell Fake From Real Anymore) legger til, er empirisk bevis på at automatiserte deepfake‑detektorer har falt dramatisk i effektivitet siden da – fra 94 % til 48 %, når de møter den aller nyeste genAI‑videooutputen.

Fra det nye datasettet som er generert for arbeidet, eksempler på bilde‑til‑video og tekst‑til‑video genererte videoer (nedenfor), sammenlignet med ekte videoer til venstre. Korpuset fokuserer på ‘overbevisende’ og troverdige hode‑og‑skulder‑oppsett, som er blant de mest bekymringsfulle genAI‑områdene for øyeblikket. Kilde

Den bratteste nedgangen i testene som ble utført for arbeidet representerer et fall på 49 %. Siden den tidligere referanseverdien stammer fra 2025, og det nye arbeidet tester et spekter av de nyeste 2026‑generasjons videomodellene, representerer dette tallet nesten ett år med forverring av AI‑videodeteksjonseffektiviteten.

Detaljer om modellene som ble brukt til å generere videoene som detektorene ble testet mot.

De lukket kilde‑, kommersielle modellene som ble brukt til å generere dette detektor‑overvinnende resultatet var Grok 1.0; Kling 3.0; Veo 3.1; og Wan 2.6. Kun tekst‑til‑video‑eksempler ble generert for disse, siden forsøk på bilde‑til‑video (I2V)-generering ofte utløste filtre i forhold til ‘deepfake‑generering’, eller ellers ville ha brutt plattformens TOS.

Se inn i øynene

Disse triggerne oppstod sannsynligvis fordi forskerne fokuserte på den potensielt mest kraftfulle, og kanskje også mest skumle formen for videobasert påvirkning – ulike varianter av ‘hode‑og‑skulder’- og ‘snakkende hode’-videoer, med personer som snakker til kamera, slik de gjør i YouTube‑ og TikTok‑influencer‑videoer, eller i en nyhetsrapportasjons‑situasjon (inkludert intervjupersoner via satellittforbindelser osv.).

Forfatterne hevder at disse scenariene er primære mål for deepfake‑aktivitet, ikke minst fordi de representerer ‘influencer’- og ulike andre ‘informasjon’-kontekster – kontekster hvor en antakelse om et tidligere tillitsforhold eksisterer, og hvor dette forholdet dermed har stort potensial for misbruk (naturligvis gjelder dette i minst like stor grad for deepfake‑videokall, selv om forskerne ikke behandler dette).

Fra høydepunktet av autoencoder‑deepfake‑æraen kunne manipulering av ekte Richard Nixon‑opptak simulere hans kunngjøring av døden til Apollo‑9‑astronautene i 1969 – en hendelse som aldri inntraff, men for hvilken det virkelige manuset ble brukt til å pålegge en deepfake‑stemme og leppebevegelser.

I tillegg til å fokusere på dette influencer‑scenariet, konsentrerer den nye referansen – og videoene som er laget for den – seg om å evaluere hele rammen av videoen, i motsetning til historiske deepfake‑deteksjonsstrategier.

De eldre strategiene utførte ansikts‑ eller uttrykksmanipulasjon, eller ansikts‑ (eller i beste fall, fullhode‑) substitusjon i ekte videoer – som faktisk var den eneste rimelige tilnærmingen, inntil diffusionsbaserte modeller ble effektive nok til å erstatte dem i løpet av de siste 18–24 månedene.

Vri ansiktet bort

Det er ikke lenger gjort på den måten; den eldre autoencoder‑baserte metode dateres tilbake til den første fremveksten av deepfakes på slutten av 2017; og denne teknikken, som kun erstatter området innenfor ansiktets ytre konturer, ble fullstendig uttømt innen 2022.

Den viktigste plassen for deepfake‑aktivitet, 2017–2023 – men for den nye generasjonen av genAI‑videoplattformer finnes det ingen slik grense for å konsentrere oppmerksomheten. Kilde

Likevel, siden den vitenskapelige forskningssektoren elsker en langsiktig konstant – hvor målet er fast, og hvor et utviklende spekter av tilnærminger kan kastes mot det over årtier – har metoder for deepfake‑deteksjon basert på ‘inner‑face substitusjon/endre’ vedvart i litteraturen, og i kommersielle deteksjonstilbud, langt utover gyldigheten til den underliggende teknologien som er målet.

I tillegg til de tre lukkede modellene som ble testet for den nye studien, ble også tre svært kapable forbruker‑brukbare åpne kilde‑modeller prøvd: Wan 2.2 A14B; HunyuanVideo 1.5; og LTX 2.3, som har vært blendende for FOSS genAI‑samfunnet i det siste. LTX‑serien kan også generere tale:

Klikk for å spille: eksperimenter med LTX‑serien på r/stablediffusion, hvor fellesskapet kun håndterer FOSS‑modeller. Kilde 

Datadesign

Forfatterne har tenkt seg at deres nye datasett, DF26, skal fungere som et ‘hold‑out’-sett for evaluering av usett materiale. Samlingen består av 2 691 videoer fra tre offentlige talescenarier: direkte til kamera eller uformelle adresser; offisielle uttalelser; og studiointervjuer.

Alle de AI‑genererte videoklippene var basert på 271 virkelige klipp kuratert fra OpenVid; TalkingCelebs; og MAVOS-DD.

Eksempel fra OpenVid‑samlingen, hvor 271 virkelige videoer ble hentet som grunnmateriale for de AI‑genererte videoene i DF26‑samlingen. To andre datasett bidro også til denne ikke‑falske komponenten av DF26. Kilde

De 271 virkelige videoene ble brukt til å generere AI‑videoene ved å utlede matchende sceneprompt fra deres rammer, og deretter mate disse promptene – og den første rammen selv, der det var støttet – inn i de syv videogenerasjonsmodellene, for å produsere totalt 2 420 syntetiske klipp.

Forfatterne sørget for at ingen virkelige rammer med tekstoverlegg (som kunngjøringer om hvem som snakker osv.) ble tillatt inn i generasjonsarbeidsflytene, siden disse sannsynligvis ville ha oppmuntret snarveier og antakelser. Kandidatklipp ble evaluert av Gemini 2.5.

I tillegg ble segmenter med mer enn ett ansikt avvist, for å håndheve en ‘enkelt‑taler’-innstilling.

Klikk for å spille [NO SOUND]. Fra datasettet knyttet til artikkelen, eksempler på toppmoderne videogenereringer fra syv av de nyeste og mest kapable generative modellene, både åpne og lukkede. Modellene som ble brukt for datasettet inkluderer også de som kan generere tale (se eksempler tidligere i denne artikkelen). Kilde

Forskerne brukte den populære kommersielle Higgsfield AI-plattformen, som gjør tilgjengelig et bredt spekter av lukkede og åpne kilde‑modeller, med ulike nivåer av adgangskontroll og beskyttelsesmekanismer.

Med en NVIDIA H200 (141 GB VRAM) som basis‑GPU‑modell for en intern forskningsklynge, tok det omtrent 440 GPU‑timer å generere 1 626 videoer for samlingen.

I tillegg til å sikre at ingen tekst var synlig i resultatet, var det også nødvendig å skjule eller generelt unngå fremvisning av AI‑vannmerking, siden dette også ville representere en potensiell ‘snarvei’ for en evaluator eller evalueringssystem.

Tester

Den primære metrikken som ble brukt for en avsluttende testrunde var Area Under Receiver Operating Characteristic Curve (AUC / AUROC), med Equal Error Rate (EER) som et komplementært mål.

Ramme‑baserte detektorer (som vurderer enkeltbilder uavhengig) ble testet på 32 jevnt fordelte rammer fra hver video, med poengene deretter gjennomsnittet til ett resultat. Temporale detektorer (som kan bruke informasjon fra påfølgende rammer) analyserte i stedet selve videosekvensen.

Resultatene for de temporale detektorene DFD-FCG og PwTF-DVD kan sees nedenfor, sammen med resultater for ForAda; Effort; FSFM; GenD-CLIP og GenD-DINO; og DFD-HR. Alle ble trent på det anerkjente FaceForensics++-datasettet.

Testresultater som sammenligner deepfake‑detektorer på CelebDF++ og DF26. Alle detektorer ble trent på FaceForensics++, med høyere AUROC og lavere EER som indikerer bedre ytelse.

Forfatterne bemerker at de fleste detektorene presterer godt på Celeb-DF++ (CDFv3), men faller kraftig på den mer utfordrende nye DF26‑samlingen.

‘[Multiple] state-of-the-art detektorer oppnår sterk ytelse på CelebDF++ [16] (CDFv3) benchmark, med temporale metoder som når en AUROC på 94,3 og 92,3.

‘Imidlertid faller ytelsen deres betydelig på DF26, til henholdsvis 48,2 og 61,6 AUROC.

‘De fleste metodene forverres betydelig, og ligger nær tilfeldig; den høyeste AUROC på 69,7 oppnås av GenD-PE.

‘Dette viser at DF26 er en mer utfordrende referanse for toppmoderne detektorer.’

De observerer at bilde‑til‑video viste seg vanskeligere å oppdage enn tekst‑til‑video, både for mennesker og automatiske detektorer, hvor PwTF-DVD presterte best på I2V‑materiale, og GenD-PE ledet på T2V.

Ytelsen varierte dramatisk avhengig av hvilken generator som produserte den falske videoen, noe som tyder på at detektorene ofte lærte generator‑spesifikke spor i stedet for en generell signatur for syntetisk video. PwTF-DVD nådde for eksempel 92,9 AUROC på tekst‑til‑video‑utdata fra Wan 2.2, men falt til omtrent tilfeldig ytelse på HunyuanVideo 1.5 – selv om begge tilhørte samme moderne generasjonslandskap:

Detektorens ytelse på tvers av kommersielle og åpne videogeneratorer. Den store variasjonen mellom kolonnene viser at påliteligheten av deteksjon avhenger sterkt av hvilken modell som produserte videoen, med GenD-PE som oppnår høyest gjennomsnittlig AUROC.

Nedenfor ser vi at nyopplæring av GenD-PE på nyere DF26‑materiale vesentlig forbedret evnen til å oppdage videoer fra generatorer den ikke hadde sett under trening:

Resultater fra nyopplæring av GenD-PE på ukjente videogeneratorer. Opplæring på nyere DF26‑materiale forbedret generelt tverrgenerator‑ytelsen sammenlignet med den opprinnelige FaceForensics++‑opplæringen.

Opplæring på HunyuanVideo 1.5 økte AUROC til minst 93,1 på Grok Imagine 1.0, Veo 3.1 og Wan 2.6, og støtter artikkelens påstand om at detektorer som kun er trent på eldre datasett som FaceForensics++ er dårlig tilpasset dagens generative video.

Kanskje forutsigbart hadde de to temporale detektorene mye lettere for åpne videoklipp enn for klipp fra kommersielle modeller. DFD-FCG falt fra 57,4 AUROC på åpen kildekode‑materiale, sammenlignet med 34,5 på lukket kildekode‑video; mens PwTF-DVD falt fra 70,5 til 48,3:

Resultater som sammenligner to temporale detektorer på tvers av generatorkilde og talescenario. Begge presterte betydelig dårligere på lukket kildekode‑video, mens forskjellene mellom scenetyper var mindre.

Imidlertid går artikkelen ikke så langt som å erklære at kommersielle modeller er simpelthen vanskeligere å oppdage, siden forskjeller i modellfamilie, etterbehandling og visuell kvalitet også kan være faktorer.

The type av scene betydde mye mindre: DFD-FCG holdt seg nær tilfeldig på direkte‑til‑kamera‑klipp, offisielle uttalelser og studiointervjuer, mens PwTF-DVD gjorde det best på offisielle uttalelser. Ifølge artikkelen ser det ut til at generatoren selv er viktigere enn presentasjonsstilen.

En menneskelig studie ble også gjennomført for å se om folk hadde samme problemer med DF26 som de automatiserte detektorene. På tvers av 232 merkingsøkter vurderte deltakerne korte klipp fra DF26, CelebDF++ og DeepSpeak v2 som ekte eller falske, uten å bli fortalt hvor mange eksempler av hver klasse de ville se.

Menneskelig nøyaktighet på tvers av DF26, CelebDF++ og DeepSpeak v2. Deltakerne identifiserte ekte videoer med lignende frekvens på alle tre datasett, mens nøyaktigheten på falske DF26‑videoer falt nær tilfeldig.

For ekte videoer var resultatene omtrent like i de tre datasettene. DF26 oppnådde 76,0 %, mens CelebDF++ nådde 75,5 % og DeepSpeak v2 nådde 72,8 %. Forskjellen viste seg for de falske videoene: Nøyaktigheten på DF26 falt til 52,6 %, sammenlignet med henholdsvis 74,5 % og 69,8 % på de to eldre datasettene.

Derfor, ifølge artikkelen, selv om deltakerne generelt ikke var forvirret av DF26, hadde de problemer med å finne spesifikk synlig bevis på at de syntetiske videoene var falske.

Konklusjon

Til tross for en rapportert 16‑ganger økning i deepfake‑frekvens de siste to årene, er den faktiske realiteten av ondsinnede deepfakes stort sett fraværende i vår vanlige opplevelse, med mindre vi selv blir målrettet av dem.

I tilfelle av ofre for seksuelle deepfakes er dette helt forståelig – men siden deepfakes nå har en økende påvirkning på svindelkriminalitet, kan det være nyttig om mer av dette materialet kan deles med publikum, slik at vår kontekst oppdateres fra den «gyldne æraen» av autoencoder‑deepfakes til den langt mer treffende og villedende epoken med diffusionsbaserte deepfakes.

Selvfølgelig dukker mest materiale som gjelder output fra modellene i den nye studien, så vel som andre modeller, opp uten tilstrekkelig kontekst på sosiale medieplattformer hvis tilsynsførere enten kanskje ikke kan skille AI fra ekte, eller som bare ikke bryr seg.

Et ekstra mål vi alle kan bruke på videoer vi er i tvil om, er rimelig godtroenhet – men denne evnen varierer så mye mellom individer at den er upålitelig. Derfor kan det være at vi i en overgangsperiode, mens vi tilpasser oss virkningen av denne teknologien og dens stadig økende kapasiteter, ganske enkelt må utsette vurderingen.

Først publisert mandag 14. september 2026