Deepfake-tunnistuksen tarkkuus laskee 49% vuoden AI‑videokehityksen aikana

Huomautan kiinnostuksella uusi Ukraina‑johtoinen tutkimus, jonka mukaan vanhemman sukupolven deepfake‑videon tunnistimet suoriutuvat erittäin huonosti nykyisellä huipputason genAI‑videolla, oli sitten kyse avoimen lähdekoodin generaattoreista, paikallisista AI‑asennuksista kuten Alibaban Wan 2.2 tai Hunyuan Video; tai pelkästään API‑pohjaisista, suljetun lähdekoodin malleista kuten Grok Imagine tai Kling.

Napsauta toistamista (ÄÄNI­SISÄLTÖ). Kolme esimerkkiä DF26‑aineiston ‘Suoraan kameraan – rento’ -kategoriasta. Lähde 

Vuonna 2024 toinen tutkimus oli jo osoittanut, että ihmisen kyky havaita AI‑video oli ei juuri satunnaisuutta parempi, 57 %:ssa. Uusi työ (nimeltään DF26: Emme enää pysty erottamaan väärää todellisesta) lisää empiirisen todisteen siitä, että automatisoidut deepfake‑tunnistimet ovat menettäneet merkittävästi tehokkuutta sen jälkeen – 94 %:sta 48 %:iin, kun ne kohtaavat aivan uusimman genAI‑videotuotannon.

Uudesta työtä varten luodusta aineistosta esitetään kuva‑videoksi ja teksti‑videoksi tuotettuja videoita (alla), verrattuna vasemmalla oleviin todellisiin videoihin. Kokoelma keskittyy ‘vakuuttaviin’ ja uskottaviin pää‑ ja olkapääasetelmiin, jotka ovat tällä hetkellä huolestuttavimpia genAI‑alueita. Lähde

Testien jyrkin heikkeneminen, joka tehtiin työn yhteydessä, osoittaa 49 %:n pudotuksen. Koska aikaisempi vertailukohta on vuodelta 2025 ja uusi työ testaa vuoden 2026 uusimpien videomallien sarjaa, tämä luku vastaa lähes vuoden ajan kestänyttä AI‑videotunnistuksen heikentymistä.

Käytettyjen videoiden tuottamiseen hyödynnettyjen mallien tiedot, joita vastaan tunnistimia testattiin.

Tämän tunnistimia kiertävän sisällön tuottamiseen käytetyt suljetun lähdekoodin kaupalliset mallit olivat Grok 1.0; Kling 3.0; Veo 3.1; ja Wan 2.6. Näille luotiin vain teksti‑videoesimerkkejä, sillä kuva‑videoksi (I2V) -yritykset laukaisevat usein suodattimia ‘deepfake‑luontiin’ liittyen tai rikkoisivat alustan käyttöehtoja.

Katso Silmiini

Nämä suodattimet ilmenivät todennäköisesti, koska tutkijat keskittyivät video‑pohjaisen vaikuttamisen mahdollisesti voimakkaimpaan ja kiistanalaisesti myös pahantahtoisimpaan muotoon – moninaisiin ‘pää‑ ja olkapää’ sekä ‘puhuva pää’ -videoihin, joissa henkilöt puhuvat suoraan kameraan, kuten YouTubessa ja TikTokissa vaikuttajavideoissa tai uutisraportoinnissa (mukaan lukien satelliittiyhteyksien kautta haastateltavat jne.).

Kirjoittajat väittävät, että nämä tilanteet ovat keskeisiä kohteita deepfake‑toiminnalle, ei vähiten siksi, että ne edustavat ‘vaikuttaja’- ja erilaisia ‘informatiivisia’ konteksteja – konteksteja, joissa oletetaan olemassa oleva luottamussuhde, ja jossa tämä suhde tarjoaa suuria väärinkäytön mahdollisuuksia (tämä koskee luonnollisesti yhtä lailla myös deepfake‑videopuheluita, vaikka tutkijat eivät käsittele sitä).

Autokooderin deepfake‑kauden huipulta manipuloitiin aitoa Richard Nixonin materiaalia, jolloin pystyi simuloimaan hänen ilmoituksensa Apollo 9 -astronauttien kuolemasta vuonna 1969 – tapahtuma, joka ei koskaan tapahtunut, mutta jonka todellinen käsikirjoitus käytettiin syöttämään deepfake‑ääni ja -huulten liikkeet.

Keskittyessään tähän vaikuttajaskenaarioon, uusi vertailuarvo – ja sille luodut videot – painottavat videon koko kehyksen arviointia, toisin kuin historialliset deepfake‑tunnistustaktiikat.

Nuo vanhemmat strategiat toteuttivat kasvo- tai ilme­manipulaatiota, tai kasvojen (tai parhaimmillaan koko pään) korvaamista todellisissa videoissa – mikä oli todellakin ainoa järkevä tapa, kunnes diffuusioon perustuvat mallit tulivat riittävän tehokkaiksi korvaamaan ne viimeisten 18–24 kuukauden aikana.

Käännä Kasvot Pois

Näin ei enää tehdä; vanhempi autokooderipohjainen menetelmä juontaa juurensa deepfakejen alkuaikaan loppuvuodesta 2017; ja tämä tekniikka, joka korvaa vain alueen kasvojen ulkoisissa linjoissa, oli vuoteen 2022 mennessä täysin kulutettu.

Syvimmät kohteet deepfake‑toiminnalle vuosina 2017–2023 – mutta uudelle genAI‑videoplatformien sukupolvelle ei ole tällaista raja‑aluetta, johon huomio voitaisiin kohdistaa. Lähde

Kuitenkin, koska tieteellisen tutkimuksen ala rakastaa pitkän aikavälin vakioita – jossa kohde on kiinteä, ja jossa kehittyvä lähestymistapojen kirjo voidaan kohdistaa siihen vuosien tai vuosikymmenten aikana – syvävalokuvan (deepfake) tunnistusmenetelmät, jotka perustuvat ‘kasvojen sisäiseen korvaamiseen/muokkaamiseen’, ovat jatkuneet kirjallisuudessa ja kaupallisissa tunnistusratkaisuissa paljon pidemmälle kuin kohdistetun teknologian pätevyys.

Uuden työn yhteydessä testattujen kolmen suljetun lähdekoodin mallin lisäksi kokeiltiin myös kolmea erittäin kyvykästä kuluttajille soveltuvaa avointa lähdekoodia: Wan 2.2 A14B; HunyuanVideo 1.5; ja LTX 2.3, joka on viime aikoina hämmästyttänyt FOSS genAI -yhteisöä. LTX-sarja pystyy myös puhetta tuottamaan:

Napsauta toistaaksesi: kokeita LTX-sarjan kanssa r/stablediffusionissa, jonka yhteisö käsittelee vain FOSS-malleja. Lähde 

Datan suunnittelu

Tekijät aikovat uuden datansa, DF26:n, ‘hold-out’-joukoksi näkemättömän materiaalin arviointia varten. Kokoelma koostuu 2 691 videosta, jotka kattavat kolme puhetilannetta: suora kameraan tai rento puhe; viralliset lausunnot; ja studiokeskustelut.

Kaikki tekoälyn tuottamat videoleikkeet perustuivat 271 todelliseen leikkeeseen, jotka on kerätty OpenVid-palvelusta; TalkingCelebs-palvelusta; ja MAVOS-DD-kokoelmasta.

Näyte OpenVid-kokoelmasta, josta 271 todellista videota otettiin AI-tuotettujen videoiden DF26-kokoelman perusmateriaaliksi. Kaksi muuta datasettiä myös osallistuivat tähän ei-valheelliseen DF26:n osaan. Lähde

271 todellista videota käytettiin AI-videoiden tuottamiseen johdettujen kohtauskehotteiden avulla, jotka on otettu niiden ruuduista, ja syöttämällä nämä kehotteet – sekä ensimmäisen ruudun itse, jos tuettu – seitsemään videogeneraattorimalliin, jolloin syntyi yhteensä 2 420 synteettistä leikkausta.

Tekijät varmistivat, että todellisissa ruuduissa, joissa on tekstiä (kuten ilmoituksia siitä, kuka puhuu, jne.), ei päästetty generointiprosesseihin, koska ne todennäköisesti olisivat rohkaisseet pikareittejä ja oletuksia. Ehdokasleikkeet arvioitiin Gemini 2.5-mallilla.

Lisäksi segmentit, joissa esiintyi useampi kuin yksi kasvot, hylättiin, jotta voidaan toteuttaa ‘yksi puhuja’ -asetus.

Napsauta toistaaksesi [NO SOUND]. Käsitteeseen liitetystä datasetistä, esimerkkejä huipputason videogeneraatiosta seitsemän uusimman ja kyvykkäimmän generatiivisen mallin avulla, sekä avoimen että suljetun lähdekoodin. Datasetissä käytetyt mallit sisältävät myös puhetta tuottavat (katso esimerkit aiemmin tässä artikkelissa). Lähde

Tutkijat käyttivät suosituinta kaupallista Higgsfield AI -alustaa, joka tarjoaa laajan valikoiman suljettuja ja avoimia malleja, erilaisilla valvontatasoilla ja turvaväleillä.

Käyttäen NVIDIA H200:ta (141 GB VRAM-muistia) sisäisen tutkimusklusterin perus‑GPU‑mallina, videokokoelman 1 626 videon tuottamiseen kului noin 440 GPU‑tuntia.

Varmistamisen lisäksi, että tuotoksessa ei ollut näkyvää tekstiä, oli myös tarpeen hämärtää tai yleisesti välttää AI‑vesileiman esittämistä, koska sekin voisi toimia mahdollisena ‘pikareittinä’ arvioijalle tai arviointijärjestelmälle.

Testit

Ensisijainen mittari, jota käytettiin viimeisessä testikierroksessa, oli vastaanottajan operatiivisen karakteristinen käyrä (Area Under Receiver Operating Characteristic Curve) (AUC / AUROC), ja täydentävänä mittarina käytettiin yhtäläistä virherataa (EER).

Kehyspohjaisia detektoreita (jotka arvioivat yksittäisiä kehyksiä itsenäisesti) testattiin 32 tasaisesti jakautuvalla kehyksellä jokaisesta videosta, ja pisteet keskiarvoiltiin yhdeksi tulokseksi. Aikapohjaiset detektorit (jotka voivat hyödyntää peräkkäisten kehysten tietoja) sen sijaan analysoivat videosekvenssiä kokonaisuutena.

Alla nähdään aikapohjaisten detektorien DFD-FCG ja PwTF-DVD tulokset, sekä tulokset detektoreille ForAda; Effort; FSFM; GenD-CLIP ja GenD-DINO; sekä DFD-HR. Kaikki on koulutettu arvostetulla FaceForensics++-datasetillä.

Testitulokset, joissa verrattiin deepfake-detektoreita CelebDF++- ja DF26-datasetissä. Kaikki detektorit on koulutettu FaceForensics++-datasetillä, ja korkeampi AUROC sekä alhaisempi EER osoittavat parempaa suorituskykyä.

Tekijät huomauttavat, että suurin osa detektoreista suoriutuu hyvin Celeb-DF++ (CDFv3) -datasetissä, mutta heikkoon suoritukseen kohdistuu merkittävästi haastavammassa uudessa DF26-kokoelmassa.

‘[Multiple] huipputason detektorit saavuttavat vahvan suorituskyvyn CelebDF++ [16] (CDFv3) -vertailussa, ja aikapohjaiset menetelmät saavuttavat AUROC-arvot 94.3 ja 92.3.

Kuitenkin niiden suorituskyky heikkenee merkittävästi DF26:lla, 48,2:ksi ja 61,6:ksi AUROC:ksi vastaavasti.

Useimmat menetelmät heikkenevät merkittävästi, pysyen lähellä satunnaisuutta; korkein AUROC, 69,7, saavutetaan GenD-PE:llä.

Tämä osoittaa, että DF26 on haastavampi vertailuarvo huipputason tunnistajille.

Kuvasta videoon -materiaalin havaitseminen osoittautui vaikeammaksi kuin tekstistä videoon, sekä ihmisille että automatisoiduille tunnistajille, jolloin PwTF-DVD suoriutui parhaiten I2V‑materiaalissa ja GenD-PE johti T2V‑materiaalissa.

Suorituskyky vaihteli dramaattisesti sen mukaan, mikä generaattori tuotti väärennetyn videon, mikä viittaa siihen, että tunnistajat oppivat usein generaattorikohtaisia jälkiä yleisen synteettisen videon tunnisteen sijaan. PwTF-DVD esimerkiksi saavutti 92,9 AUROC:n tekstistä videoon -tuotannossa Wan 2.2:sta, mutta laski suunnilleen satunnaiseen tasoon HunyuanVideo 1.5:ssä – vaikka molemmat kuuluivat samaan nykyaikaiseen generaattorimaisemaan:

Tunnistajien suorituskyky eri kaupallisten ja avoimen lähdekoodin videogeneraattoreiden välillä. Sarakkeiden välinen suuri vaihtelu osoittaa, että havaitsemisen luotettavuus riippuu voimakkaasti siitä, mikä malli tuotti videon, ja GenD-PE saavutti korkein kokonaiskeski‑AUROC.

Alla nähdään, että GenD-PE:n uudelleenkoulutus uudella DF26‑materiaalilla paransi merkittävästi sen kykyä havaita videoita generaattoreista, joita se ei ollut nähnyt koulutuksen aikana:

GenD-PE:n uudelleenkoulutustulokset näkemättömiä videogeneraattoreita vastaan. Koulutus uudella DF26‑materiaalilla paransi yleisesti generaattorien välistä suorituskykyä verrattuna alkuperäiseen FaceForensics++‑koulutukseen.

Koulutus HunyuanVideo 1.5:llä nosti AUROC:n vähintään 93,1:een Grok Imagine 1.0:ssa, Veo 3.1:ssä ja Wan 2.6:ssa, mikä tukee artikkelin väitettä, että pelkästään vanhoilla aineistoilla kuten FaceForensics++:lla koulutetut tunnistajat eivät sovellu nykyiseen generatiiviseen videoon.

Ehkä odotetusti, kahdella aikapohjaisella tunnistajalla oli paljon helpompi havaita avoimen lähdekoodin videoita kuin kaupallisten mallien leikkeitä. DFD-FCG laski 57,4 AUROC:sta avoimen lähdekoodin materiaalissa 34,5:een suljetun lähdekoodin videossa; kun taas PwTF-DVD putosi 70,5:stä 48,3:een:

Tulokset kahden aikapohjaisen tunnistajan vertailusta generaattorin lähteen ja puhetilanteen mukaan. Molemmat suoriutuivat merkittävästi heikommin suljetun lähdekoodin videossa, kun taas kohtauksen tyyppien väliset erot olivat pienemmät.

Kuitenkin artikkeli ei suoraan väitä, että kaupalliset mallit olisivat yksinkertaisesti vaikeampia havaita, sillä malliperheen, jälkikäsittelyn ja visuaalisen laadun erot voivat myös olla tekijöitä.

Kohtauksen tyyppi merkitsi paljon vähemmän: DFD-FCG pysyi lähellä satunnaisuutta suoraan kameralle suunnatuissa leikkeissä, virallisissa lausunnoissa ja studiokeskusteluissa, kun taas PwTF-DVD menestyi parhaiten virallisissa lausunnoissa. Artikkelin mukaan itse generaattori vaikuttaa tärkeämmältä kuin esitystyyli.

Ihmisillä tehtiin myös tutkimus selvittääkseen, kamppailevatko ihmiset DF26:n kanssa samalla tavalla kuin automatisoidut tunnistajat. 232 merkintäistunnin aikana osallistujat arvioivat lyhyitä leikkejä DF26:sta, CelebDF++:sta ja DeepSpeak v2:sta todellisina tai väärenä, ilman että heille kerrottiin, kuinka monta esimerkkiä kummastakin luokasta he näkevät.

Ihmisten tarkkuus DF26:ssa, CelebDF++:ssa ja DeepSpeak v2:ssa. Osallistujat tunnistivat todelliset videot samanlaisilla osuuksilla kaikissa kolmessa aineistossa, kun taas tarkkuus väärennetyissä DF26-videoissa laski lähelle satunnaisuutta.

Todellisten videoiden suorituskyky oli samankaltainen kaikissa kolmessa aineistossa: 76,0 % DF26:ssa, 75,5 % CelebDF++:ssa ja 72,8 % DeepSpeak v2:ssa. Ero ilmeni väärennetyissä videoissa, joissa tarkkuus laski 52,6 %:iin DF26:ssa verrattuna 74,5 %:iin ja 69,8 %:iin kahdessa vanhemmassa aineistossa.

Siksi artikkelin mukaan, vaikka osallistujat eivät yleisesti olleet hämmentyneitä DF26:n suhteen, he kamppailivat löytääkseen erityistä näkyvää todistetta siitä, että sen synteettiset videot olivat väärennettyjä.

Johtopäätös

Huolimatta raportoitu 16‑kertainen kasvu deepfake‑frekvenssissä viimeisen kahden vuoden aikana, pahantahtoisten deepfakejen todellinen olemus on suurelta osin poissa yhteisestä kokemuksestamme, ellei meitä itse kohdisteta niihin.

Sukupuolisiin deepfake-uhreihin liittyen tämä on täysin ymmärrettävää – mutta koska deepfakeilla on yhä kasvavaa vaikutusta petostekijöihin, voisi olla hyödyllistä, jos enemmän tätä materiaalia jaettaisiin julkisesti, jotta kontekstimme päivittyisi automaattikooderien deepfakejen ‘kultaisesta ajasta’ paljon tarkempaan ja harhaanjohtavampaan diffuusioon perustuvien deepfakejen aikakauteen.

Tietenkin suurin osa uusien tutkimusten mallien tuotoksista sekä muista malleista ilmestyy ilman riittävää kontekstia sosiaalisen median alustoilla, joiden valvojat eivät joko pysty erottamaan tekoälyä todellisesta, tai jotka yksinkertaisesti eivät välitä.

Yksi lisämittari, jonka voimme kaikki soveltaa videoihin, joihin saatamme epäillä, on kohtuullinen usko – mutta tämä kyky vaihtelee niin paljon yksilöiden välillä, että se on epäluotettava. Siksi voi olla, että siirtymäkaudella, kun totutumme tämän teknologian vaikutuksiin ja sen jatkuvasti kasvaviin kykyihin, meidän on yksinkertaisesti pidättää tuomintaa.

Ensimmäinen julkaisu maanantaina 14. syyskuuta 2026