Acuratețea detectării deepfake scade cu 49% într-un an de progres al videoclipurilor AI

Observ cu interes o nouă lucrare condusă de Ucraina care indică faptul că generația mai veche de detectoare de deepfake video performează foarte slab pe videoclipurile genAI de ultimă generație actuale, fie că acești generatori sunt open source, instalări locale de AI precum Wan 2.2 de la Alibaba sau Hunyuan Video; sau modele închis‑source, accesibile doar prin API, cum ar fi Grok Imagine sau Kling.

Faceți clic pentru redare (CONȚINUT AUDIO). Trei exemple din categoria „Direct to camera casual” din setul de date DF26. Sursă 

În 2024, o altă lucrare stabilise deja că abilitatea umană de a detecta videoclipurile AI era nu mult peste șansă, la 57%. Ceea ce adaugă noua cercetare (intitulată DF26: Nu mai putem distinge falsul de real) este dovada empirică că detectoarele automate de deepfake au scăzut dramatic în eficacitate de atunci – de la 94% la 48%, când se confruntă cu cele mai recente rezultate ale genAI.

Din noul set de date generat pentru această lucrare, exemple de videoclipuri generate din imagine‑în‑video și din text‑în‑video (mai jos), comparate cu videoclipurile reale din stânga. Corpusul se concentrează pe configurații „persuasive” și credibile de tip cap‑și‑umeri, care se numără printre cele mai îngrijorătoare domenii genAI în prezent. Sursă

Cel mai accentuat declin în testele efectuate pentru această lucrare reprezintă o scădere de 49%. Deoarece referința anterioară provine din 2025, iar noua cercetare testează o gamă de modele video de generație 2026, această cifră reflectă aproape un an de deteriorare a eficacității detectării videoclipurilor AI.

Detalii despre modelele folosite pentru a genera videoclipurile împotriva cărora au fost testate detectoarele.

Modelele comerciale închise‑source utilizate pentru a genera acest rezultat care învinge detectoarele au fost Grok 1.0; Kling 3.0; Veo 3.1; și Wan 2.6. Au fost generate doar exemple text‑în‑video pentru acestea, deoarece încercările de generare imagine‑în‑video (I2V) declanșau adesea filtre legate de „generarea deepfake”, sau ar fi încălcat termenii de utilizare ai platformei.

Privește în ochii mei

Aceste declanșări au avut loc, probabil, deoarece cercetătorii s-au concentrat pe cea mai potențial puternică și, poate, sinistră formă de persuasiune bazată pe video – diverse variații ale videoclipurilor „cap și umăr” și „cap vorbitor”, cu subiecți care vorbesc către cameră, așa cum se întâmplă în videoclipurile influencerilor de pe YouTube și TikTok sau într-un scenariu de raportare de știri (inclusiv intervievați prin conexiuni prin satelit, etc.).

Autorii susțin că aceste scenarii sunt ținte principale pentru activitatea deepfake, nu în ultimul rând pentru că reprezintă contexte de tip „influencer” și diverse alte contexte „informative” – contexte în care există presupunerea unei relații de încredere preexistentă și în care acea relație are, prin urmare, un mare potențial de abuz (desigur, acest lucru se aplică cel puțin la fel de mult și la apeluri video deepfake, deși cercetătorii nu abordează acest aspect).

De la apogeul erei autoencoder a deepfake‑urilor, manipularea materialului real cu Richard Nixon a putut simula anunțul său privind moartea astronauților Apollo 9 în 1969 – un eveniment care nu a avut loc, dar pentru care scenariul real a fost folosit pentru a impune o voce și mișcări ale buzelor deepfake.

Pe lângă concentrarea pe acest scenariu de influencer, noul benchmark – și videoclipurile create pentru acesta – se concentrează pe evaluarea întregului cadru al videoclipului, în contrast cu strategiile istorice de detectare a deepfake‑urilor.

Aceste strategii mai vechi aplicau manipularea facială sau manipularea expresiilor, sau substituția facială (sau, în cel mai bun caz, a întregii capete) în videoclipuri reale – care a fost într-adevăr singura abordare rezonabilă, până când modelele bazate pe difuzie au devenit suficient de eficiente pentru a le înlocui în ultimele 18‑24 de luni.

Întoarce fața

Acesta nu mai este modul în care se face; metoda mai veche bazată pe autoencoder datează de la apariția inițială a deepfake‑urilor la sfârșitul lui 2017; iar această tehnică, care înlocuiește doar zona în interiorul contururilor exterioare ale feței, a fost complet epuizată până în 2022.

Principala zonă de interes pentru activitatea deepfake, 2017‑2023 – dar pentru noua generație de platforme video genAI, nu există o astfel de limită pentru a concentra atenția. Sursă

Totuși, din moment ce sectorul de cercetare științifică iubește o constantă pe termen lung – unde ținta este fixă și unde o gamă în evoluție de abordări poate fi aplicată de-a lungul anilor/decadelor – metodele de detectare a deepfake-urilor bazate pe „substituție/modificare a feței interioare” au persistat în literatura de specialitate și în ofertele comerciale de detectare, mult dincolo de valabilitatea tehnologiei de bază vizate.

Pe lângă cele trei modele închise testate pentru noul studiu, au fost încercate și trei modele open source foarte capabile și utilizabile de consumatori: Wan 2.2 A14B; HunyuanVideo 1.5; și LTX 2.3, care a fascinat comunitatea FOSS genAI în ultima perioadă. Gama LTX este, de asemenea, capabilă să genereze vorbire:

Apasă pentru redare: experimente cu seria LTX pe r/stablediffusion, a cărei comunitate se ocupă exclusiv de modele FOSS. Sursă 

Proiectarea datelor

Autorii intenționează ca noul lor set de date, DF26, să fie un set „hold-out” pentru evaluarea materialului nevăzut. Colecția conține 2.691 de videoclipuri în trei scenarii de vorbire în public: adresări directe către cameră sau informale; declarații oficiale; și interviuri în studio.

Toate clipurile video generate de IA au fost bazate pe 271 de clipuri din lumea reală, selectate din OpenVid; TalkingCelebs; și MAVOS-DD.

Exemplu din colecția OpenVid, din care au fost preluate 271 de videoclipuri din lumea reală ca material de bază pentru videoclipurile generate de IA din colecția DF26. Alte două seturi de date au contribuit, de asemenea, la această componentă ne-false a DF26. Sursă

Cele 271 de videoclipuri reale au fost folosite pentru a genera videoclipurile AI prin derivarea de prompturi de scenă potrivite din cadrele lor, apoi introducerea acelor prompturi – și a primului cadru în sine, acolo unde era suportat – în cele șapte modele de generare video, pentru a produce în total 2.420 de clipuri sintetice.

Autorii s-au asigurat că niciun cadru din lumea reală cu suprapuneri de text (cum ar fi anunțuri privind cine vorbește etc.) nu a fost introdus în fluxurile de generare, deoarece acestea ar fi putut încuraja scurtăturile și presupunerile. Clipurile candidate au fost evaluate de Gemini 2.5.

În plus, segmentele care prezentau mai mult de o față au fost respinse, pentru a impune o configurare cu „un singur vorbitor”.

Apasă pentru redare [NO SOUND]. Din setul de date asociat cu lucrarea, exemple de generații video de ultimă generație, realizate cu șapte dintre cele mai noi și capabile modele generative, atât open, cât și closed source. Modelele folosite pentru setul de date includ și pe cele capabile să genereze vorbire (vezi exemplele de mai sus în acest articol). Sursă

Cercetătorii au utilizat populara platformă comercială Higgsfield AI, care pune la dispoziție o gamă largă de modele închise și open source, cu niveluri diverse de control și măsuri de siguranță.

Folosind un NVIDIA H200 (141 GB VRAM) ca model GPU de bază pentru un cluster intern de cercetare, au fost necesare aproximativ 440 de ore GPU pentru a genera 1.626 de videoclipuri pentru colecție.

Pe lângă asigurarea că niciun text nu era vizibil în rezultat, a fost necesar și să se ofusce sau, în general, să se evite reprezentarea semnăturii digitale AI, deoarece și aceasta ar reprezenta o posibilă „scurtătură” pentru un evaluator sau sistem de evaluare.

Teste

Metrica principală utilizată pentru ultima rundă de teste a fost aria sub curba caracteristicii de operare a receptorului (AUC / AUROC), cu rata de eroare egală (EER) ca măsură complementară.

Detectoarele bazate pe cadre (care evaluează cadrele statice independent) au fost testate pe 32 de cadre uniform distribuite din fiecare videoclip, iar scorurile au fost apoi mediate într-un singur rezultat. Detectoarele temporale (care pot folosi informații din cadre successive) au analizat în schimb secvența video în sine.

Rezultatele pentru detectoarele temporale DFD-FCG și PwTF-DVD pot fi văzute mai jos, împreună cu rezultatele pentru ForAda; Effort; FSFM; GenD-CLIP și GenD-DINO; și DFD-HR. Toate au fost antrenate pe venerabilul set de date FaceForensics++.

Rezultatele testelor comparând detectoarele de deepfake pe CelebDF++ și DF26. Toate detectoarele au fost antrenate pe FaceForensics++, cu AUROC mai mare și EER mai mic indicând o performanță superioară.

Autorii observă că majoritatea detectorilor funcționează bine pe Celeb-DF++ (CDFv3), dar scad brusc pe noua colecție DF26, mult mai provocatoare.

‘[Multiple] detectoare de ultimă generație ating performanțe puternice pe benchmark-ul CelebDF++ [16] (CDFv3), cu metodele temporale ajungând la un AUROC de 94,3 și 92,3.

‘Cu toate acestea, performanța lor scade semnificativ pe DF26, la 48.2 și 61.6 AUROC, respectiv.’

‘Majoritatea metodelor se degradează semnificativ, rămânând aproape de nivelul aleator; cel mai mare AUROC de 69.7 este atins de GenD-PE.’

‘Acest lucru arată că DF26 este un benchmark mult mai provocator pentru detectorii de ultimă generație.’

Observă că imagine‑la‑video s-a dovedit mai dificil de detectat decât text‑la‑video, atât pentru oameni, cât și pentru detectoarele automate, PwTF‑DVD obținând cele mai bune rezultate pe materialul I2V, iar GenD‑PE dominând pe T2V.

Performanța a variat dramatic în funcție de generatorul care a produs videoclipul fals, sugerând că detectorii învățau adesea semne specifice generatorului în loc de o semnătură generală a videoclipului sintetic. PwTF‑DVD, de exemplu, a atins 92.9 AUROC pe ieșirea text‑la‑video de la Wan 2.2, dar a scăzut la o performanță aproape aleatoare pe HunyuanVideo 1.5 – deși ambele aparțin aceluiași peisaj de generație modernă:

Performanța detectorului în funcție de generatorii video comerciali și open‑source. Variația largă între coloane arată că fiabilitatea detectării depinde puternic de modelul care a produs videoclipul, GenD‑PE obținând media AUROC cea mai mare în general.

Mai jos observăm că reantrenarea GenD‑PE pe material DF26 mai recent a îmbunătățit substanțial capacitatea sa de a detecta videoclipuri de la generatoare pe care nu le văzuse în timpul antrenamentului:

Rezultatele reantrenării pentru GenD‑PE pe generatoare video necunoscute. Antrenarea pe material DF26 mai recent a îmbunătățit în general performanța cross‑generator comparativ cu antrenamentul inițial FaceForensics++.

Antrenarea pe HunyuanVideo 1.5 a ridicat AUROC la cel puțin 93.1 pe Grok Imagine 1.0, Veo 3.1 și Wan 2.6, susținând argumentul lucrării că detectorii antrenați doar pe seturi de date mai vechi, cum ar fi FaceForensics++, nu se potrivesc bine cu videoclipurile generative actuale.

Poate predictibil, cei doi detectori temporali au avut mult mai ușor cu videoclipurile open‑source decât cu clipurile din modele comerciale. DFD‑FCG a scăzut de la 57.4 AUROC pe material open‑source, comparativ cu 34.5 pe video închis; în timp ce PwTF‑DVD a coborât de la 70.5 la 48.3:

Rezultate comparând doi detectori temporali în funcție de sursa generatorului și scenariul de vorbire. Amândoi au avut performanțe semnificativ mai slabe pe video închis, în timp ce diferențele dintre tipurile de scenă au fost mai mici.

Totuși, lucrarea nu afirmă că modelele comerciale sunt pur și simplu mai greu de detectat, deoarece diferențele în familia modelului, post‑procesare și calitatea vizuală ar putea fi și ele factori.

The tipul de scenă a contat mult mai puțin: DFD-FCG a rămas aproape de nivelul aleator pe clipuri directe către cameră, declarații oficiale și interviuri în studio, în timp ce PwTF-DVD a obținut cele mai bune rezultate pe declarații oficiale. Conform lucrării, generatorul în sine pare să conteze mai mult decât stilul de prezentare.

A fost realizat și un studiu uman pentru a vedea dacă oamenii se confruntă cu DF26 în același mod ca detectorii automatizați. În cele 232 de sesiuni de etichetare, participanții au evaluat clipuri scurte din DF26, CelebDF++ și DeepSpeak v2 ca reale sau false, fără să li se spună câte exemple din fiecare clasă vor vedea.

Acuratețea umană pe DF26, CelebDF++ și DeepSpeak v2. Participanții au identificat videoclipurile reale la rate similare în toate cele trei seturi de date, în timp ce acuratețea pe videoclipurile false DF26 a scăzut aproape de nivelul aleator.

Performanța pe videoclipurile reale a fost similară în toate cele trei seturi de date, la 76.0% pentru DF26, 75.5% pentru CelebDF++ și 72.8% pentru DeepSpeak v2. Diferența a apărut la videoclipurile false, unde acuratețea a scăzut la 52.6% pe DF26, comparativ cu 74.5% și 69.8% pe cele două seturi de date mai vechi.

Prin urmare, conform lucrării, deși participanții nu au fost în general confundați de DF26, au avut dificultăți în a găsi specifice dovezi vizibile că videoclipurile sale sintetice erau false.

Concluzie

În ciuda unei a raportat o creștere de 16 ori în frecvența deepfake‑urilor în ultimii doi ani, realitatea efectivă a deepfake‑urilor malițioase este în mare parte absentă din experiența noastră comună, cu excepția cazului în care suntem noi înșine vizați de ele.

În cazul victimelor deepfake-urilor sexuale, acest lucru este pe deplin de înțeles – dar deoarece deepfake-urile au acum un impact din ce în ce mai mare asupra infracţiunii de fraudă, ar putea fi util ca mai mult din acel material să fie împărtășit publicului, astfel încât contextul nostru să fie actualizat din „epoca de aur” a deepfake-urilor autoencoder în era mult mai incisivă și înșelătoare a deepfake-urilor bazate pe difuzie.

Desigur, cea mai mare parte a materialului referitor la rezultatele modelelor din noul studiu, precum și alte modele, apare fără context adecvat pe platformele de social media ale căror supraveghetori fie nu pot distinge AI de real, fie pur și simplu nu le pasă.

Un metric suplimentar pe care îl putem aplica tuturor videoclipurilor pe care le punem la îndoială este credibilitate rezonabilă – dar această capacitate variază atât de mult între indivizi încât devine nesigură. Prin urmare, s-ar putea ca, pentru o perioadă de tranziție, pe măsură ce ne acomodăm cu impactul acestei tehnologii și cu capacitățile sale în continuă creștere, să trebuiască pur și simplu să amânam judecata.

Publicat prima dată luni, 14 septembrie 2026