Точність виявлення дипфейків падає на 49% за рік прогресу AI‑відео

З цікавістю зауважую нове дослідження, ініційоване Україною, яке вказує, що старше покоління відео‑детектори працює дуже погано з сучасними передовими генAI‑відео, чи то генератори з відкритим кодом, локальними AI‑встановленнями, такими як Alibaba Wan 2.2 або Hunyuan Video; чи то лише API‑моделі, закриті, такі як Grok Imagine або Kling.

Натисніть, щоб відтворити (АУДІО КОНТЕНТ).Три приклади з категорії «Пряме до камери, довільне» у наборі даних DF26.Джерело 

У 2024 році інше дослідження вже встановило, що здатність людини виявляти AI‑відео була не значно вище випадковості, 57 %. Що додає нова робота (з назвою DF26: Ми більше не можемо відрізнити підробку від реальності), так це емпіричний доказ того, що автоматичні детектори дипфейків різко втратили ефективність з того часу — з 94 % до 48 %, коли стикаються з найновішим генAI‑відео.

З нового набору даних, створеного для дослідження, наведено приклади відео, згенерованих зображення‑в‑відео та текст‑в‑відео (нижче), у порівнянні з реальними відео ліворуч. Корпус зосереджений на «переконливих» та достовірних зйомках голови та плечей, які наразі є одними з найтривожніших сфер генAI. Джерело

Найбільше падіння у тестах, проведених для дослідження, становить 49 %. Оскільки попередній еталон датується 2025 роком, а нова робота тестує ряд найновіших відеомоделей 2026‑го покоління, це число відображає майже рік деградації ефективності виявлення AI‑відео.

Подробиці моделей, використаних для створення відео, проти яких тестували детектори.

Закриті комерційні моделі, використані для створення цього виводу, що обходить детектори, були Grok 1.0; Kling 3.0; Veo 3.1; та Wan 2.6. Для них були згенеровані лише приклади текст‑в‑відео, оскільки спроби створення зображення‑в‑відео (I2V) часто активували фільтри щодо «генерації дипфейків», або порушували умови користування платформою.

Подивіться в мої очі

Ці тригери, ймовірно, виникли через те, що дослідники зосередилися на найпотужнішій, а можливо й найзловіснішій формі відео‑переконання — різноманітних варіаціях «голова та плечі» та «говоряча голова», де суб’єкти говорять у камеру, як у відео інфлюенсерів на YouTube та TikTok, або у новинних репортажах (включаючи інтерв’ю через супутникові з’єднання тощо).

Автори стверджують, що ці сценарії є головними мішенями для дипфейк‑активності, не в останню чергу тому, що вони представляють контексти «інфлюенсерів» та різних інших «інформаційних» ситуацій — контексти, у яких існує передбачуване довірче відношення, і тому таке відношення має великий потенціал для зловживань (звичайно це стосується принаймні так само deepfake video calls, хоча дослідники не розглядають це).

З вершини епохи дипфейків на базі автокодерів, маніпуляція реальними кадрами Річарда Ніксона дозволила змоделювати його оголошення про смерть астронавтів «Аполлон‑9» у 1969 році — подія, яка ніколи не відбулася, проте реальний сценарій був використаний для накладання підробленого голосу та руху губ.

Окрім зосередження на цьому сценарії інфлюенсера, новий еталон — і створені для нього відео — орієнтуються на оцінку увесь кадр відео, на відміну від історичних стратегій виявлення дипфейків.

Ті старі стратегії застосовували обличчя або маніпуляція виразом, або заміна обличчя (або, в кращому випадку, повної голови) у реальних відео — що дійсно був єдиний розумний підхід, доки дифузійні моделі не стали достатньо ефективними, щоб замінити їх за останні 18‑24 місяці.

Лице вбік

Тепер це вже не так; старіший метод на основі автокодера походить ще з початку епохи дипфейків у кінці 2017 року; і ця техніка, яка замінює лише область в межах зовнішніх контурів обличчя, була повністю вичерпана до 2022 року.

Основна «незалежна» територія для дипфейк‑активності, 2017‑2023 — але для нового покоління платформ генAI‑відео такої межі для концентрації уваги вже немає. Джерело

Проте, оскільки науково‑дослідний сектор любить довгострокову константу – де ціль фіксована, і де протягом років/десятиліть можна кидати проти неї різноманітні підходи – методи виявлення дипфейків, засновані на «заміні/модифікації внутрішньої частини обличчя», залишаються в літературі та в комерційних пропозиціях, далеко за межами актуальності цільової технології.

Окрім трьох закритих моделей, протестованих у цьому дослідженні, також було випробувано три дуже потужні відкриті моделі, придатні для споживачів: Wan 2.2 A14B; HunyuanVideo 1.5; і LTX 2.3, які останнім часом вражають спільноту FOSS genAI. Лінійка LTX також здатна генерувати мову:

Натисніть, щоб відтворити: експерименти з серією LTX на r/stablediffusion, спільнота якої працює лише з моделями FOSS. Джерело 

Дизайн даних

Автори розглядають їх новий набір даних DF26 як «hold-out» набір для оцінки невидимого матеріалу. Колекція складається з 2 691 відео у трьох сценаріях публічних виступів: прямі звернення до камери або неформальні промови; офіційні заяви; та студійні інтерв’ю.

Усі відеокліпи, згенеровані ШІ, були створені на основі 271 реального відео, відібраного з OpenVid; TalkingCelebs; та MAVOS-DD.

Зразок з колекції OpenVid, з якої було отримано 271 реальне відео як вихідний матеріал для відео, згенерованих ШІ у колекції DF26. Два інші набори даних також внесли свій внесок у цей нефальшивий компонент DF26. Джерело

Ці 271 реальних відео було використано для створення відео ШІ, отримуючи відповідні підказки сцен з їх кадрів, а потім подаючи ці підказки — і сам перший кадр, якщо це підтримувалося — у сім моделей генерації відео, що дало в сумі 2 420 синтетичних кліпів.

Автори переконалися, що жодні реальні кадри з текстовими накладками (наприклад, оголошення про те, хто говорить, тощо) не потрапляли у процес генерації, оскільки це могло б сприяти шорткатам і припущенням. Кандидатські кліпи були оцінені за допомогою Gemini 2.5.

Крім того, сегменти з більш ніж одним обличчям були відхилені, щоб забезпечити налаштування «один спікер».

Натисніть, щоб відтворити [NO SOUND]. З набору даних, пов’язаного зі статтею, приклади передових генерацій відео за сімома найновішими та найпотужнішими генеративними моделями, як відкритими, так і закритими. Моделі, використані для набору даних, включають також ті, що здатні генерувати мову (дивіться приклади вище у статті). Джерело

Дослідники використали популярну комерційну платформу Higgsfield AI, яка надає широкий спектр закритих і відкритих моделей з різними рівнями контролю та запобіжних механізмів.

Використовуючи NVIDIA H200 (141 ГБ відеопам’яті) як базову GPU‑модель для внутрішнього дослідницького кластера, на генерацію 1 626 відео для колекції знадобилося приблизно 440 GPU‑годин.

Окрім гарантії, що у вихідному матеріалі не буде видимого тексту, також було необхідно приховати або взагалі уникнути зображення AI‑водяних знаків, оскільки це також могло б стати потенційним «шорткатом» для оцінювача або системи оцінки.

Тести

Основною метрикою, використаною у завершальному етапі тестування, була площа під кривою ROC (AUC / AUROC), а також рівень рівноваги помилок (EER) як додаткова міра.

Детектори, що працюють на окремих кадрах (оцінюючи їх незалежно), тестувалися на 32 рівномірно розподілених кадрах з кожного відео, після чого результати усереднювалися в один показник. Тимчасові детектори (які можуть використовувати інформацію з послідовних кадрів) натомість аналізували саму відео‑послідовність.

Результати для тимчасових детекторів DFD-FCG та PwTF-DVD наведено нижче разом з результатами для ForAda; Effort; FSFM; GenD-CLIP і GenD-DINO; та DFD-HR. Усі вони були натреновані на заслуженому наборі даних FaceForensics++.

Результати тестування, що порівнюють детектори дипфейків на CelebDF++ та DF26. Усі детектори були натреновані на FaceForensics++, причому вищий AUROC і нижчий EER свідчать про кращу продуктивність.

Автори зазначають, що більшість детекторів добре працюють на Celeb-DF++ (CDFv3), але різко падають у новій, більш складній колекції DF26.

‘[Multiple] передові детектори демонструють високі результати на бенчмарку CelebDF++ [16] (CDFv3), при цьому тимчасові методи досягають AUROC 94,3 та 92,3.

Проте їхня продуктивність суттєво падає на DF26, до 48,2 та 61,6 AUROC відповідно.

Більшість методів суттєво погіршуються, залишаючись близькими до випадковості; найвищий AUROC — 69,7 досягає GenD-PE.

Це показує, що DF26 є більш складним еталоном для передових детекторів.

Як зазначають автори, виявлення image-to-video виявилося складнішим, ніж text-to-video, як для людей, так і для автоматичних детекторів; найкращі результати на матеріалі I2V показав PwTF-DVD, а на T2V — GenD-PE.

Продуктивність різко змінювалася залежно від того, який генератор створив підроблене відео, що свідчить про те, що детектори часто вивчали специфічні сліди конкретного генератора, а не загальну ознаку синтетичного відео. Наприклад, PwTF-DVD досяг 92,9 AUROC на виході text-to-video від Wan 2.2, але впав до рівня випадковості на HunyuanVideo 1.5 — хоча обидва належать до одного сучасного покоління.

Продуктивність детекторів за різними комерційними та відкритими відеогенераторами. Велика різниця між колонками демонструє, що надійність виявлення сильно залежить від того, яка модель створила відео, причому GenD-PE досягає найвищого середнього AUROC.

Нижче показано, що донавчання GenD-PE на нових матеріалах DF26 суттєво підвищило його здатність виявляти відео від генераторів, яких він не бачив під час навчання:

Результати донавчання GenD-PE на невідомих відеогенераторах. Навчання на нових матеріалах DF26 загалом покращило крос‑генераторну продуктивність порівняно з оригінальним навчанням на FaceForensics++.

Навчання на HunyuanVideo 1.5 підвищило AUROC принаймні до 93,1 на Grok Imagine 1.0, Veo 3.1 та Wan 2.6, підтверджуючи аргумент статті, що детектори, навчені лише на старих наборах даних, таких як FaceForensics++, погано відповідають сучасному генеративному відео.

Як і слід очікувати, два тимчасові детектори значно легше працювали з відкритим відео, ніж з кліпами комерційних моделей. DFD-FCG впав з 57,4 AUROC на відкритому матеріалі до 34,5 на закритому відео; PwTF-DVD знизився з 70,5 до 48,3:

Результати порівняння двох тимчасових детекторів за джерелом генератора та сценарієм мовлення. Обидва значно гірше працювали на закритому відео, тоді як різниці між типами сцен були меншими.

Проте стаття не робить висновку, що комерційні моделі просто важче виявити, оскільки різниці у сімействі моделей, постобробці та візуальній якості також можуть бути факторами.

тип сцени мав значно менше значення: DFD-FCG залишався майже випадковим у прямих до камери кліпах, офіційних заявах і студійних інтерв’ю, у той час як PwTF‑DVD показав найкращий результат у офіційних заявах. За даними статті, сам генератор, схоже, важливіший за стиль презентації.

Також було проведено дослідження серед людей, щоб з’ясувати, чи люди стикаються з DF26 так само, як автоматичні детектори. За 232 сеанси маркування учасники оцінювали короткі кліпи з DF26, CelebDF++ та DeepSpeak v2 як реальні чи підроблені, не знаючи, скільки прикладів кожного класу буде представлено.

Точність людей за DF26, CelebDF++ та DeepSpeak v2. Учасники ідентифікували реальні відео з подібною частотою у всіх трьох наборах даних, тоді як точність на підроблених відео DF26 впала до рівня випадковості.

Продуктивність на реальних відео була схожа у всіх трьох наборах даних: 76,0 % для DF26, 75,5 % для CelebDF++ та 72,8 % для DeepSpeak v2. Різниця проявилася у підроблених відео, де точність впала до 52,6 % на DF26, порівняно з 74,5 % та 69,8 % у двох старіших наборах.

Отже, за даними статті, хоча учасники загалом не були збиті з пантелику DF26, вони мали труднощі знайти конкретних видимих доказів того, що його синтетичні відео є підробленими.

Висновок

Незважаючи на зазначене 16‑кратне збільшення частоти deepfake за останні два роки, реальність зловмисних deepfake значною мірою відсутня у нашому повсякденному досвіді, якщо тільки ми самі не стаємо їх цілями.

У випадку жертв сексуальних дипфейків це цілком зрозуміло – але оскільки дипфейки тепер мають зростаючий вплив на злочин шахрайства, було б корисно, якби більше цього матеріалу могло бути поширено серед громадськості, щоб наш контекст оновився від «золотого віку» автокодерних дипфейків до набагато більш різкого і оманливого етапу діфузійних дипфейків.

Звичайно, більшість матеріалів, пов’язаних із результатами моделей у новому дослідженні, а також інших моделей, з’являються без належного контексту в соціальних мережах, де модератори або не можуть розрізнити ШІ від реального, або просто не хвилюються.

Ще одна додаткова метрика, яку ми всі можемо застосовувати до відео, які сумніваємося, — це розумна довірливість – але ця здатність настільки сильно варіює між людьми, що є ненадійною. Тому можливо, що протягом перехідного періоду, коли ми звикаємо до впливу цієї технології та її постійно зростаючих можливостей, нам просто доведеться відкласти оцінку.

Вперше опубліковано понеділок, 14 вересня 2026