Точность обнаружения дипфейков падает на 49% за год прогресса AI‑видео

С интересом отмечаю новая украинская работа, в которой говорится, что старшее поколение детекторов дипфейк‑видео детекторы показывает очень плохие результаты на современных передовых генAI‑видео, будь то открытые генераторы, локальные установки ИИ, такие как Alibaba Wan 2.2 или Hunyuan Video, либо модели только через API, закрытого кода, такие как Grok Imagine или Kling.

Нажмите, чтобы воспроизвести (AUDIO CONTENT).Три примера из категории «непринуждённые прямые обращения к камере» в наборе данных DF26.Источник 

В 2024 году уже была опубликована работа, показавшая, что способность человека обнаруживать AI‑видео была всего лишь немного выше случайного уровня, 57 %. Что добавляет новое исследование (названное DF26: Мы больше не можем отличить подделку от реального), так это эмпирические доказательства того, что автоматические детекторы дипфейков резко потеряли эффективность с тех пор — с 94 % до 48 %, когда они сталкиваются с самым последним генAI‑видеоконтентом.

Из нового набора данных, созданного для исследования, примеры видеороликов, сгенерированных из изображения в видео и из текста в видео (см. ниже), по сравнению с реальными видеороликами слева. Корпус сосредоточен на «убедительных» и достоверных кадрах «голова‑плечи», которые в данный момент являются одними из самых тревожных областей генAI. Источник

Самое резкое падение в проведённых тестах составляет 49 %. Поскольку предыдущий бенчмарк датируется 2025 годом, а новое исследование проверяет ряд самых последних видеомоделей 2026‑го поколения, эта цифра отражает почти год ухудшения эффективности обнаружения AI‑видео.

Подробности моделей, использованных для генерации видеороликов, против которых проверялись детекторы.

Для создания этого контента, обходящего детекторы, использовались закрытые коммерческие модели Grok 1.0; Kling 3.0; Veo 3.1; и Wan 2.6. Для них генерировались только примеры текст‑в‑видео, поскольку попытки генерации изображение‑в‑видео (I2V) часто активировали фильтры, связанные с «генерацией дипфейков», или нарушали условия использования платформы.

Смотри мне в глаза

Эти срабатывания, вероятно, произошли потому, что исследователи сосредоточились на наиболее потенциально мощной и, возможно, зловещей форме видеоперсуазии — разнообразных вариациях «голова‑плечи» и «говорящая голова», где субъекты обращаются к камере, как в видео инфлюенсеров на YouTube и TikTok, либо в новостных репортажах (включая интервью по спутниковым связям и т.п.).

Авторы утверждают, что эти сценарии являются главными целями для дипфейк‑активности, отчасти потому, что они представляют собой контексты «инфлюенсеров» и различных «информационных» ситуаций — ситуации, где предполагается предварительное доверие, и поэтому такие отношения имеют большой потенциал для злоупотреблений (естественно, это в равной степени относится к видеозвонки с дипфейком, хотя исследователи не рассматривают их).

С вершины эпохи дипфейков на основе автокодировщика манипуляция реальными кадрами Ричарда Никсона позволила смоделировать его объявление о гибели астронавтов «Аполлон‑9» в 1969 году — событие, которое никогда не происходило, но для которого реальный сценарий был использован для наложения поддельного голоса и движений губ.

Помимо фокусировки на этом сценарии инфлюенсеров, новый бенчмарк — и созданные для него видеоролики — сосредоточены на оценке весь кадр видео, в отличие от исторических стратегий обнаружения дипфейков.

Те старые стратегии включали манипуляцию выражением манипуляция выражением или замена лица (или, в лучшем случае, полной головы) в реальных видеороликах — что действительно был единственный разумный подход, пока диффузионные модели не стали достаточно эффективными, чтобы заменить их за последние 18–24 месяца.

Лицом от камеры

Это уже не так; старый метод на основе автокодировщика, возникший в начале эпохи дипфейков в конце 2017 года, заменял лишь область внутри внешних контуров лица, и был полностью исчерпан к 2022 году.

Основные площадки для дипфейк‑активности, 2017‑2023 – но для нового поколения платформ генAI‑видео такой границы для концентрации внимания нет. Источник

Тем не менее, поскольку научно‑исследовательский сектор любит долгосрочную константу — где цель фиксирована, и где за годы/десятилетия можно бросать в неё разнообразные подходы — методы обнаружения дипфейков, основанные на «замене/коррекции внутренней части лица», продолжают присутствовать в литературе и в коммерческих решениях, далеко за пределами актуальности целевой технологии.

Помимо трёх закрытых моделей, протестированных в новой работе, также были опробованы три весьма способных открытых модели, пригодных для потребителей: Wan 2.2 A14B; HunyuanVideo 1.5; и LTX 2.3, которые в последнее время ослепляют сообщество FOSS genAI. Серия LTX также способна генерировать речь:

Нажмите, чтобы воспроизвести: эксперименты с серией LTX на r/stablediffusion, сообщество которой работает только с моделями FOSS. Source 

Дизайн данных

Авторы рассматривают свой новый набор данных DF26 как ‘отложенный’ набор для оценки ранее не виденного материала. Коллекция состоит из 2 691 видео в трёх сценариях публичных выступлений: прямое обращение к камере или неформальные обращения; официальные заявления; и студийные интервью.

Все видеоклипы, сгенерированные ИИ, основывались на 271 реальном клипе, отобранных из OpenVid; TalkingCelebs; и MAVOS-DD.

Пример из коллекции OpenVid, из которой были получены 271 реальных видео, использованные в качестве исходного материала для ИИ‑сгенерированных видео в наборе DF26. Два других набора данных также внесли вклад в эту нефальшивую часть DF26. Source

Эти 271 реальных видео использовались для генерации ИИ‑видео путем получения соответствующих сценических подсказок из их кадров, а затем подачи этих подсказок — и самого первого кадра, где это поддерживалось — в семь моделей генерации видео, что дало в общей сложности 2 420 синтетических клипов.

Авторы гарантировали, что в рабочие процессы генерации не попадали реальные кадры с наложенным текстом (например, объявления о том, кто говорит и т.п.), поскольку они могли бы способствовать ярлыкам и предположениям. Кандидатские клипы оценивались с помощью Gemini 2.5.

Кроме того, отбрасывались сегменты с более чем одним лицом, чтобы обеспечить настройку «один говорящий».

Нажмите, чтобы воспроизвести [NO SOUND]. Из набора данных, сопутствующего статье, примеры передовых видеогенераций на семи из новейших и самых мощных генеративных моделей, как открытых, так и закрытых. Модели, использованные для набора, также способны генерировать речь (см. примеры ранее в этой статье). Source

Исследователи использовали популярную коммерческую платформу Higgsfield AI, предоставляющую широкий спектр закрытых и открытых моделей с различными уровнями контроля и ограничений.

С использованием NVIDIA H200 (141 ГБ видеопамяти) в качестве базовой видеокарты внутреннего исследовательского кластера, на генерацию 1 626 видео для коллекции потребовалось около 440 GPU‑часов.

Помимо обеспечения отсутствия видимого текста в выводе, также требовалось скрыть или в целом избежать отображения водяных знаков ИИ, поскольку это тоже могло бы стать потенциальным «ярлыком» для оценщика или системы оценки.

Тесты

Основной метрикой, использованной в завершающем раунде тестов, была площадь под кривой ROC (AUC / AUROC), а в качестве дополнительной меры применялся Equal Error Rate (EER).

Детекторы, работающие с отдельными кадрами (оценка каждого кадра независимо), тестировались на 32 равномерно выбранных кадрах из каждого видео, после чего их оценки усреднялись в один результат. Временные детекторы (использующие информацию последовательных кадров) анализировали саму видеопоследовательность.

Результаты временных детекторов DFD-FCG и PwTF-DVD приведены ниже, вместе с результатами для ForAda; Effort; FSFM; GenD-CLIP и GenD-DINO; а также DFD-HR. Все они обучались на заслуженном наборе FaceForensics++.

Результаты тестов, сравнивающие детекторы дипфейков на CelebDF++ и DF26. Все детекторы обучались на FaceForensics++, более высокий AUROC и более низкий EER указывают на лучшую производительность.

Авторы отмечают, что большинство детекторов хорошо работают на Celeb-DF++ (CDFv3), но резко падают в эффективности на более сложной новой коллекции DF26.

‘[Multiple] передовые детекторы демонстрируют высокие результаты на бенчмарке CelebDF++ [16] (CDFv3), при этом временные методы достигают AUROC 94,3 и 92,3.

‘Однако их эффективность значительно падает на DF26, до 48,2 и 61,6 AUROC, соответственно.

‘Большинство методов значительно ухудшаются, оставаясь почти на уровне случайного угадывания; наивысший AUROC 69,7 достигается у GenD-PE.

‘Это показывает, что DF26 является более сложным бенчмарком для современных детекторов.’

По их наблюдениям, обнаружение изображение‑видео оказалось сложнее, чем текст‑видео, как для людей, так и для автоматических детекторов; лучшую работу на материале I2V показал PwTF-DVD, а на T2V лидировал GenD-PE.

Эффективность сильно варьировалась в зависимости от того, какой генератор создал поддельное видео, что указывает на то, что детекторы часто изучали специфические следы конкретного генератора, а не общую подпись синтетического видео. Например, PwTF-DVD достиг 92,9 AUROC на выводе текст‑видео от Wan 2.2, но упал до уровня случайного угадывания на HunyuanVideo 1.5 — несмотря на то, что оба относятся к современному поколению.

Эффективность детекторов при работе с коммерческими и открытыми видеогенераторами. Широкая вариативность между столбцами показывает, что надёжность обнаружения сильно зависит от модели, создавшей видео, при этом GenD-PE достигает наивысшего среднего AUROC.

Ниже мы видим, что дообучение GenD-PE на более новых материалах DF26 значительно улучшило его способность обнаруживать видео от генераторов, которые он не видел во время обучения:

Результаты дообучения GenD-PE на невидимых видеогенераторах. Обучение на более новых материалах DF26 в целом улучшило кросс‑генераторную эффективность по сравнению с оригинальным обучением на FaceForensics++.

Обучение на HunyuanVideo 1.5 повысило AUROC как минимум до 93,1 на Grok Imagine 1.0, Veo 3.1 и Wan 2.6, подтверждая аргумент статьи о том, что детекторы, обученные только на старых наборах данных, таких как FaceForensics++, плохо соответствуют современному генеративному видео.

Как и следовало ожидать, два временных детектора гораздо легче справлялись с открытыми видеоматериалами, чем с клипами коммерческих моделей. DFD-FCG упал с 57,4 AUROC на открытых материалах до 34,5 на закрытых; в то время как PwTF-DVD снизился с 70,5 до 48,3:

Результаты сравнения двух временных детекторов по источнику генератора и сценарию речи. Оба показали значительно худшие результаты на закрытом видео, тогда как различия между типами сцен были менее заметны.

Тем не менее, статья не делает вывод о том, что коммерческие модели просто труднее обнаружить, поскольку различия в семействе моделей, постобработке и визуальном качестве также могут играть роль.

В вид сцены значение было значительно меньше: DFD-FCG оставался почти на уровне случайного угадывания в клипах прямой трансляции в камеру, официальных заявлениях и студийных интервью, в то время как PwTF-DVD показывал лучший результат в официальных заявлениях. Согласно статье, сам генератор, по-видимому, важнее стиля презентации.

Также было проведено исследование с участием людей, чтобы выяснить, сталкиваются ли люди с DF26 так же, как автоматические детекторы. В ходе 232 сеансов маркировки участники оценивали короткие клипы из DF26, CelebDF++ и DeepSpeak v2 как реальные или поддельные, не зная, сколько примеров каждого класса им будет показано.

Точность людей при работе с DF26, CelebDF++ и DeepSpeak v2. Участники определяли реальные видео с похожей частотой во всех трёх наборах данных, тогда как точность на поддельных видео DF26 опускалась до уровня случайного угадывания.

Эффективность на реальных видео была схожей во всех трёх наборах данных: 76,0 % для DF26, 75,5 % для CelebDF++ и 72,8 % для DeepSpeak v2. Разница проявилась в поддельных видео, где точность упала до 52,6 % на DF26, по сравнению с 74,5 % и 69,8 % в двух более старых наборах данных.

Таким образом, согласно статье, хотя участники в целом не путались из‑за DF26, им было трудно найти конкретных видимых доказательств того, что его синтетические видео являются поддельными.

Заключение

Несмотря на сообщённое 16‑кратное увеличение частоты дипфейков за последние два года, реальная опасность злонамеренных дипфейков в значительной степени отсутствует в нашем повседневном опыте, если только мы сами не становимся их целями.

В случае жертв сексуальных дипфейков это полностью понятно – но поскольку дипфейки теперь оказывают ростущее влияние на преступления мошенничества, было бы полезно, если больше этих материалов можно было бы предоставить общественности, чтобы наш контекст обновился от «золотого века» автокодировочных дипфейков к гораздо более проницательной и обманчивой эпохе диффузионных дипфейков.

Конечно, большинство материалов, связанных с результатами моделей в новом исследовании, а также других моделей, появляется без надлежащего контекста в социальных сетях, чьи модераторы либо не могут различить ИИ и реальное, либо просто им всё равно.

Еще одной метрикой, которую мы все можем применять к сомнительным видео, является разумная доверчивость – но эта способность так сильно различается у разных людей, что оказывается ненадёжной. Поэтому, возможно, в переходный период, пока мы привыкаем к влиянию этой технологии и её постоянно растущим возможностям, нам просто придётся отложить суждение.

Опубликовано впервые понедельник, 14 сентября 2026 г.