Викриття малих, але суттєвих редагувань штучного інтелекту в реальному відео

У 2019 році спікер Палати представників США Ненсі Пелосі стала об’єктом цілеспрямованої та досить низькотехнологічної атаки типу deepfake, коли реальне відео з нею було відредаговано, щоб вона виглядала п’яною – нереальне подія, яка була поширена кілька мільйонів разів перед тим, як вийшла правда про це (і, можливо, після того, як була завдана певна шкода її політичній репутації тими, хто не слідкував за історією).

Хоча ця містифікація вимагала лише деякого простого аудіовізуального редагування, а не будь-якого штучного інтелекту, вона залишається ключовим прикладом того, як тонкі зміни в реальному аудіовізуальному виході можуть мати руйнівний ефект.

У той час сцена deepfake була домінована системами заміни обличчя на основі автоенкодерів, які дебютували у кінці 2017 року і які не значно покращились у якості з того часу. Такі ранні системи були б важко створити цей тип малих, але суттєвих змін або реалістично продовжувати сучасні напрямки досліджень, такі як редагування виразів:

[캡션 id=”attachment_215006″ align=”alignnone” width=”900″] Структура ‘Neural Emotion Director’ 2022 року змінює настрій знаменитого обличчя. Джерело: https://www.youtube.com/watch?v=Li6W8pRDMJQ[/캡션]

Тепер все зовсім інакше. Кіно- та телевізійна промисловість серйозно зацікавлена в постпродакшн-редагуванні реальних виступів за допомогою підходів машинного навчання, а сприяння штучним інтелектом пост-факто перфекціонізму навіть піддалося недавній критиці.

Антиципуючи (або, можливо, створюючи) цей попит, сцена досліджень синтезу зображень і відео викинула вперед широкий спектр проектів, які пропонують “локальні редагування” захоплення обличчя, а не повну заміну: проекти цього типу включають Дифузійні відеоавтоенкодери; Зшити вчасно; ЧатФейс; МейджікФейс; та ДІСКО, серед інших.

[캡션 id=”attachment_215007″ align=”alignnone” width=”890″] Редагування виразів з проектом МейджікФейс січня 2025 року. Джерело: https://arxiv.org/pdf/2501.02260[/캡션]

Нові обличчя, нові зморшки

Однак, технології, що дозволяють це, розвиваються набагато швидше, ніж методи їх виявлення. Практично всі методи виявлення deepfake, які з’являються в літературі, переслідують вчорашні методи deepfake з вчорашніми наборами даних. До цього тижня жоден з них не звернув увагу на потенціал систем штучного інтелекту створювати малі та локальні зміни у відео.

Тепер нова робота з Індії виправила це, запропонувавши систему, яка намагається ідентифікувати обличчя, які були відредаговані (а не замінені) за допомогою технік на основі штучного інтелекту:

[캡션 id=”attachment_215013″ align=”alignnone” width=”1200″] Виявлення тонких локальних редагувань у deepfake: реальне відео змінюється, щоб створити фальшивки з тонкими змінами, такими як підняті брови, змінені статеві ознаки та зрушення виразу в бік огиди (показано тут з однією кадром). Джерело: https://arxiv.org/pdf/2503.22121[/캡션]

Система авторів спрямована на виявлення deepfake, які включають тонкі, локалізовані маніпуляції з обличчям – інакше забуту класу фальсифікації. Замість того, щоб зосереджуватися на глобальних несумісностях або невідповідності ідентичності, підхід націлюється на тонкі зміни, такі як легкі зрушення виразу або малі редагування окремих особливостей обличчя.

Метод використовує роздільник дієвої одиниці (АУ) у Системі кодування обличчя (ФЕЙС), яка визначає 64 можливі окремі мутабельні області на обличчі, які разом утворюють вирази.

[캡션 id=”attachment_215015″ align=”alignnone” width=”900″] Деякі з складових 64 частин виразу в ФЕЙС. Джерело: https://www.cs.cmu.edu/~face/facs.htm[/캡션]

Автори оцінили свій підхід проти різноманітних недавніх методів редагування та повідомили про стабільні виграші у продуктивності, як з старими наборами даних, так і з набагато більш недавніми векторами атаки:

‘Використовуючи функції, засновані на АУ, для керівництва відеопредставленнями, вивченими через Маскові автоенкодери (МАЕ), наш метод ефективно захоплює локалізовані зміни, які є важливими для виявлення тонких редагувань обличчя.

‘Цей підхід дозволяє нам сконструювати єдине латентне представлення, яке кодує як локалізовані редагування, так і ширші зміни у відео, центрованих на обличчі, забезпечуючи комплексне та адаптивне рішення для виявлення deepfake.’

Нова робота називається Виявлення локалізованих маніпуляцій deepfake за допомогою представлень відео, керованих дієвими одиницями, і походить від трьох авторів з Індійського технологічного інституту у Мадрасі.

Метод

У відповідності з підходом, прийнятим у VideoMAE, новий метод починається з застосування виявлення обличчя до відео та вибірки рівномірно розставлених кадрів, центрованих на виявлених обличчях. Ці кадри потім діляться на малі 3D-ділення (тобто, тимчасово-активовані патчі), кожне з яких захоплює локальне просторове та тимчасове деталі.

[캡션 id=”attachment_215019″ align=”alignnone” width=”937″] Схема нового методу. Вхідне відео обробляється з виявлення обличчя для витягування рівномірно розставлених, центрованих на обличчі кадрів, які потім діляться на ‘трубчасті’ патчі та передаються через кодувач, який з’єднує латентні представлення від двох попередньо натренованих задач. Результатуючий вектор потім використовується класифікатором для визначення того, чи є відео справжнім чи фальшивим.[/캡션]

Кожен 3D-патч містить фіксований розмір вікна пікселів (тобто, 16×16) з декількох послідовних кадрів (тобто, 2). Це дозволяє моделі вивчити короткочасний рух та зміни виразу – не тільки те, як виглядає обличчя, але як воно рухається.

Патчі вкладені та позиційно закодовані перед тим, як бути переданими в кодувач, призначений для витягування функцій, які можуть відрізнити справжнє від фальшивого.

Автори визнають, що це особливо складно при роботі з тонкими маніпуляціями, і звертають увагу на цю проблему, конструюючи кодувач, який з’єднує два окремих типи вивчених представлень, використовуючи крос-аттенцію механізм для з’єднання їх. Це призначено для створення більш чутливого та узагальненного простору функцій для виявлення локалізованих редагувань.

Задачі-претексти

Перше з цих представлень є кодувачем, натренованим з задачею автоматичного автоенкодування. З відео, розділеного на 3D-патчі (більшість з яких приховані), кодувач потім вивчає реконструювати відсутні частини, змушуючи його захопити важливі просторово-тимчасові закономірності, такі як рух обличчя або узгодженість у часі.

[캡션 id=”attachment_215020″ align=”alignnone” width=”901″] Натренування задач-претекстів включає приховування частини відеовхідних даних та використання установки кодувача-дешифратора для реконструкції або оригінальних кадрів, або карт АУ на кадр, залежно від задачі.[/캡션]

Однак, робота зауважує, що це однієї не достатньо для забезпечення достатньої чутливості для виявлення тонких редагувань, і автори тому вводять другий кодувач, натренований на виявлення дієвої одиниці обличчя (АУ). Для цієї задачі модель вивчає реконструювати густі карти АУ для кожного кадру, знову з частково прихованими вхідними даними. Це заохочує її зосередитися на локалізованій м’язовій діяльності, де відбувається багато тонких редагувань deepfake.

[캡션 id=”attachment_215021″ align=”alignnone” width=”814″] Додаткові приклади дієвої одиниці обличчя (ФО, або АУ). Джерело: https://www.eiagroup.com/the-facial-action-coding-system/[/캡션]

Після того, як обидва кодувачі попередньо натреновані, їхні виходи з’єднуються за допомогою крос-аттенції. Замість простого з’єднання двох наборів функцій, модель використовує функції, засновані на АУ, як запити, які керують увагою над просторово-тимчасовими функціями, вивченими з автоматичного автоенкодування. По суті, кодувач АУ каже моделі, куди дивитися.

Результатом є з’єднане латентне представлення, яке призначено для захоплення як ширшого контексту руху, так і локалізованого рівня деталізації виразу. Це об’єднаний простір функцій потім використовується для кінцевої задачі класифікації: передбачення того, чи є відео справжнім чи маніпульованим.

Дані та тести

Реалізація

Автори реалізували систему, попередньо обробивши вхідні відео з використанням фреймворку виявлення обличчя FaceXZoo на основі PyTorch, отримавши 16 кадрів, центрованих на обличчі, з кожного кліпу. Задачі-претексти, описані вище, були натреновані на наборі даних CelebV-HQ, який складається з 35 000 високоякісних відео обличчя.

[캡션 id=”attachment_215023″ align=”alignnone” width=”739″] З джерельної роботи, приклади з набору даних CelebV-HQ, використаного в новому проекті. Джерело: https://arxiv.org/pdf/2207.12393[/캡션]

Половина даних прикладів була прихована, змушуючи систему вивчити загальні принципи, а не перефітуватися до джерельних даних.

Для задачі реконструкції кадрів модель була натренована на передбачення відсутніх регіонів відеокадрів за допомогою L1-втрат, мінімізуючи різницю між оригінальним та реконструйованим вмістом.

Для другої задачі модель була натренована на генерацію карт для 16 дієвої одиниці обличчя, кожна з яких представляє тонкі рухи м’язів у таких областях, як брови, повіки, ніс та губи, знову під контролем L1-втрат.

Після попереднього натренування два кодувачі були з’єднані та дофінуалізовані для виявлення deepfake за допомогою набору даних FaceForensics++, який містить як справжнє, так і маніпульоване відео.

[캡션 id=”attachment_215024″ align=”alignnone” width=”852″] Набір даних FaceForensics++ був каменем виявлення deepfake з 2017 року, хоча зараз він значно застарів щодо останніх технік синтезу обличчя. Джерело: https://www.youtube.com/watch?v=x2g48Q2I2ZQ[/캡션]

Для обліку несбалансованості класів автори використали Фокус-втрату (варіант втрати перехрестної ентропії), яка підкреслює більш складні приклади під час навчання.

Усі навчання проводилися на одному GPU RTX 4090 з 24 ГБ відеопам’яті, з розміром батчу 8 за 600 епох (повні огляди даних), використовуючи попередньо натреновані чекпойнти з VideoMAE для ініціалізації ваг для кожної з задач-претекстів.

Тести

Кількісні та якісні оцінки проводилися проти різноманітних методів виявлення deepfake: FTCN; RealForensics; Lip Forensics; EfficientNet+ViT; Face X-Ray; Alt-Freezing; CADMM; LAANet; та SBI BlendFace. У всіх випадках був доступний вихідний код для цих фреймворків.

Тести центрувалися на локально-редагованих deepfake, де лише частина джерельного кліпу була змінена. Архітектури, використані для цього, включали Дифузійні відеоавтоенкодери (DVA); Зшити вчасно (STIT); Дезентанговане редагування обличчя (DFE); Tokenflow; VideoP2P; Text2Live; та FateZero. Ці методи використовують різноманітні підходи (дифузію для DVA та StyleGAN2 для STIT та DFE, наприклад).

Автори заявляють:

‘Для забезпечення всебічного покриття різних маніпуляцій з обличчям ми включили широкий спектр особливостей обличчя та редагувань атрибутів. Для редагування особливостей обличчя ми змінили розмір очей, відстань між очима та бровами, співвідношення носа, відстань між носом та ротом, співвідношення губ та щік. Для редагування атрибутів обличчя ми варіювали вирази, такі як посмішка, гнів, огиду та печаль.

‘Ця різноманітність є суттєвою для валідування стійкості нашої моделі над широким спектром локалізованих редагувань. Загалом, ми згенерували 50 відео для кожного з вище згаданих методів редагування та валідували сильну генералізацію нашого методу для виявлення deepfake.’

Старіші набори даних deepfake також були включені в раунди, зокрема Celeb-DFv2 (CDF2); Виявлення deepfake (DFD); Виявлення deepfake Challenge (DFDC); та WildDeepfake (DFW).

Метрики оцінки були Площа під кривою (AUC); Середня точність; та Середній F1-Бал.

[캡션 id=”attachment_215025″ align=”alignnone” width=”886″] З джерельної роботи: порівняння недавніх локалізованих deepfake показує, що запропонований метод перевершив усі інші, з виграшем у 15-20 відсотків як у AUC, так і в середній точності над наступним найкращим підходом.[/캡션]

Автори також надають візуальне порівняння виявлення для локально-маніпульованих виглядів (відтворене тільки частково через брак місця):

[캡션 id=”attachment_215026″ align=”alignnone” width=”841″] Справжнє відео було змінено за допомогою трьох різних локалізованих маніпуляцій для створення фальшивок, які були візуально схожі на оригінал. Показані тут представницькі кадри разом з середнім балом виявлення фальшивок для кожного методу. Хоча існуючі детектори боролися з цими тонкими редагуваннями, запропонований метод послідовно призначав високі ймовірності фальшивок, вказуючи на більшу чутливість до локалізованих змін.[/캡션]

Дослідники коментують:

‘Існуючі методи виявлення deepfake, [LAANet], [SBI], [AltFreezing] та [CADMM], демонструють значний спад продуктивності на останніх методах генерації deepfake. Поточні методи демонструють AUC так низько, як 48-71%, демонструючи їхню погану здатність до генералізації для останніх deepfake.

‘З іншого боку, наш метод демонструє стійку генералізацію, досягнувши AUC у діапазоні 87-93%. Аналогічний тренд спостерігається у випадку середньої точності. Як показано нижче, наш метод також послідовно досягає високої продуктивності на стандартних наборах даних, перевищуючи 90% AUC та конкуруючи з недавніми моделями виявлення deepfake.’

[캡션 id=”attachment_215027″ align=”alignnone” width=”1000″] Продуктивність на традиційних наборах даних deepfake показує, що запропонований метод залишився конкурентоспроможним з провідними підходами, вказуючи на сильну генералізацію над різноманітними типами маніпуляцій.[/캡션]

Автори спостерігають, що ці останні тести включають моделі, які можна розумно вважати застарілими, і які були введені до 2020 року.

Для більш широкого візуального зображення продуктивності нової моделі автори надають обширну таблицю в кінці, з якої ми маємо місце відтворити лише частину:

[캡션 id=”attachment_215028″ align=”alignnone” width=”951″] У цих прикладах справжнє відео було змінено за допомогою трьох локалізованих редагувань для створення фальшивок, які були візуально схожі на оригінал. Середні бали довіри через ці маніпуляції показують, що запропонований метод виявив фальшивки більш надійно, ніж інші провідні підходи. Будь ласка, зверніться до останньої сторінки джерельного PDF для повних результатів.[/캡션]

Автори стверджують, що їхній метод досягає балів довіри понад 90 відсотків для виявлення локалізованих редагувань, тоді як існуючі методи виявлення залишаються нижче 50 відсотків на тій же задачі. Вони інтерпретують цю прогалину як свідчення як чутливості, так і генералізації свого підходу, і як вказівку на складності, з якими зіштовуються поточні техніки при роботі з цими типами тонких маніпуляцій з обличчям.

Для оцінки надійності моделі в реальних умовах, згідно з методом, встановленим CADMM, автори протестували її продуктивність на відео, змінених за допомогою звичайних спотворень, включаючи корекцію насиченості та контрасту, гауссовий розмиття, пікселізацію та артефакти блокової компресії, а також адитивний шум.

Результати показали, що точність виявлення залишилася в основному стабільною через ці спотворення. Єдина помітна спад продуктивності відбулася з додаванням гауссового шуму, яке викликало помірний спад продуктивності. Інші зміни мали мінімальний ефект.

[캡션 id=”attachment_215029″ align=”alignnone” width=”778″] Ілюстрація того, як змінюється точність виявлення під впливом різних спотворень відео. Новий метод залишився стійким у більшості випадків, з лише незначним спадом AUC. Найбільший спад відбулося при введенні гауссового шуму.[/캡션]

Ці висновки, пропонують автори, свідчать про те, що здатність методу виявляти локалізовані маніпуляції не легко порушується звичайними погіршеннями якості відео, підтримуючи його потенційну стійкість у практичних умовах.

Висновок

Маніпуляції штучним інтелектом існують у громадській свідомості головним чином у традиційному розумінні deepfake, де особистість людини накладається на тіло іншого людини, який може виконувати дії, протилежні принципам власника особистості. Це розуміння повільно оновлюється для визнання більш хитрих можливостей генеративних відеосистем (у новому поколінні відео deepfake), і до можливостей латентних моделей дифузії (LDM) загалом.

Таким чином, можна очікувати, що тип локального редагування, з яким займається нова робота, може не привернути увагу громадськості, доки не відбудеться подія типу Пелосі, оскільки люди відволікаються від цієї можливості більш привабливими заголовками, такими як фальшивки відео deepfake.

Однак, як актор Нік Кейдж висловив стурбованість щодо можливості постпродакшн-процесів ‘редагування’ виступу актора, ми теж повинні, можливо, заохочувати більшу осведомленість про цей тип ‘тонкого’ відео-корекції – не в останню чергу тому, що ми природно надзвичайно чутливі до дуже малих варіацій виразу обличчя, і тому, що контекст може суттєво змінити вплив малих рухів обличчя (розгляньте розруйнівний ефект навіть посмішки на похоронах, наприклад).

Опубліковано вперше у середу, 2 квітня 2025 року