Дослідники визначили стійку ознаку глибоких підробок, яка могла б допомогти у довгостроковому виявленні

Від самого початку появи перших рішень для виявлення глибоких підробок у 2018 році, сектор досліджень комп’ютерного зору та безпеки намагається визначити основну характеристику відеороликів-глибоких підробок – сигнали, які могли б бути стійкими до поліпшення популярних технологій синтезу обличчя (як пакети глибоких підробок на основі автоенкодерів, таких як DeepFaceLab і FaceSwap, і використання генеративних суперницьких мереж для відтворення, симуляції чи зміни людських облич).

Багато “приміток”, таких як відсутність моргання, стали непотрібними через поліпшення глибоких підробок, тоді як потенційне використання цифрових методів походження (таких як ініціатива Content Authenticity Initiative компанії Adobe ) – включаючи підходи на основі блокчейну та цифрове водяне знакування потенційних джерельних фотографій – або вимагає суттєвих і дорогих змін існуючої бази доступних джерельних зображень в інтернеті, або ж потребує помітних зусиль зі співробітництва між країнами та урядами для створення систем нагляду та автентифікації.

Отже, було б дуже корисно, якщо б можна було визначити справді фундаментальну і стійку ознаку в зображенні та відеоконтенті, який містить змінені, вигадані чи підмінені людські обличчя; характеристику, яку можна було б вивести безпосередньо з підроблених відеороликів, без великомасштабної верифікації, хешування криптографічних активів, перевірки контексту, оцінки правдоподібності, процедур виявлення артефактів чи інших трудомістких підходів до виявлення глибоких підробок.

Глибокі підробки в кадрі

Нова дослідницька співпраця між Китаєм і Австралією вважає, що вона знайшла це “святе графал”, у вигляді порушення регулярності.

Автори розробили метод порівняння просторової цілісності та тимчасової безперервності реальних відеороликів із тими, що містять контент глибоких підробок, і виявили, що будь-який вид втручання глибоких підробок порушує регулярність зображення, хоч би як непомітно.

Це частково пояснюється тим, що процес глибоких підробок розбиває цільовий відеоролик на кадри та застосовує вплив навченої моделі глибоких підробок до кожного (заміщеного) кадру. Популярні розподіли глибоких підробок діють так само, як аніматори в цьому відношенні, надаючи більше уваги автентичності кожного кадру, ніж його внеску у загальну просторову цілісність та тимчасову безперервність відеоролика.

З паперу: А) Відмінності між видами даних. Тут ми бачимо, що порушення p-fake змінюють просторово-часову якість зображення так само, як і глибока підробка, без заміни ідентичності. Б) Аналіз шуму трьох видів даних, показуючи, як p-fake імітують порушення глибоких підробок. В) Часова візуалізація трьох видів даних, з реальними даними, що демонструють більшу цілісність у коливанні. Г) Візуалізація T-SNE витягнутих функцій для реального, підробленого та p-fake відео. Джерело: https://arxiv.org/pdf/2207.10402.pdf

Це не так, як відеокодек обробляє ряд кадрів під час створення або обробки оригінальної запису. Для економії розміру файлу або для того, щоб зробити відеоролик придатним для потокового передавання, величезна кількість інформації відкидається відеокодеком. Навіть при最高ій якості кодек виділяє кадри-ключі (змінна, яку можна встановити користувачем) – цілі, практично нез стиснуті зображення, які відбуваються на певному інтервалі у відеоролiku.

Міжкадрові кадри між кадрами-ключами, до певної міри, оцінюються як варіант кадрів, і будуть повторно використовувати якомога більше інформації з сусідніх кадрів-ключів, а не бути повними кадрами самостійно.

Зліва, повний кадр-ключ, або ‘i-кадр’, зберігається у стисненому відео, за певної витрати розміру файлу; справа, міжкадровий ‘дельта-кадр’ повторно використовує будь-яку застосовну частину більш даних багатіший кадр-ключ. Джерело: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

Цим шляхом, блок (містить x кількість кадрів, залежно від налаштувань кадрів-ключів) є, по суті, найменшим одиницею, розглянутою у типовому стисненому відео, а не будь-який окремий кадр. Навіть сам кадр-ключ, відомий як i-кадр, утворює частину цієї одиниці.

У термінах традиційної мультиплікації, кодек здійснює вид міжкадрової анімації, з кадрами-ключами, що діють як опорні точки для міжкадрових, виведених кадрів, відомих як дельта-кадри.

Натомість, надкладення глибоких підробок присвячує величезну увагу і ресурси кожному окремому кадру, не беручи до уваги ширший контекст, і не роблячи жодних поступок для того, щоб відповідати сигнатурам стисненого відео.

Ближчий погляд на розрив між тимчасовою якістю автентичного відео (зліва) і тим же відео, коли воно порушується глибокими підробками (справа).

Хоча деякі з кращих глибоких підробок використовують розширений постобробку, у пакетах, таких як After Effects, і хоча розподіл DeepFaceLab має внутрішню можливість застосовувати процедури “змішування”, такі як.motion blur, така хитрість не впливає на несумісність просторової та тимчасової якості між автентичними та глибокими підробками відео.

Новий документ називається Виявлення глибоких підробок за допомогою створення просторово-часового порушення регулярності і походить від дослідників університету Цінхуа, відділу технологій комп’ютерного зору (VIS) компанії Baidu Inc. і університету Мельбурна

‘Підроблені’ підроблені відео

Дослідники, які стоять за документом, включили функціональність дослідження у модуль “псевдо-підроблений генератор” (P-fake Генератор), який перетворює реальні відеоролики у псевдо-глибокі підроблені відео, порушуючи їх тим же способом, що і справжній процес глибоких підробок, без виконання будь-яких операцій глибоких підробок.

Тести показують, що модуль можна додати до всіх існуючих систем виявлення глибоких підробок практично без жодних витрат ресурсів, і що він значно покращує їхню продуктивність.

Відкриття може допомогти вирішити одну з інших проблем у дослідженнях виявлення глибоких підробок: відсутність автентичних і актуальних наборів даних. Оскільки генерація глибоких підробок є складним і трудомістким процесом, спільнота розробила ряд наборів даних глибоких підробок за останні п’ять років, багато з яких є досить застарілими.

Відокремлюючи порушення регулярності як сигнал глибоких підробок-агностик для відео, змінених пост-факто, новий метод робить можливим генерацію безлічі зразкових і наборів даних відео, які фокусуються на цій ознаці глибоких підробок.

Огляд блоку STE, де канально-часова конволюція використовується як стимул для генерації просторово-часових покращених кодувань, що призводить до тієї ж сигнатури, яку навіть дуже переконлива глибока підробка дає. Цим методом можна генерувати ‘підроблені’ підроблені відео, які мають ті ж самі сигнатури характеристики, що й будь-яке змінене, подібне до глибокої підробки відео, і які не залежать від конкретних розподілів чи волатильних аспектів, таких як поведінка функцій чи алгоритмічні артефакти.

Тести

Дослідники провели експерименти на шести відомих наборах даних, використовуваних у дослідженнях виявлення глибоких підробок: FaceForensics++ (FF++); WildDeepFake; Deepfake Detection Challenge preview (DFDCP); Celeb-DF; Deepfake Detection (DFD); і Face Shifter (FSh).

Для FF++ дослідники тренували свою модель на оригінальному наборі даних і протестували кожну з чотирьох підмножин окремо. Без використання будь-якого матеріалу глибоких підробок у тренуванні, новий метод зміг перевершити результати сучасного стану.

Метод також зайняв перше місце при порівнянні з набором даних FF++ C23, стисненим, який надає приклади, що містять артефакти стиснення, які є правдоподібними у реальних середовищах перегляду глибоких підробок.

Автори коментують:

‘Результати у рамках FF++ підтверджують доцільність нашої основної ідеї, тоді як універсальність залишається великою проблемою існуючих методів виявлення глибоких підробок, оскільки продуктивність не гарантується під час тестування на глибоких підробках, згенерованих незвіданими методами.

‘Розгляньте далі реальність гонитви озброєнь між детекторами і підробниками, універсальність є важливим критерієм для оцінки ефективності методу виявлення у реальному світі.’

Хоча дослідники провели ряд субтестів (див. документ для деталей) щодо “стійкості” та зміни типів відеовхідних даних (тобто реальних, фальшивих, p-fake тощо), найбільш цікаві результати походять від тесту на перехресну продуктивність наборів даних.

Для цього автори тренували свою модель на вищезгаданому “реальному світі” версії FF++ C23 і протестували її проти чотирьох наборів даних, отримавши, як заявляють автори, вищу продуктивність у всіх з них.

Результати з перехресного завдання наборів даних. Документ зазначає, що SBI використовує подібний підхід до власного, тоді як, як стверджують дослідники, p-fake показує кращу продуктивність для просторово-часового порушення регулярності.

Документ зазначає:

‘На найбільш складному Deepwild, наш метод перевершує метод SOTA приблизно на 10 процентних пунктів за показником AUC%. Ми вважаємо, що це відбувається через велику різноманітність глибоких підробок у Deepwild, яка робить інші методи невдалими для узагальнення з відомих глибоких підробок.’

Метрики, використані для тестів, були Точність (ACC), Площа під кривою приймання-відмови (AUC) і Коєфіцієнт рівної помилки (EER).

Контрзаходи?

Хоча ЗМІ характеризують напруженість між розробниками глибоких підробок і дослідниками виявлення глибоких підробок у термінах технологічної війни, можна сказати, що перші просто намагаються зробити більш переконливий вивід, і що підвищена складність виявлення глибоких підробок є побічним продуктом цих зусиль.

Чи розробники спробують звернутися до цього ново відкритого недоліку, залежить, можливо, від того, чи відчувають вони, що порушення регулярності можна сприйняти в глибокій підробці відео голим оком як ознаку неавтентичності, і що, отже, цей показник варто звернути увагу з чисто якісної точки зору.

Хоча п’ять років пройшли з моменту, коли перші глибокі підробки з’явилися в інтернеті, глибокі підробки все ще є відносно молодою технологією, і спільнота, ймовірно, більше зайнята деталями і роздільною здатністю, ніж правильним контекстом чи відповідністю сигнатурам стисненого відео, що вимагає певої “деградації” виводу – саме те, проти чого вся спільнота глибоких підробок зараз бореться.

Якщо загальна думка виявиться такою, що порушення регулярності є молодою ознакою, яка не впливає на якість, може не бути жодних зусиль для компенсації цього – навіть якщо це можна “скасувати” за допомогою деяких постобробок або архітектурних процедур, що далеко не ясно.

Перше опубліковано 22 липня 2022 року.