Дослідники визначили стійку ознаку глибоких підробок, яка могла б допомогти у довгостроковому виявленні

Від часу появи перших рішень для виявлення глибоких підробок у 2018 році, галузь досліджень комп’ютерного зору та безпеки намагалася визначити істотну характеристику відео-глибоких підробок – сигнали, які могли б бути стійкими до вдосконалень популярних технологій синтезу обличчя (таких як пакети глибоких підробок на основі автоенкодерів, як DeepFaceLab і FaceSwap, і використання Генеративних суперницьких мереж для відтворення, симуляції або зміни людських облич).

Багато з “ознак”, таких як відсутність моргання, стали застарілими через вдосконалення глибоких підробок, тоді як потенційне використання цифрових технік аутентифікації (таких як ініціатива Content Authenticity Initiative, яку очолює Adobe) – включаючи підходи на основі блокчейну та цифрові водяні знаки потенційних джерельних фотографій – або вимагають масштабних і дорогих змін існуючої бази доступних джерельних зображень в інтернеті, або ж потребують помітних зусиль з кооперації серед країн і урядів для створення систем нагляду та аутентифікації.

Отже, було б дуже корисно, якщо б можна було визначити справді фундаментальну і стійку ознаку в зображеннях і відеоконтенті, який містить змінені, вигадані або заміщені людські обличчя; характеристику, яку можна було б вивести безпосередньо з підроблених відео, без великомасштабної верифікації, хешування криптографічних активів, перевірки контексту, оцінки правдоподібності, процедур виявлення артефактів чи інших трудомістких підходів до виявлення глибоких підробок.

Глибокі підробки в кадрі

Нова дослідницька співпраця між Китаєм і Австралією вважає, що вона знайшла це “святе графал”, у вигляді порушення регулярності.

Автори розробили метод порівняння просторової цілісності та часової безперервності реальних відео з тими, які містять глибокі підробки, і виявили, що будь-який вид глибокої підробки порушує регулярність зображення, хоч би як непомітно.

Це частково пояснюється тим, що процес глибокої підробки розбиває цільове відео на кадри та застосовує ефект навченої моделі глибокої підробки до кожного (заміщеного) кадру. Популярні розподіли глибоких підробок діють так само, як аніматори, в цьому відношенні, надаючи більше уваги аутентичності кожного кадру, ніж його внеску у загальну просторову цілісність і часову безперервність відео.

… (переклад продовжується згідно з оригінальним текстом)