Виявлення відеоконференційних дипфейків за допомогою функції “Вібрація” смартфона

Нові дослідження з Сінгапуру запропонували новий метод виявлення того, чи використовує хтось на іншому кінці відеоконференції смартфона методи, такі як DeepFaceLive, щоб видати себе за іншого.

Нова підхід, названа SFake, відмовляється від пасивних методів, які використовуються більшістю систем, і викликає вібрацію телефону (за допомогою тих самих механізмів вібрації, які є загальними для смартфонів), і тонко розмиття обличчя.

Хоча системи живих дипфейків мають різну здатність реплікувати рухоме розмиття, поки розмиті кадри були включені в навчальні дані, або хоча б у попередніх навчальних даних, вони не можуть реагувати достатньо швидко на несподіване розмиття цього типу, і продовжують виводити нерозмиті частини обличчя, розкриваючи існування дипфейкової конференції.

DeepFaceLive не може швидко симулювати розмиття, викликане вібрацією камери. Джерело: https://arxiv.org/pdf/2409.10889v1

Тестові результати на власному наборі даних дослідників (оскільки немає наборів даних, які б містили активне розмиття камери) показали, що SFake перевершив інші відео-орієнтовані методи виявлення дипфейків, навіть у складних умовах, таких як природний рух руки, який відбувається, коли інша людина в відеоконференції тримає камеру в руці, а не використовує статичну телефонну підставку.

Розростання потреби у відео-орієнтованому виявленні дипфейків

Дослідження відео-орієнтованого виявлення дипфейків зросли нещодавно. Унаслідок кількох років успішних голосових дипфейкових пограбувань, на початку цього року фінансовий працівник був обманутий і переконаний перевести 25 мільйонів доларів шахраю, який видавав себе за фінансового директора в дипфейковому відеозв’язку.

Хоча система такого типу вимагає високого рівня доступу до апаратного забезпечення, багато користувачів смартфонів вже звикли до фінансових і інших видів послуг верифікації, які запитують запис наших лицьових ознак для лицьової аутентифікації (фактично, це навіть частина процесу верифікації LinkedIn).

Відтак, здається ймовірним, що такі методи все частіше будуть застосовуватися для систем відеоконференцій, оскільки цей тип злочину продовжує потрапляти в заголовки.

Більшість рішень, які займаються реальними відеоконференціями-дипфейками, припускають дуже статичну ситуацію, в якій комунікант використовує стаціонарну веб-камеру, і не очікується рух або надмірні зміни навколишнього середовища чи освітлення.

Натомість SFake використовує ряд методів виявлення, щоб компенсувати велику кількість візуальних варіантів у ручній смартфонній відеоконференції, і, здається, є першим дослідницьким проєктом, який звертається до цього питання за допомогою стандартного обладнання вібрації, вбудованого в смартфони.

Документ документ називається Потрясаючи фальшивку: Виявлення відео-дипфейків в реальному часі за допомогою активних зондів, і походить від двох дослідників з Наньянського технологічного університету в Сінгапурі.

Метод

SFake розроблений як хмарний сервіс, де локальна програма буде надсилати дані на віддалений API-сервіс для обробки, а результати будуть надіслані назад.

Однак, його малий розмір у 450 МБ і оптимізована методологія дозволяють обробляти виявлення дипфейків повністю на самому пристрої, у випадках, коли мережевий зв’язок міг би спричинити надмірне стиснення відправлених зображень, що вплине на діагностичний процес.

Виконання “всієї локальної” роботи в цьому вигляді означає, що система матиме прямий доступ до потоку камери користувача, без кодека інтерференції, часто пов’язаної з відеоконференціями.

Середній час аналізу вимагає чотири-секундного відеозразка, під час якого користувачеві пропонується залишатися нерухомим, і під час якого SFake надсилає “зонди”, щоб викликати вібрацію камери в вибіркових випадкових інтервалах, на які системи, такі як DeepFaceLive, не можуть відреагувати вчасно.

(Повинно бути повторено, що будь-який атакувальник, який не включив розмиті дані у навчальний набір, малоймовірно зможе створити модель, яка зможе генерувати розмиття навіть у набагато більш сприятливих умовах, і що DeepFaceLive не може просто “додати” цю функціональність до моделі, навченої на недоопрацьованому наборі даних)

Система вибирає вибрані області обличчя як потенційні області вмісту дипфейків, виключаючи очі та брови (оскільки моргання та інші рухи обличчя в цій області знаходяться поза межами розмиття, і не є ідеальним індикатором).

Концептуальна схема SFake.

Як ми бачимо на концептуальній схемі вище, після вибору відповідних і непередбачуваних шаблонів вібрації, вибору найкращої фокусної довжини та виконання лицьової ідентифікації (включаючи виявлення орієнтирів за допомогою компонента Dlib, який оцінює стандартні 68 лицьових орієнтирів), SFake отримує градієнти з входного обличчя та зосереджується на вибраних областях цих градієнтів.

Послідовність варіансу отримується шляхом послідовного аналізу кожного кадру короткого кліпу, який вивчається, поки не буде досягнута середня або “ідеальна” послідовність, а решта буде відкинута.

Це забезпечує витягнуті функції, які можуть бути використані як кількісник для ймовірності вмісту дипфейків, заснованого на навчених даних (з яких, більше згодом).

Система вимагає роздільної здатності зображення 1920×1080 пікселів, а також至少 2-кратного збільшення об’єктива. У документі зазначається, що такі роздільності (та навіть вищі роздільності) підтримуються в Microsoft Teams, Skype, Zoom та Tencent Meeting.

Більшість смартфонів мають передню та задню камеру, і часто лише одна з них має можливості зуму, необхідні для SFake; програма буде вимагати від комуніканта використовувати ту камеру, яка відповідає цим вимогам.

Мета полягає в тому, щоб отримати правильну пропорцію обличчя користувача у відеопотоці, який буде аналізуватися системою. У документі зазначається, що середня відстань, на якій жінки використовують мобільні пристрої, становить 34,7 см, а для чоловіків – 38,2 см (як повідомляється в Журналі оптометрії), і що SFake працює дуже добре на цих відстанях.

Оскільки стабілізація є проблемою для ручної відеозйомки, а розмиття, яке відбувається від руху руки, є перешкодою для функціонування SFake, дослідники спробували кілька методів компенсації. Найбільш успішним з них було обчислення центральної точки оцінених орієнтирів та використання її як “якоря” – фактично алгоритмічної техніки стабілізації. За допомогою цього методу була досягнута точність 92%.

Дані та тести

Оскільки не існувало відповідних наборів даних для цієї мети, дослідники створили свої власні:

‘[Ми] використовуємо 8 різних брендів смартфонів, щоб записати 15 учасників різного віку та статі, щоб створити свій власний набір даних. Ми розміщуємо смартфон на телефонній підставці на відстані 20 см від учасника та збільшуємо в два рази, спрямовуючи на обличчя учасника, щоб охопити всі його лицьові ознаки, а також вібруємо смартфон у різних шаблонах.

‘Для телефонів, чиї передні камери не можуть збільшуватися, ми використовуємо задні камери як заміну. Ми записуємо 150 довгих відео, кожне тривалістю 20 секунд. За замовчуванням ми припускаємо, що період виявлення триває 4 секунди. Ми обрізаємо 10 кліпів тривалістю 4 секунди з одного довгого відео, випадковим чином вибираючи час початку. Таким чином, ми отримуємо загалом 1500 реальних кліпів, кожний тривалістю 4 секунди.’

Хоча DeepFaceLive (посилання на GitHub) був центральною метою дослідження, оскільки це目前 найпоширеніша відкрита система живих дипфейків, дослідники включили чотири інші методи для навчання своєї базової моделі виявлення: Hififace; FS-GANV2; RemakerAI; і MobileFaceSwap – останній з них особливо підходить для цільового середовища.

1500 фейкових відео були використані для навчання, разом з тим же числом реальних та незмінених відео.

SFake був протестований проти кількох різних класифікаторів, включно з SBI; FaceAF; CnnDetect; LRNet; DefakeHop варіанти; і безкоштовну онлайн-сервіс виявлення дипфейків Deepaware. Для кожного з цих методів дипфейків були навчені 1500 фейкових та 1500 реальних відео.

Для базового тестового класифікатора був використаний простий двошаровий нейронний мереж з функцією активації ReLU. 1000 реальних та 1000 фейкових відео були випадковим чином вибрані (хоча фейкові відео були виключно прикладами DeepFaceLive).

Площа під кривою приймальника-оператора (AUC/AUROC) і Точність (ACC) були використані як метрики.

Для навчання та висновку був використаний NVIDIA RTX 3060, і тести були проведені під Ubuntu. Тестові відео були записані на Xiaomi Redmi 10x, Xiaomi Redmi K50, OPPO Find x6, Huawei Nova9, Xiaomi 14 Ultra, Honor 20, Google Pixel 6a та Huawei P60.

Щоб відповідати існуючим методам виявлення, тести були реалізовані в PyTorch. Основні результати тестів показані в таблиці нижче:

Результати для SFake проти конкуруючих методів.

Автори коментують:

‘У всіх випадках точність виявлення SFake перевищувала 95%. Серед п’яти алгоритмів дипфейків, крім Hififace, SFake працює краще проти інших алгоритмів дипфейків, ніж інші шість методів виявлення. Оскільки наш класифікатор був навчений за допомогою фейкових зображень, згенерованих DeepFaceLive, він досягає найбільшої точності 98,8%, коли виявляє DeepFaceLive.

‘Коли ми стикаємося з фейковими обличчями, згенерованими RemakerAI, інші методи виявлення працюють погано. Ми припускаємо, що це може бути через автоматичне стиснення відео при завантаженні з Інтернету, що призводить до втрати деталей зображення та зниження точності виявлення. Однак це не впливає на виявлення SFake, яке досягає точності 96,8% при виявленні RemakerAI.’

Автори далі зазначають, що SFake є найбільш продуктивною системою в сценарії, коли застосовується 2-кратне збільшення об’єктива, оскільки це перебільшує рух, і є надзвичайно складною перспективою. Навіть у цьому випадку SFake був здатний досягти визначальної точності 84% і 83% відповідно для 2,5 і 3 кратних факторів збільшення.

Висновок

Проєкт, який використовує слабкості системи живих дипфейків проти себе, є свіжим пропозицією в рік, коли виявлення дипфейків було доміновано документами, які просто перемішали стародавні підходи навколо аналізу частоти (який далеко не імунний до інновацій у сфері дипфейків).

У кінці 2022 року інша система використовувала варіацію яскравості монітора як детектор; і в тому ж році моя власна демонстрація нездатності DeepFaceLive обробляти жорсткі 90-градусні профільні вигляди здобула деякий інтерес спільноти.

DeepFaceLive є правильною метою для такого проєкту, оскільки це майже напевно центр злочинного інтересу щодо відеоконференційних фальсифікацій.

Однак, я останнім часом бачив деякі анекдотичні свідчення того, що система LivePortrait, яка зараз дуже популярна в спільноті VFX, обробляє профільні вигляди значно краще, ніж DeepFaceLive; було б цікаво, якщо б вона могла бути включена в це дослідження.

Перше опубліковане вівторок, 24 вересня 2024