Погляд Anderson
Виявлення відеодзвінків Deepfake через освітлення монітора

Ключові моментиАктивне освітлення з ізолюмінантними змінами відтінку уникає автоекспозиції та…
Показати більше
- Активне освітлення з ізолюмінантними змінами відтінку уникає автоекспозиції та компенсації балансу білого веб-камери.
- Система виявляє затримку дипфейку, вимірюючи часовий зсув у 1-4 кадри між відтінком монітора та відтінком обличчя.
- Майбутні системи зможуть розширити виявлення за межі обличчя на шию та фон для більш насиченого 3-D аналізу освітлення.
Нова співпраця між дослідником Агентства національної безпеки США (NSA) та Університетом Каліфорнії в Берклі пропонує новий метод виявлення контенту Deepfake в живому відеоконтексті – спостерігаючи за впливом освітлення монітора на зовнішній вигляд людини на іншому кінці відеодзвінку.

Популярний користувач DeepFaceLive Druuzil Tech & Games пробує свою власну модель Christian Bale DeepFaceLab у прямому сеансі зі своїми підписниками, поки джерела світла змінюються. Джерело: https://www.youtube.com/watch?v=XPQLDnogLKA
Система працює шляхом розміщення графічного елемента на екрані користувача, який змінює вузький діапазон кольору швидше, ніж типова система Deepfake може відреагувати – навіть якщо, як система трансляції deepfake в реальному часі DeepFaceLive (на зображенні вище), вона має деяку можливість підтримувати живе передавання кольору та облік фонового освітлення.
Одноколірне зображення, показане на моніторі людини на іншому кінці (тобто потенційного шахрая Deepfake), циклічно проходить через обмежену варіацію зміни кольору, призначену для того, щоб не активувати автоматичний баланс білого на вебкамері та інші ситуативні системи компенсації освітлення, які могли б скомпрометувати метод.

Зі статті, ілюстрація зміни умов освітлення від монітора перед користувачем, який ефективно діє як розсіяне ‘площинне джерело світла’. Джерело: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf
Теорія цього підходу полягає в тому, що живі системи Deepfake не можуть відреагувати вчасно на зміни, зображені на графічному елементі, збільшуючи “затримку” ефекту Deepfake в певних частинах спектра кольору, що розкриває його присутність.
Щоб точно виміряти відбите світло монітора, система повинна врахувати та потім виключити вплив загального освітлення середовища, яке не пов’язане зі світлом монітора. Тоді вона може розрізнити недоліки в вимірюванні активного освітлення та кольору обличчя користувача, представляючи часовий зсув 1-4 кадрів між кожним:

Обмежуючи варіації кольору в графічному елементі ‘детектора’ та забезпечуючи, щоб вебкамера користувача не була спровокована на авто-регулювання її налаштувань захоплення через надмірну зміну освітлення монітора, дослідники змогли розрізнити характерну затримку в адаптації системи до освітлення Deepfake.
Стаття завершується висновком:
‘З огляду на обґрунтовану довіру до живих відеодзвінків та дедалі ширше використання відеодзвінків у нашому особистому та професійному житті, ми пропонуємо, що техніки автентифікації відео (та аудіо) дзвінків будуть тільки зростати в важливості.’
Стаття має назву Виявлення відео Deepfake в реальному часі за допомогою активного освітлення, і походить від Кендіс Р. Герстнер, дослідниці прикладної математики в Міністерстві оборони США, та професора Хані Фарід з Берклі.
Ерозія довіри
Сцена анти-Deepfake досліджень помітно змінилася за останні шість місяців, від загального виявлення Deepfake (тобто націленого на попередньо записані відео та порнографічний контент) до виявлення “живих” відеодзвінків, у відповідь на зростаючу хвилю інцидентів використання Deepfake у відеоконференційних дзвінках, та до недавнього попередження ФБР щодо зростаючого використання таких технологій у заявках на віддалену роботу.
Навіть якщо відеодзвінок не був Deepfake, зростаючі можливості для відеоімітаторів, керованих штучним інтелектом, починають генерувати параною.
Нова стаття зазначає:
‘Створення відео Deepfake в реальному часі [представляє] унікальні загрози через загальне відчуття довіри до живого відео- або телефонного дзвінку, та виклику виявлення Deepfake в реальному часі, оскільки дзвінок розгортається.’
Дослідницька спільнота вже давно поставила собі мету знайти невідворотні ознаки контенту Deepfake, які не можуть бути легко компенсовані. Хоча ЗМІ зазвичай характеризують це як технологічну війну між дослідниками безпеки та розробниками Deepfake, більшість спростувань ранніх підходів (таких як аналіз моргання очей, розрізнення положення голови та аналіз поведінки) відбулися просто тому, що розробники та користувачі намагалися зробити більш реалістичні Deepfake загалом, а не конкретно адресували останню “ознаку”, визначену спільнотою безпеки.
Освітлення живого відео Deepfake
Виявлення Deepfake в живих відео-середовищах несе на собі тягар обліку поганих відеоз’єднань, які дуже поширені у відеоконференційних сценаріях. Навіть без втручання шару Deepfake, відеоконтент може бути підданий лагу, артефактам та іншим типам погіршення аудіо та відео. Це може служити для приховування грубих країв у живій архітектурі Deepfake, як у відео, так і в аудіо Deepfake.
Автори нової системи покращили результати та методи, представлені у публікації 2020 року Центру мережевого обчислення Університету Темпл у Філадельфії.

Зі статті 2020 року, ми можемо спостерігати зміну ‘заповненого’ освітлення обличчя, коли вміст екрана користувача змінюється. Джерело: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf
Відмінність у новій роботі полягає в тому, що вона враховує, як вебкамери реагують на зміни освітлення. Автори пояснюють:
‘Через те, що всі сучасні вебкамери виконують автоекспозицію, такий тип високої інтенсивності активного освітлення [використовуваного в попередній роботі] ймовірно спровокує автоекспозицію камери, яка в свою чергу спотворить записане зображення обличчя. Щоб уникнути цього, ми використовуємо активне освітлення, яке складається з ізолюмінантної зміни кольору.
‘Хоча це уникне автоекспозиції камери, це може спровокувати баланс білого, який знову спотворить записане зображення обличчя. Щоб уникнути цього, ми працюємо в діапазоні кольору, який ми емпірично визначили як той, який не спровокує баланс білого.’
Для цієї ініціативи автори також розглянули подібні попередні спроби, такі як LiveScreen, який примусово накладає малопомітний шаблон освітлення на монітор кінцевого користувача в спробі розкрити контент Deepfake.
Хоча ця система досягла рівня точності 94,8%, дослідники доходять висновку, що тонкість шаблонів освітлення зробить такий прихований підхід складним для реалізації в яскраво освітлених середовищах, і натомість пропонують, що їхня власна система, або одна, створена за подібними лініями, могла б бути публічно та за замовчуванням включена до популярного відеоконференційного програмного забезпечення:
‘Наше запропоноване втручання могло б бути реалізовано учасником дзвінку, який просто демонструє свій екран та відображає шаблон, що змінюється з часом, або, ідеально, воно могло б бути безпосередньо інтегровано до клієнта відеодзвінку.’
Тести
Автори використали суміш синтетичних та реальних суб’єктів для тестування свого детектора Deepfake, керованого Dlib. Для синтетичного сценарію вони використали Mitsuba, форвардний та інверсний рендерер з Федеральної політехнічної школи у Лозанні.

Зразки з симульованого середовища тестів, що демонструють різні тони шкіри, розмір джерела світла, інтенсивність фонового освітлення та близькість до камери.
Сцена, зображена на малюнку, включає параметричну CGI-голову, захоплену віртуальною камерою з полем зору 90°. Голови мають Ламбертове відбивання та нейтральні тони шкіри, і розташовані на відстані 2 футів перед віртуальною камерою.
Щоб протестувати каркас через ряд можливих тонів шкіри та налаштувань, дослідники провели серію тестів, послідовно змінюючи різні аспекти. Змінені аспекти включали тон шкіри, близькість та розмір джерела світла.
Автори коментують:
‘У симуляції, з нашими різними припущеннями, виконаними, наш запропонований метод є високою мірою стійким до широкого діапазону конфігурацій зображення.’
Для реального сценарію дослідники використали 15 добровольців з різними тонами шкіри, у різних середовищах. Кожен був підданий двом циклам обмеженої зміни кольору, за умов, коли частота оновлення дисплея 30 Гц синхронізувалася з вебкамерою, що означало, що активне освітлення тривало тільки одну секунду за раз. Результати були загалом порівнянними з синтетичними тестами, хоча кореляції збільшувалися помітно з більшим освітленням.
Майбутні напрямки
Система, яку дослідники визнають, не враховує типових перекриттів обличчя, таких як чуби, окуляри або борода. Однак вони відзначають, що маскування такого типу можна додати до пізніших систем (через маркування та подальшу семантичну сегментацію), які могли б бути навчені брати значення тільки з сприйнятих ділянок шкіри у цільовому суб’єкті.
Автори також пропонують, що подібна парадигма могла б бути використана для виявлення аудіодзвінків Deepfake, і що необхідний для цього звук міг би бути відтворений на частоті поза нормальним людським слуховим діапазоном.
Можливо, найцікавіше, дослідники також пропонують, що розширення області оцінки за межі обличчя в багатшому каркасі захоплення могло б суттєво покращити можливість виявлення Deepfake*:
‘Більш складна 3-D оцінка освітлення ймовірно забезпечила б багатшу модель вигляду, яка була б ще складнішою для обманщика обійти. Хоча ми зосередилися тільки на обличчі, комп’ютерний дисплей також освітлює шию, верхню частину тіла та навколишнє середовище, з яких подібні вимірювання могли б бути зроблені.
‘Ці додаткові вимірювання змусили б обманщика враховувати всю 3-D сцену, а не тільки обличчя.’
* Моє перетворення внутрішніх цитат авторів у гіперпосилання.
Перша публікація 6 липня 2022 року.












