Обнаружение дипфейковых видеозвонков по подсветке монитора

Новое сотрудничество между исследователем из Агентства национальной безопасности США (АНБ) и Калифорнийского университета в Беркли предлагает новый метод обнаружения дипфейкового контента в контексте живого видео — путем наблюдения за влиянием освещения монитора на внешний вид изображения. человек на другом конце видеовызова.

Популярный пользователь DeepFaceLive Druuzil Tech & Games тестирует свою собственную модель DeepFaceLab Кристиана Бэйла во время живого сеанса со своими подписчиками, в то время как источники освещения меняются. Источник: https://www.youtube.com/watch?v=XPQLDnogLKA

Система работает, размещая на экране пользователя графический элемент, который меняет узкий диапазон своего цвета быстрее, чем может отреагировать типичная система дипфейков, даже если, как в случае с реализацией потоковой передачи дипфейков в реальном времени. DeepFaceLive (на фото выше), он имеет некоторую возможность поддерживать живую передачу цвета и учитывать окружающее освещение.

Однородное цветное изображение, отображаемое на мониторе человека на другом конце (т. е. потенциального мошенника с дипфейком), циклически повторяет ограниченное количество изменений оттенка, которые предназначены для того, чтобы не активировать автоматический баланс белого веб-камеры и другие функции. специальный системы компенсации освещенности, что может поставить под угрозу метод.

Из статьи иллюстрация изменения условий освещения от монитора перед пользователем, который эффективно работает как рассеянный «зональный свет». Источник: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

Теория, лежащая в основе этого подхода, заключается в том, что живые системы дипфейков не могут вовремя реагировать на изменения, отображаемые на экране, увеличивая «запаздывание» эффекта дипфейков в определенных частях цветового спектра, выявляя его присутствие.

Чтобы иметь возможность точно измерять отраженный от монитора свет, система должна учитывать, а затем сбрасывать со счетов влияние общего окружающего освещения, которое не связано со светом от монитора. Затем он может различать недостатки в измерении оттенка активного освещения и оттенка лица пользователей, что представляет собой временной сдвиг в 1–4 кадра разницы между каждым из них:

Ограничив вариации оттенков в изображении «детектора» на экране и убедившись, что пользовательская веб-камера не требует автоматической настройки параметров захвата при чрезмерных изменениях уровня освещенности монитора, исследователи смогли различить красноречивый сигнал. Сказочное отставание в адаптации системы дипфейка к изменениям освещения.

В статье делается вывод:

«Из-за разумного доверия, которое мы уделяем видеозвонкам в реальном времени, и растущей повсеместности видеозвонков в нашей личной и профессиональной жизни, мы предполагаем, что важность методов аутентификации видео (и аудио) звонков будет только расти».

Территория проведенное исследование называется Обнаружение видео глубокой подделки в реальном времени с использованием активного освещения, и исходит от Кэндис Р. Герстнер, прикладного математика-исследователя Министерства обороны США, и профессора Хани Фарида из Беркли.

Подрыв доверия

За последние шесть месяцев сфера исследований, направленных против дипфейков, заметно изменилась: от общего обнаружения дипфейков (т. е. обнаружения заранее записанных видео и порнографического контента) к обнаружению «живости» в ответ на растущую волну случаев использования дипфейков во время видеоконференций и недавнее предупреждение ФБР относительно растущего использования таких технологий в приложениях для удаленной работы.

Даже если выясняется, что видеозвонок не был дипфейковым, повышенные возможности для видеоподражателей с помощью ИИ начинает вызывать паранойю.

В новом документе говорится:

«Создание дипфейков в реальном времени [представляет] уникальные угрозы из-за общего чувства доверия, связанного с живым видео или телефонным звонком, а также из-за сложности обнаружения дипфейков в реальном времени по мере развертывания разговора».

Исследовательское сообщество давно поставило перед собой цель найти безошибочные признаки дипфейкового контента, которые не могут быть легко компенсированы. Хотя средства массовой информации обычно характеризовали это как технологическую войну между исследователями безопасности и разработчиками дипфейков, большинство отрицаний ранних подходов (таких как анализ моргания глаз, распознавание позы головы и анализ поведения) произошли просто потому, что разработчики и пользователи пытались создать более реалистичные дипфейки в целом, а не конкретно учитывать последние «информации», выявленные сообществом безопасности.

Проливая свет на живое видео Deepfake

Обнаружение дипфейков в среде живого видео требует учета плохих видеосоединений, которые очень распространены в сценариях видеоконференций. Даже без промежуточного слоя дипфейка видеоконтент может быть подвержен задержке в стиле NASA, артефактам рендеринга и другим типам ухудшения качества звука и видео. Они могут помочь скрыть острые углы в живой архитектуре дипфейка, как с точки зрения видео, так и аудио дипфейки.

Новая система авторов улучшает результаты и методы, представленные в публикация 2020 г. из Центра сетевых вычислений Университета Темпл в Филадельфии.

Из статьи 2020 года мы можем наблюдать изменение «заполненного» освещения лица по мере изменения содержимого экрана пользователя. Источник: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf.

Отличие новой работы в том, что она учитывает то, как веб-камеры реагируют на изменения освещения. Авторы поясняют:

«Поскольку все современные веб-камеры выполняют автоматическую экспозицию, тип активного освещения высокой интенсивности [использовавшийся в предыдущей работе], вероятно, вызовет автоматическую экспозицию камеры, которая, в свою очередь, исказит записанное выражение лица. Чтобы избежать этого, мы используем активное освещение, состоящее из изолюминатного изменения оттенка.

«Хотя это позволяет избежать автоматической экспозиции камеры, это может привести к срабатыванию балансировки белого камеры, что снова исказит записанное выражение лица. Чтобы избежать этого, мы работаем в диапазоне оттенков, который, как мы определили эмпирическим путем, не приводит к срабатыванию балансировки белого».

Для этой инициативы авторы также рассмотрели аналогичные предыдущие усилия, такие как Живой экран, который создает незаметную подсветку на мониторе конечного пользователя, чтобы выявить дипфейковый контент.

Хотя эта система достигла точности 94.8%, исследователи пришли к выводу, что тонкость световых паттернов затруднила бы реализацию такого скрытого подхода в ярко освещенных помещениях, и вместо этого предложили свою собственную систему или систему, построенную по аналогичному образцу. могут быть включены публично и по умолчанию в популярное программное обеспечение для видеоконференций:

«Предлагаемое нами вмешательство может быть реализовано участником звонка, который просто показывает свой экран и отображает меняющийся во времени шаблон, или, в идеале, оно может быть напрямую интегрировано в клиент видеозвонка».

Tests

Авторы использовали смесь синтетических и реальных предметов, чтобы проверить свои способности. Dlib-управляемый детектор дипфейков. Для синтетического сценария они использовали Мицуба, прямое и обратное средство визуализации от Швейцарского федерального технологического института в Лозанне.

Образцы из смоделированных тестов окружающей среды с различным оттенком кожи, размером источника света, интенсивностью окружающего света и близостью к камере.

Изображенная сцена включает в себя параметрическую CGI-голову, снятую виртуальной камерой с полем обзора 90°. Особенность голов Ламбертовское отражение и нейтральные тона кожи, и расположены в 2 футах перед виртуальной камерой.

Чтобы протестировать фреймворк с различными оттенками кожи и настройками, исследователи провели серию тестов, последовательно меняя различные аспекты. Измененные аспекты включали оттенок кожи, близость и размер источника света.

Авторы комментируют:

«В моделировании, с нашими различными предположениями, предложенная нами техника очень устойчива к широкому диапазону конфигураций визуализации».

Для реального сценария исследователи использовали 15 добровольцев с разными оттенками кожи в различных условиях. Каждый из них подвергался двум циклам ограниченного изменения оттенка в условиях, когда частота обновления дисплея 30 Гц была синхронизирована с веб-камерой, а это означает, что активное освещение длилось только одну секунду за раз. Результаты были в целом сопоставимы с синтетическими тестами, хотя корреляции заметно увеличивались при более высоких значениях освещенности.

Будущие направления

Исследователи признают, что система не учитывает типичные окклюзии лица, такие как челка, очки или растительность на лице. Однако они отмечают, что маскирование такого рода может быть добавлено к более поздним системам (посредством маркировки и последующей семантической сегментации), которые можно научить принимать значения исключительно из воспринимаемых участков кожи целевого субъекта.

Авторы также предполагают, что аналогичная парадигма может использоваться для обнаружения дипфейковых аудиозвонков и что необходимый для обнаружения звук может воспроизводиться на частоте, выходящей за пределы нормального диапазона человеческого слуха.

Возможно, наиболее интересно то, что исследователи также предполагают, что расширение области оценки за пределы лица в более богатой структуре захвата может значительно улучшить возможность обнаружения дипфейков*:

«Более сложный 3-D расчет освещения  вероятно, обеспечит более богатую модель внешнего вида, которую фальсификатору будет еще труднее обойти. В то время как мы сосредоточились только на лице, дисплей компьютера также освещает шею, верхнюю часть тела и окружающий фон, по которому можно было сделать аналогичные измерения.

«Эти дополнительные измерения заставят фальсификатора рассматривать всю трехмерную сцену, а не только лицо».

* Мое преобразование встроенных цитат авторов в гиперссылки.

Впервые опубликовано 6 июля 2022 г.