GOTCHA– Система CAPTCHA для живых дипфейков

Новые исследования Нью-Йоркского университета добавляют к растущим указаниям на то, что мы можем скоро иметь возможность пройти эквивалент «теста на опьянение», чтобы аутентифицировать себя, прежде чем начать чувствительный видеозвонок – такой как видеоконференция, связанная с работой, или любая другая чувствительная ситуация, которая может привлечь мошенников, использующих программное обеспечение для потоковой передачи реальных дипфейков в режиме реального времени.

Некоторые активные и пассивные задачи, применяемые к сценариям видеозвонков в GOTCHA. Пользователь должен выполнить и пройти задачи, либо использовать дополнительные «пассивные» методы (такие как попытка перегрузить потенциальную систему дипфейков), которые не зависят от участия пользователя. Источник: http://export.arxiv.org/pdf/2210.06186

Предлагаемая система называется GOTCHA – дань системам CAPTCHA, которые стали все более значимым препятствием для просмотра веб-страниц за последние 10-15 лет, когда автоматизированные системы требуют от пользователя выполнения задач, которые плохо выполняют машины, такие как распознавание животных или расшифровка искаженного текста (и, иронично, эти задачи часто превращают пользователя в бесплатного аннотатора в стиле AMT).

По сути, GOTCHA расширяет статью августа 2022 года DF-Captcha из Университета Бен-Гуриона, которая впервые предложила сделать человека на другом конце звонка прыгать через несколько визуально-семантических препятствий, чтобы доказать свою аутентичность.

Статья августа 2022 года из Университета Бен-Гуриона впервые предложила ряд интерактивных тестов для пользователя, включая закрытие лица или даже вдавливание кожи – задачи, которые даже хорошо обученные живые системы дипфейков могут не предвидеть или не справиться с фотографической точностью. Источник: https://arxiv.org/pdf/2208.08524.pdf

Заметно, что GOTCHA добавляет «пассивные» методологии к «каскаду» предложенных тестов, включая автоматическое наложение нереальных элементов на лицо пользователя и «перегрузку» кадров, проходящих через систему. Однако только задачи, на которые реагирует пользователь, можно оценить без специальных разрешений на доступ к местной системе пользователя – что, предположительно, будет иметь форму местных модулей или дополнений к популярным системам, таким как Skype и Zoom, или даже в форме специального проприетарного программного обеспечения, специально предназначенного для выявления фальсификаторов.

Из статьи, иллюстрация взаимодействия между звонящим и системой в GOTCHA, с пунктирными линиями как потоки принятия решений.

Исследователи проверили систему на новом наборе данных, содержащем более 2,5 миллионов видеокадров от 47 участников, каждый из которых выполнил 13 задач из GOTCHA. Они утверждают, что эта структура вызывает «последовательное и измеримое» снижение качества контента дипфейков для мошеннических пользователей, напрягая местную систему до тех пор, пока не появятся явные артефакты, которые делают обман очевидным для человеческого глаза (хотя GOTCHA также содержит некоторые более тонкие алгоритмические методы анализа).

Новая статья озаглавлена Gotcha: Система вызова-ответа для обнаружения дипфейков в режиме реального времени (имя системы написано заглавными буквами в тексте, но не в названии публикации, хотя это не аббревиатура).

Набор задач

В основном в соответствии со статьей Университета Бен-Гуриона, фактические задачи, с которыми сталкивается пользователь, разделены на несколько типов задач.

Для закрытия пользователю необходимо либо закрыть лицо рукой, либо другими объектами, либо представить лицо под углом, который вряд ли был обучен в модели дипфейков (обычно из-за отсутствия обучающих данных для «необычных» поз – см. диапазон изображений в первой иллюстрации выше).

Помимо действий, которые пользователь может выполнить самостоятельно в соответствии с инструкциями, GOTCHA может наложить случайные вырезки лица, наклейки и фильтры дополненной реальности, чтобы «испортить» поток лица, который может ожидать местная обученная модель дипфейков, заставив ее отказаться. Как указано ранее, хотя это «пассивный» процесс для пользователя, это вторжение в программное обеспечение, которое необходимо вмешаться напрямую в поток корреспондента.

Далее пользователю может быть предложено принять необычные выражения лица, которые, вероятно, будут отсутствовать или недостаточно представлены в любом обучающем наборе данных, что приведет к снижению качества выходных дипфейков (изображение «б», второй столбец слева, в первой иллюстрации выше).

В рамках этого ряда тестов пользователю может быть предложено прочитать текст или вести разговор, который предназначен для проверки местной живой системы дипфейков, которая может не иметь достаточного количества фонем или других типов данных о движении губ, чтобы точно воспроизвести движение губ под таким вниманием.

Наконец (и это, кажется, проверяет актерские способности корреспондента), в этой категории пользователю может быть предложено выполнить «микровыражение» – короткое и непроизвольное выражение лица, которое раскрывает эмоцию. Статья говорит: ‘[оно] обычно длится 0,5-4,0 секунды и трудно подделать’.

Хотя статья не описывает, как извлечь микровыражение, логика предполагает, что единственный способ сделать это – создать подходящую эмоцию у конечного пользователя, возможно, с помощью некоторого рода шокирующего контента, представленного ему в рамках теста.

Искажение лица, освещение и неожиданные гости

Кроме того, в соответствии с предложениями августа, новая работа предлагает попросить конечного пользователя выполнить необычные искажения лица и манипуляции, такие как надавливание пальцем на щеку, взаимодействие с лицом и/или волосами и выполнение других движений, которые современная система дипфейков вряд ли сможет хорошо обработать, поскольку это маргинальные действия – даже если они присутствовали в обучающем наборе данных, их воспроизведение, вероятно, будет иметь низкое качество, в соответствии с другими «аутлиерными» данными.

Улыбка, но это «подавленное лицо» не переводится хорошо местной живой системой дипфейков.

Дополнительная задача заключается в изменении условий освещения, в которых находится конечный пользователь, поскольку возможно, что обучение модели дипфейков было оптимизировано для стандартных условий освещения видеоконференций или даже точных условий освещения, в которых проходит звонок.

Таким образом, пользователю может быть предложено направить луч фонарика на свое лицо или изменить освещение (и стоит отметить, что этот подход является центральной идеей другой статьи об обнаружении живых дипфейков, которая была опубликована этим летом).

Живые системы дипфейков испытывают трудности с неожиданным освещением – и даже с несколькими людьми в потоке, где они ожидали только одного человека.

В случае, когда предложенная система имеет возможность вмешаться в местный поток пользователя (который подозревается в наличии дипфейка), добавление неожиданных узоров (см. средний столбец на изображении выше) может поставить под угрозу способность алгоритма дипфейков поддерживать симуляцию.

Кроме того, хотя было бы неразумно ожидать, что корреспондент будет иметь дополнительных людей, чтобы помочь ему аутентифицироваться, система может вставить дополнительные лица (самое правое изображение выше) и посмотреть, сделает ли местная система дипфейков ошибку, переключив внимание – или даже попытается создать дипфейки для всех них (системы дипфейков на основе автоэнкодера не имеют возможностей «распознавания идентификатора», которые могли бы поддерживать фокус на одном человеке в этом сценарии).

Стеганография и перегрузка

GOTCHA также включает подход, впервые предложенный Университетом Калифорнии в Сан-Диего в апреле этого года, который использует стеганографию для шифрования сообщения в местный видеопоток пользователя. Процедуры дипфейков полностью уничтожат это сообщение, что приведет к сбою аутентификации.

Из статьи апреля 2022 года из Университета Калифорнии в Сан-Диего и Государственного университета Сан-Диего, метод определения подлинной идентификации путем проверки того, выживает ли стеганографический сигнал, отправленный в видеопоток пользователя, в местном цикле без изменений – если он не выживает, может быть подозрение на мошенничество с дипфейками. Источник: https://arxiv.org/pdf/2204.01960.pdf

Кроме того, GOTCHA способна перегружать местную систему (при наличии доступа и разрешения), путем дублирования потока и представления «чрезмерных» данных любой местной системе, предназначенных для вызова сбоя в местной системе дипфейков.

Система содержит дальнейшие тесты (см. статью для подробностей), включая вызов, в случае корреспондента на основе смартфона, переворачивания телефона вверх тормашками, что искажает местную систему дипфейков:

Опять же, это было бы возможно только при наличии убедительного случая, когда пользователь вынужден предоставить местный доступ к потоку, и не может быть реализовано простой пассивной оценкой видео пользователя, в отличие от интерактивных тестов (таких как надавливание пальцем на лицо).

Практичность

Статья кратко затрагивает вопрос, насколько тесты такого рода могут раздражать конечного пользователя или каким-то образом его неудобствовать – например, заставляя пользователя иметь под рукой ряд объектов, которые могут быть необходимы для тестов, таких как солнцезащитные очки.

Она также признает, что может быть трудно заставить влиятельных корреспондентов выполнить тестовые процедуры. В отношении случая видеозвонка с генеральным директором авторы заявляют:

‘Простота использования может быть ключом здесь, поэтому неформальные или легкомысленные задачи (такие как искажения лица или выражения) могут быть неуместными. Задачи, использующие внешние физические объекты, могут быть нежелательными. Контекст здесь соответствующим образом изменен, и GOTCHA адаптирует свой набор задач соответственно.’

Данные и тесты

GOTCHA была протестирована против четырех вариантов местных живых систем дипфейков, включая два варианта очень популярного создателя дипфейков на основе автоэнкодера DeepFaceLab (‘DFL’, хотя удивительно, что статья не упоминает DeepFaceLive, который с августа 2021 года является «живой» реализацией DeepFaceLab и, кажется, наиболее вероятным первоначальным ресурсом для потенциального фальсификатора).

Четыре системы были DFL, обученные «слабо» на незнаменитом человеке, участвующем в тестах, и знаменитости; DFL, обученные более полно, до 2 миллионов+ итераций или шагов, где можно ожидать гораздо более эффективную модель; Latent Image Animator (LIA); и Face Swapping Generative Adversarial Network (FSGAN).

Для данных исследователи захватили и отобрали видеоклипы, в которых 47 пользователей выполнили 13 активных задач из GOTCHA, причем каждый пользователь выдал около 5-6 минут видео 1080p при 60 кадрах в секунду. Авторы также заявляют, что эти данные в конечном итоге будут выпущены публично.

Обнаружение аномалий можно выполнить либо человеком-наблюдателем, либо алгоритмически. Для последнего варианта система была обучена на 600 лицах из набора данных FaceForensics. Функция потерь регрессии была мощной LPIPS, а бинарная перекрестная энтропия использовалась для обучения классификатора. EigenCam использовался для визуализации весов детектора.

Основные результаты тестов для GOTCHA.

Исследователи обнаружили, что для полного каскада тестов по четырем системам наименьшее количество и тяжесть аномалий (т. е. артефактов, которые раскрывают присутствие системы дипфейков) были получены более обученной моделью DFL. Менее обученная версия испытывала трудности в частности с воспроизведением сложных движений губ (которые занимают очень мало кадра, но получают высокое внимание человека), в то время как FSGAN занял среднюю позицию между двумя версиями DFL, и LIA оказалась совершенно неадекватной для этой задачи, с мнением исследователей, что LIA потерпит неудачу в реальном развертывании.

Опубликовано впервые 17 октября 2022 года.