GOTCHA — система CAPTCHA для живых дипфейков

Новое исследование Нью-Йоркского университета дополняет растущие данные о том, что вскоре нам, возможно, придется пройти дипфейк-эквивалент «пьяного теста», чтобы аутентифицировать себя, прежде чем начать конфиденциальный видеозвонок, например, связанную с работой видеоконференцию или любую другую. другой деликатный сценарий, который может привлечь мошенников, использующих дипфейк в реальном времени ПО для стриминга.

Некоторые активные и пассивные вызовы применялись к сценариям видеозвонков в GOTCHA. Пользователь должен выполнить и пройти испытания, при этом используются дополнительные «пассивные» методы (например, попытка перегрузить потенциальную систему дипфейка), на которые участник не имеет никакого влияния. Источник: http://export.arxiv.org/pdf/2210.06186.

Предлагаемая система называется GOTCHA — дань уважения системам CAPTCHA, которые за последние 10-15 лет стали все более серьезным препятствием для просмотра веб-страниц, когда автоматизированные системы требуют от пользователя выполнения задач, с которыми машины плохо справляются, например, идентификации животных. или расшифровка искаженного текста (и, по иронии судьбы, эти проблемы часто превращают пользователя в свободный AMTвнешний аннотатор в стиле).

По сути, GOTCHA продлевает август 2022 г. DF-капча документ из Университета Бен-Гуриона, в котором впервые было предложено заставить человека на другом конце провода прыгать через несколько визуально-семантических обручей, чтобы доказать свою подлинность.

В статье, опубликованной в августе 2022 года Университетом Бен-Гуриона, впервые был предложен ряд интерактивных тестов для пользователя, в том числе закрытие лица или даже надавливание на кожу — задачи, которые даже хорошо обученные живые системы дипфейков не могли предвидеть или не могли справиться фотореалистично. . Источник: https://arxiv.org/pdf/2208.08524.pdf

Примечательно, что GOTCHA добавляет «пассивные» методологии к «каскаду» предлагаемых тестов, включая автоматическое наложение нереальных элементов на лицо пользователя и «перегрузку» кадров, проходящих через исходную систему. Однако только задачи, реагирующие на пользователя, могут быть оценены без специальных разрешений на доступ к локальной системе пользователя, которые, предположительно, будут представлены в виде локальных модулей или дополнений к популярным системам, таким как Skype и Zoom, или даже в форма специального проприетарного программного обеспечения, специально предназначенного для отсеивания мошенников.

Из статьи иллюстрация взаимодействия между вызывающим абонентом и системой в GOTCHA с пунктирными линиями в виде потоков принятия решений.

Исследователи проверили систему на новом наборе данных, содержащем более 2.5 млн видеокадров от 47 участников, каждый из которых выполнил 13 заданий от GOTCHA. Они утверждают, что инфраструктура вызывает «последовательное и измеримое» снижение качества дипфейкового контента для пользователей-мошенников, нагружая локальную систему до тех пор, пока явные артефакты не сделают обман очевидным для невооруженного человеческого глаза (хотя GOTCHA также содержит некоторые более тонкие методы алгоритмического анализа).

Ассоциация Новый документ называется Попался: система «запрос-ответ» для обнаружения дипфейков в реальном времени (название системы пишется с заглавной буквы в теле, а не название публикации, хотя это и не аббревиатура).

Ряд вызовов

В основном в соответствии с документом Бен-Гуриона фактические проблемы, с которыми сталкивается пользователь, делятся на несколько типов задач.

Что касается окклюзия, пользователь должен либо скрыть свое лицо рукой или другими предметами, либо представить свое лицо под углом, который вряд ли был бы обучен модели дипфейка (обычно из-за отсутствия данных для обучения для « странные позы — см. диапазон изображений на первой иллюстрации выше).

Помимо действий, которые пользователь может выполнять самостоятельно в соответствии с инструкциями, GOTCHA может накладывать случайные вырезки лица, наклейки и фильтры дополненной реальности, чтобы «испортить» поток лица, который может ожидать местная обученная модель дипфейка, что приведет к его сбою. . Как указывалось ранее, хотя это и «пассивный» процесс для пользователя, он является навязчивым для программного обеспечения, которое должно иметь возможность напрямую вмешиваться в поток конечного корреспондента.

Затем от пользователя может потребоваться изобразить необычное выражение лица, которое, вероятно, либо отсутствует, либо недостаточно представлено в любом наборе обучающих данных, что приводит к снижению качества дипфальсифицированного вывода (изображение «b», второй столбец слева). , на первой иллюстрации выше).

В рамках этой серии тестов от пользователя может потребоваться прочитать текст или начать разговор, предназначенный для того, чтобы бросить вызов местной живой системе дипфейкинга, которая, возможно, не обучила адекватный диапазон фонем или других типов данных рта до уровня где он может восстановить точное движение губ под таким пристальным вниманием.

Наконец (и это, казалось бы, бросает вызов актерским талантам конечного корреспондента), в этой категории пользователю может быть предложено выполнить микровыражение — короткое и непроизвольное выражение лица, которое противоречит эмоции. Об этом пишет газета «[это] обычно длится 0.5–4.0 секунды, и его трудно подделать».

Хотя в документе не описывается, как извлечь микровыражение, логика подсказывает, что единственный способ сделать это — вызвать соответствующую эмоцию у конечного пользователя, возможно, с помощью какого-то поразительного контента, представленного им как часть процедуры теста. .

Искажение лица, освещение и Неожиданные гости

Кроме того, в соответствии с предложениями из августовского документа, в новой работе предлагается попросить конечного пользователя выполнить необычные искажения лица и манипуляции, такие как прижатие пальца к щеке, взаимодействие со своим лицом и/или волосами и выполнение других действий. движения, с которыми, вероятно, не сможет хорошо справиться ни одна текущая живая система дипфейков, поскольку это маргинальные действия — даже если бы они присутствовали в наборе обучающих данных, их воспроизведение, вероятно, было бы низкого качества, в соответствии с другими «выбросами». данные.

Улыбка, но это «депрессивное лицо» плохо переводится местной живой системой дипфейков.

Дополнительная проблема заключается в изменении условий освещения, в которых находится конечный пользователь, поскольку возможно, что обучение модели дипфейка было оптимизировано для стандартных условий освещения видеоконференцсвязи или даже для точных условий освещения, в которых происходит вызов. .

Таким образом, пользователя могут попросить посветить фонариком своего мобильного телефона на лицо или каким-либо другим способом изменить освещение (и стоит отметить, что этот прием является центральным предложением еще одна работа по обнаружению дипфейков который вышел этим летом).

Живые дипфейковые системы сталкиваются с проблемами из-за неожиданного освещения — и даже из-за нескольких людей в потоке, где ожидался только один человек.

В случае предлагаемой системы, имеющей возможность вмешиваться в локальный пользовательский поток (который подозревается в укрывательстве посредника дипфейка), добавление неожиданных шаблонов (см. средний столбец на изображении выше) может поставить под угрозу способность алгоритма дипфейка поддерживать симуляцию. .

Кроме того, хотя неразумно ожидать, что корреспондент будет иметь под рукой дополнительных людей, чтобы помочь их аутентифицировать, система может вставить дополнительные лица (крайнее правое изображение выше) и посмотреть, совершит ли какая-либо локальная система дипфейков ошибку переключения внимания — или даже пытаясь дипфейкнуть их всех (автоэнкодерные дипфейковые системы не имеют возможностей «распознавания личности», которые могли бы сосредоточить внимание на одном человеке в этом сценарии).

Стеганография и перегрузка

GOTCHA также включает подход первый предложенный Калифорнийским университетом в Сан-Диего в апреле этого года, и который использует стеганографию для шифрования сообщения в локальном видеопотоке пользователя. Подпрограммы Deepfake полностью уничтожат это сообщение, что приведет к сбою аутентификации.

Из статьи Калифорнийского университета в Сан-Диего и Государственного университета Сан-Диего за апрель 2022 года о методе определения подлинной личности путем проверки того, выживает ли стеганографический сигнал, отправленный в видеопоток пользователя, в целости и сохранности в локальной петле, а если нет, то уловка дипфейков. может быть под рукой. Источник: https://arxiv.org/pdf/2204.01960.pdf

Кроме того, GOTCHA способна перегрузить локальную систему (при наличии доступа и разрешения), дублируя поток и предоставляя «избыточные» данные любой локальной системе, предназначенные для того, чтобы вызвать сбой репликации в локальной системе дипфейков.

Система содержит дополнительные тесты (подробности см. в статье), в том числе испытание для корреспондента со смартфона перевернуть телефон вверх дном, что исказит локальную систему дипфейков:

Опять же, такого рода вещи будут работать только с убедительным вариантом использования, когда пользователь вынужден предоставить локальный доступ к потоку, и не может быть реализован простой пассивной оценкой пользовательского видео, в отличие от интерактивных тестов (таких как нажатие пальцем в лицо).

практицизм

В статье кратко затрагивается вопрос о том, в какой степени тесты такого рода могут раздражать конечного пользователя или каким-то образом доставлять ему неудобства, например, обязывая пользователя иметь под рукой ряд предметов, которые могут понадобиться для тестов, например солнцезащитные очки.

Он также признает, что может быть трудно заставить влиятельных корреспондентов соблюдать процедуры тестирования. Что касается случая видеозвонка с генеральным директором, авторы заявляют:

«Удобство использования может быть ключевым здесь, поэтому неформальные или легкомысленные вызовы (например, искажение лица или выражение лица) могут быть неуместными. Проблемы с использованием внешних физических предметов могут быть нежелательными. Контекст здесь соответствующим образом изменен, и GOTCHA соответствующим образом адаптирует свой набор задач».

Данные и тесты

GOTCHA тестировалась на четырех типах местной системы живых дипфейков, включая две вариации очень популярного создателя дипфейков с автокодировщиком. DeepFaceLab («ДФЛ», хотя, как это ни удивительно, в статье не упоминается DeepFaceLive, который был, с августа 2021 года, «живая» реализация DeepFaceLab, и кажется наиболее вероятным исходным ресурсом для потенциального мошенника).

Четыре системы были «легко» обучены DFL на малоизвестном человеке, участвующем в тестах, и парной знаменитости; DFL обучается более полно, до 2 млн итераций или шагов, при этом можно ожидать гораздо более производительную модель; Аниматор скрытого изображения (ЛИА); и Генеративно-состязательная сеть с обменом лицами (ФСГАН).

Для сбора данных исследователи сняли и отобрали вышеупомянутые видеоклипы, в которых 47 пользователей выполняли 13 активных задач, при этом каждый пользователь выводил около 5-6 минут видео в формате 1080p со скоростью 60 кадров в секунду. Авторы также заявляют, что эти данные в конечном итоге будут обнародованы.

Обнаружение аномалий может выполняться либо человеком-наблюдателем, либо алгоритмически. Для последнего варианта система обучалась на 600 лицах из Набор данных FaceForensics. Функция потери регрессии представляла собой мощное сходство выученных перцептивных изображений (LPIPS), а для обучения классификатора использовалась бинарная кросс-энтропия. ЭйгенКам использовался для визуализации весов детектора.

Первичные результаты тестов на GOTCHA.

Исследователи обнаружили, что для полного каскада тестов в четырех системах наименьшее количество и серьезность аномалий (т. е. артефактов, которые выявляли бы наличие дипфейковой системы) были получены при более обученном распределении DFL. Менее обученная версия, в частности, изо всех сил пыталась воссоздать сложные движения губ (которые занимают очень мало места в кадре, но которым уделяется большое внимание человека), в то время как FSGAN занимала золотую середину между двумя версиями DFL, а LIA оказалась совершенно неадекватной для этой задачи. , при этом исследователи полагают, что LIA потерпит неудачу в реальном развертывании.

Впервые опубликовано 17 октября 2022 г.