Определение источников данных Deepfake с помощью тегирования на основе ИИ

Сотрудничество между исследователями в Китае, Сингапуре и США привело к созданию устойчивой системы для “тегирования” фотографий лиц таким образом, что идентифицирующие метки не разрушаются во время процесса создания deepfake, открывая путь для претензий на интеллектуальную собственность, которые могут нанести ущерб способности систем синтеза изображений “анонимизировать” незаконно полученные исходные данные.

Система, называемая FakeTagger, использует процесс кодирования/декодирования для внедрения визуально неотличимой информации об идентификаторе в изображения на таком низком уровне, что внедренная информация будет интерпретироваться как необходимая характеристика лица и, следовательно, пройдет через процессы абстракции целостно, так же, как, например, данные о глазах или рту.

Обзор архитектуры FakeTagger. Исходные данные используются для генерации ‘избыточной’ характеристики лица, игнорируя фоновые элементы, которые будут маскированы через типичный рабочий процесс deepfake. Сообщение может быть восстановлено на другом конце процесса и идентифицировано через подходящий алгоритм распознавания. Источник: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Исследование было проведено в Школе кибербезопасности и инженерии Уханя, Ключевой лаборатории аэрокосмической информационной безопасности и доверенной вычислительной техники Министерства образования Китая, Alibaba Group в США, Северо-Восточном университете Бостона и Наньянском технологическом университете Сингапура.

Экспериментальные результаты с FakeTagger показывают коэффициент повторной идентификации до почти 95% по четырем общим типам методологий deepfake: замена идентификатора (т.е. DeepFaceLab, FaceSwap); повторное воспроизведение лица; редактирование атрибутов; и полный синтез.

Недостатки обнаружения Deepfake

Хотя последние три года принесли множество новых подходов к методологиям обнаружения deepfake, все эти подходы основаны на исправляемых недостатках рабочих процессов deepfake, таких как блеск в глазах в недообученных моделях, и отсутствие моргания в ранних deepfakes с недостаточно разнообразными наборами лиц. Когда новые ключи идентифицируются, свободные и открытые репозитории программного обеспечения устраняют их, либо намеренно, либо как побочный продукт улучшения методов deepfake.

Новая статья отмечает, что наиболее эффективный постфактный метод обнаружения, полученный из последнего конкурса по обнаружению deepfake Facebook (DFDC), ограничен 70% точностью в плане обнаружения deepfake в дикой природе. Исследователи объясняют эту представительную неудачу плохой обобщаемостью против новых и инновационных систем deepfake на основе ГАН и кодирования/декодирования, и часто ухудшенной качеством замен deepfake.

В последнем случае это может быть вызвано низкокачественной работой со стороны deepfakers или артефактами сжатия, когда видео загружаются на платформы обмена, которые стремятся ограничить затраты на пропускную способность, и перекодируют видео при значительно более низких битрейтах, чем исходные материалы. Иронично, что это ухудшение изображения не мешает apparent аутентичности deepfake, а может даже усилить иллюзию, поскольку видео deepfake поглощается в общий, низкокачественный визуальный идиом, который воспринимается как аутентичный.

Выживаемое тегирование в качестве помощи для обращения модели

Идентификация исходных данных из вывода машинного обучения – это относительно новая и растущая область, и она позволяет новую эру судебных разбирательств на основе интеллектуальной собственности, поскольку текущие перmissive правила снятия экрана (разработанные для того, чтобы не сдерживать национальное исследовательское превосходство в условиях глобальной “гонки вооружений” ИИ) эволюционируют в более строгие законы, поскольку сектор коммерциализируется.

Обращение модели занимается сопоставлением и идентификацией исходных данных из вывода, сгенерированного синтезными системами в нескольких областях, включая генерацию естественного языка (NLG) и синтез изображений. Обращение модели особенно эффективно для повторной идентификации лиц, которые были либо размыты, пикселизированы, либо прошли через процесс абстракции генеративной сети противостояния или системы кодирования/декодирования, такой как DeepFaceLab.

Добавление целевого тегирования к новым или существующим изображениям лиц – это потенциальная новая помощь для методов обращения модели, с водяным знаком как новой областью.

Постфактное тегирование

FakeTagger предназначен как постобработочный подход. Например, когда пользователь загружает фотографию в социальную сеть (что обычно включает в себя какой-то процесс оптимизации и редко прямую и необработанную передачу исходного изображения), алгоритм обрабатывает изображение для применения якобы неуничтожимых характеристик к лицу.

Альтернативно, алгоритм может быть применен к историческим коллекциям изображений, как это произошло несколько раз за последние двадцать лет, когда крупные сайты коллекций фотографий и коммерческих изображений искали методы для идентификации контента, который был повторно использован без разрешения.

FakeTagger стремится внедрить восстанавливаемые характеристики идентификатора из различных процессов deepfake.

Разработка и тестирование

Исследователи протестировали FakeTagger против нескольких приложений программного обеспечения deepfake по четырем вышеуказанным подходам, включая наиболее широко используемый репозиторий DeepFaceLab; Stanford’s Face2Face, который может передавать выражения лица между изображениями и идентификаторами; и STGAN, который может редактировать атрибуты лица.

Тестирование было проведено с помощью CelebA-HQ, популярного публичного репозитория, содержащего 30 000 изображений лиц знаменитостей при различных разрешениях до 1024 x 1024 пикселей.

В качестве базовой линии исследователи изначально протестировали традиционные методы водяного знака изображений, чтобы увидеть, выживут ли наложенные теги после процессов обучения рабочих процессов deepfake, но эти методы не прошли по всем четырем подходам.

Встроенные данные FakeTagger были введены на этапе кодирования в изображения лица с помощью архитектуры, основанной на U-Net свёрточной сети для сегментации биомедицинских изображений, выпущенной в 2015 году. Затем секция декодера рамки обучается для нахождения встроенной информации.

Процесс был проверен в симуляторе ГАН, который использовал вышеуказанные приложения/алгоритмы FOSS, в черном ящике без дискретного или специального доступа к рабочим процессам каждой системы. Случайные сигналы были прикреплены к изображениям знаменитостей и записаны как связанные данные с каждым изображением.

В черном ящике FakeTagger смог достичь точности более 88,95% по четырем приложениям. В параллельном белом ящике точность увеличилась до почти 100%. Однако, поскольку это предполагает будущие итерации программного обеспечения deepfake, которые включают FakeTagger напрямую, это маловероятный сценарий в ближайшем будущем.

Счет затрат

Исследователи отмечают, что наиболее сложным сценарием для FakeTagger является полный синтез изображения, такой как абстрактная генерация на основе CLIP, поскольку входные данные обучения подвергаются самым глубоким уровням абстракции в таком случае. Однако это не применяется к рабочим процессам deepfake, которые доминировали в заголовках за последние несколько лет, поскольку они зависят от верной репродукции определяющих идентификатор характеристик лица.

Статья также отмечает, что противники-атакеры могут попытаться добавить помехи, такие как искусственный шум и зернистость, чтобы обмануть такую систему тегирования, хотя это, вероятно, будет иметь негативное влияние на аутентичность вывода deepfake.

Кроме того, они отмечают, что FakeTagger необходимо добавлять избыточные данные в изображения, чтобы обеспечить выживание тегов, которые он внедряет, и что это может иметь заметную вычислительную стоимость в масштабе.

Авторы заключают, отмечая, что FakeTagger может иметь потенциал для отслеживания происхождения в других областях, таких как противостоящие атаки дождя и другие типы атак на основе изображений, такие как противостоящие воздействия, туман, размытие, виньетка и цветовое изменение.

, и что это может иметь заметную вычислительную стоимость в масштабе. Авторы заключают, отмечая, что FakeTagger может иметь потенциал для отслеживания происхождения в других областях, таких как противостоящие атаки дождя и другие типы атак на основе изображений, таких как противостоящие воздействия, туман, размытие, виньетка и цветовое изменение, и что это может иметь заметную вычислительную стоимость в масштабе. Авторы заключают, отмечая, что FakeTagger может иметь потенциал для отслеживания происхождения в других областях, таких как противостоящие атаки дождя и другие типы атак на основе изображений, таких как противостоящие воздействия, туман, размытие, виньетка и цветовое изменение.