Идентификация источников данных дипфейков с помощью тегов на основе ИИ

Совместная работа исследователей из Китая, Сингапура и США позволила создать устойчивую систему для «маркировки» фотографий лиц, которая настолько надежна, что идентификационные маркеры не разрушаются во время Deepfake процесс обучения, открывающий путь для претензий на права интеллектуальной собственности, которые могут подорвать способность систем генерации синтетических изображений «анонимизировать» незаконно полученные исходные данные.

Система под названием FakeTagger, использует процесс кодирования/декодера для встраивания визуально неразличимой идентификационной информации в изображения на достаточно низком уровне, чтобы введенная информация интерпретировалась как важные данные о характеристиках лица и, следовательно, проходила через абстракция обрабатывается нетронутыми, например, так же, как и данные глаз или рта.

Обзор архитектуры FakeTagger. Исходные данные используются для генерации «избыточной» характеристики лица, игнорируя фоновые элементы, которые будут маскироваться в ходе типичного процесса создания дипфейков. Сообщение можно восстановить на другом конце процесса и идентифицировать с помощью соответствующего алгоритма распознавания. Источник: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Исследование проведено в Школе кибернетики и инженерии в Ухане, Ключевой лаборатории безопасности аэрокосмической информации и доверенных вычислений Министерства образования Китая, Alibaba Group в США, Северо-Восточном университете в Бостоне и Наньянском технологическом университете в Сингапуре.

Экспериментальные результаты с FakeTagger показывают, что уровень повторной идентификации достигает почти 95% для четырех распространенных типов методологий дипфейков: подмена идентичности (т.е. DeepFaceLab, обмен лицами); реконструкция лица; редактирование атрибутов; и тотальный синтез.

Недостатки обнаружения дипфейков

Хотя последние три года принесли урожай новых подходов к методам идентификации дипфейков, все эти подходы являются ключевыми для устранения недостатков рабочих процессов дипфейков, таких как блеск в глазах в недостаточно обученных моделях и отсутствие моргания в более ранних дипфейках с недостаточно разнообразным набором лиц. По мере того как обнаруживаются новые ключи, репозитории бесплатного программного обеспечения и программного обеспечения с открытым исходным кодом устраняют их либо намеренно, либо в результате усовершенствований в методах дипфейков.

В новой статье отмечается, что наиболее эффективный метод постфактумного обнаружения, разработанный в ходе последнего конкурса Facebook по обнаружению дипфейков (DFDC), ограничен 70% точностью обнаружения дипфейков в реальных условиях. Исследователи объясняют эту репрезентативную ошибку недостаточным обобщением новых и инновационных GAN и системы кодирования/декодера дипфейков, а также к часто ухудшенному качеству дипфейковых замен.

В последнем случае это может быть вызвано некачественной работой со стороны дипфейкеров или артефактами сжатия, когда видео загружаются на платформы обмена, стремящиеся ограничить затраты на пропускную способность, и перекодировать видео на значительно более низких скоростях передачи, чем при отправке. . По иронии судьбы, это не только ухудшает качество изображения. не Это мешает кажущейся подлинности дипфейка, но на самом деле может усилить иллюзию, поскольку дипфейковое видео вписывается в общую, низкокачественную визуальную идиому, которая воспринимается как подлинная.

Survivable Tagged как помощь в инверсии модели

Определение исходных данных с помощью машинного обучения является относительно новой и развивающейся областью, которая открывает новую эру судебных разбирательств по вопросам интеллектуальной собственности, поскольку в настоящее время правительства разрешающий Правила сбора экранных данных (разработанные с целью не подавлять национальное исследовательское превосходство перед лицом глобальной «гонки вооружений» в области ИИ) превращаются в более строгое законодательство по мере коммерциализации этого сектора.

Инверсия модели занимается отображением и идентификацией исходных данных из выходных данных, генерируемых системами синтеза, в ряде областей, включая генерацию естественного языка (NLG) и синтез изображений. Инверсия модели особенно эффективна при повторной идентификации лиц, которые были размыты, пикселизированы или каким-либо иным образом прошли через процесс абстракции генеративно-состязательной сети или системы преобразования кодировщика/декодера, такой как DeepFaceLab.

Добавление целевых тегов к новым или существующим изображениям лица является потенциальным новым помощником в моделировании методов инверсии с Водяные знаки возникающее поле.

Маркировка постфактум

FakeTagger предназначен для постобработки. Например, когда пользователь загружает фотографию в социальную сеть (что обычно включает в себя какой-то процесс оптимизации и редко прямую и неподдельную передачу исходного изображения), алгоритм будет обрабатывать изображение, чтобы применить к лицу якобы неизгладимые характеристики. .

В качестве альтернативы, алгоритм может быть применен к историческим коллекциям изображений, как это случалось несколько раз за последние двадцать лет, когда сайты с крупными стоковыми фотографиями и коммерческими коллекциями изображений стремились методы для идентификации контента, который был повторно использован без разрешения.

FakeTagger стремится внедрить восстанавливаемые характеристики идентификатора из различных процессов дипфейка.

Разработка и тестирование

Исследователи протестировали FakeTagger на ряде программных приложений для создания глубоких фейков, используя четыре вышеупомянутых подхода, включая наиболее широко используемый репозиторий DeepFaceLab; Стэнфордский Face2Face, который может передавать выражения лица через изображения и личности; и СТГАН, который может редактировать атрибуты лица.

Тестирование проводилось с CelebA-HQ, популярный открытый репозиторий, содержащий 30,000 1024 изображений лиц знаменитостей в различных разрешениях до 1024 x XNUMX пикселей.

В качестве основы исследователи сначала протестировали обычные методы нанесения водяных знаков на изображения, чтобы увидеть, выживут ли наложенные теги в процессах обучения рабочих процессов дипфейков, но эти методы потерпели неудачу во всех четырех подходах.

Встроенные данные FakeTagger были внедрены на этапе кодирования в изображение набора лиц с использованием архитектуры, основанной на U-Net сверточная сеть для сегментации биомедицинских изображений, выпущенная в 2015 году. Впоследствии секция декодера платформы обучается находить встроенную информацию.

Этот процесс был опробован в симуляторе GAN, в котором использовались вышеупомянутые приложения/алгоритмы FOSS, в режиме «черного ящика» без дискретного или специального доступа к рабочим процессам каждой системы. Случайные сигналы были прикреплены к изображениям знаменитостей и зарегистрированы как связанные данные для каждого изображения.

В условиях «чёрного ящика» FakeTagger смог достичь точности, превышающей 88.95% по сравнению с подходами четырёх приложений. В параллельном сценарии «белого ящика» точность возросла почти до 100%. Однако, поскольку это предполагает будущие версии ПО для дипфейков, напрямую включающие FakeTagger, такой сценарий маловероятен в ближайшем будущем.

Подсчет стоимости

Исследователи отмечают, что наиболее сложным сценарием для FakeTagger является полный синтез изображений, такой как генерация абстракций на основе CLIP, поскольку в таком случае входные обучающие данные подвергаются самым глубоким уровням абстракции. Однако это не относится к рабочим процессам дипфейков, которые доминировали в заголовках за последние несколько лет, поскольку они зависят от точного воспроизведения характеристик лица, определяющих личность.

В документе также отмечается, что злоумышленники могут попытаться добавить возмущения, такие как искусственный шум и зернистость, чтобы помешать такой системе маркировки, хотя это, вероятно, окажет пагубное влияние на подлинность вывода дипфейков.

Кроме того, они отмечают, что FakeTagger необходимо добавлять избыточные данные к изображениям, чтобы обеспечить выживание встроенных тегов, и что это может иметь значительные вычислительные затраты в масштабе.

В заключение авторы отмечают, что FakeTagger может иметь потенциал для отслеживания происхождения в других доменах, таких как враждебные дождевые атаки и другие типы атак на основе изображений, такие как враждебное воздействие, дымка, пятно, виньетирования и дрожание цвета.