Кодирование изображений против использования в системах глубокого подделывания и синтеза изображений

Самым известным направлением исследований в растущей области противодействия глубоким подделкам является разработка систем, способных распознавать артефакты или другие характерные особенности поддельных, синтезированных или измененных лиц на видео и изображениях.

Такие подходы используют различные тактики, включая обнаружение глубины, нарушение регулярности видео, изменения освещения монитора (в потенциально поддельных видеозвонках), биометрические характеристики, внешние области лица и даже скрытые силы подсознания человека.

Все эти методы имеют общую черту: к моменту их применения основные механизмы, с которыми они борются, уже были успешно обучены на тысячах или сотнях тысяч изображений, собранных из интернета – изображений, из которых системы автоэнкодирования могут легко получить ключевые особенности и создать модели, которые могут точно наложить ложную идентичность на видеофрагменты или синтезированные изображения – даже в реальном времени.

Короче говоря, к моменту активации таких систем лошадь уже убежала.

Изображения, враждебные архитектурам глубокого подделывания/синтеза

В рамках более предупредительного подхода к угрозе глубоких подделок и синтеза изображений менее известным направлением исследований в этой области является изучение возможностей, связанных с тем, чтобы сделать все эти исходные фотографии непригодными для систем синтеза изображений на основе ИИ, обычно незаметными или едва заметными способами.

Примерами являются FakeTagger, предложение 2021 года от различных учреждений в США и Азии, которое кодирует сообщения в изображениях; эти кодировки устойчивы к процессу обобщения и могут быть восстановлены даже после того, как изображения были собраны из интернета и обучены в сети Ган (GAN) того типа, который наиболее известен как thispersondoesnotexist.com и его многочисленные производные.

FakeTagger кодирует информацию, которая может пережить процесс обобщения при обучении GAN, что делает возможным знать, внес ли конкретное изображение вклад в генеративные возможности системы. Источник: https://arxiv.org/pdf/2009.09869.pdf

Для ICCV 2021 года еще одна международная инициатива ввела искусственные отпечатки пальцев для генеративных моделей, (см. изображение ниже), которые снова производят восстанавливаемые “отпечатки” из вывода GAN, такой как StyleGAN2.

Даже под воздействием различных экстремальных манипуляций, обрезки и замены лиц, отпечатки, переданные через ProGAN, остаются восстанавливаемыми. Источник: https://arxiv.org/pdf/2007.08457.pdf

Другие вариации этой концепции включают проект 2018 года от IBM и цифровую систему водяных знаков в том же году, из Японии.

Более инновационно, инициатива 2021 года инициатива от Университета аэронавтики и астронавтики Нанкина попыталась “зашифровать” обучающие изображения так, чтобы они эффективно обучались только на авторизованных системах, но терпели катастрофический провал, если использовались в качестве источников данных в общей трубопроводе обучения синтеза изображений.

По сути, все эти методы относятся к категории стеганографии, но во всех случаях уникальная идентифицирующая информация в изображениях должна быть закодирована как такая важная “особенность” изображения, что нет шанса, что автоэнкодер или архитектура GAN отбросит такие отпечатки как “шум” или неэссенциальные данные, а скорее закодирует их вместе с другими особенностями лица.

В то же время процесс не должен слишком сильно искажать или влиять на изображение, чтобы оно казалось бытовым зрителям дефектным или низкокачественным.

TAFIM

Теперь новая немецкая исследовательская инициатива (от Технического университета Мюнхена и Sony Europe RDC Stuttgart) предложила технику кодирования изображений, при которой модели глубоких подделок или фреймворки типа StyleGAN, обученные на обработанных изображениях, производят непригодный синий или белый вывод.

Низкоуровневые нарушения TAFIM решают несколько возможных типов искажения/замены лица, заставляя модели, обученные на этих изображениях, производить искаженный вывод, и, по сообщениям авторов, применимы даже в реальных сценариях, таких как потоковая передача глубоких подделок в реальном времени DeepFaceLive. Источник: https://arxiv.org/pdf/2112.09151.pdf

Статья статья, озаглавленная TAFIM: Целевые атакующие атаки против манипуляций с лицами, использует нейронную сеть для кодирования едва заметных нарушений в изображениях. После того, как изображения обучаются и обобщаются в архитектуру синтеза, полученная модель производит искаженный вывод для входной идентичности, если используется в стиле миксирования или прямой замены лица.

Перекодирование веба..?

Однако в данном случае мы не собираемся изучать подробности и архитектуру последней версии этой популярной концепции, а скорее рассмотреть практичность всей идеи – особенно в свете растущей полемики вокруг использования публично доступных изображений для питания фреймворков синтеза изображений, таких как Stable Diffusion, и последующих юридических последствий создания коммерческого программного обеспечения из контента, который может (по крайней мере в некоторых юрисдикциях) в конечном итоге оказаться защищенным законом от использования в архитектурах синтеза ИИ.

Продвинутые, кодированные подходы типа описанных выше требуют значительных затрат. По крайней мере, они потребуют введения новых и расширенных алгоритмов сжатия в стандартные веб-ориентированные библиотеки обработки, такие как ImageMagick, которые обеспечивают большое количество процессов загрузки, включая многие интерфейсы загрузки в социальных сетях, которые преобразуют исходные изображения пользователей в оптимизированные версии, более подходящие для легкой передачи и сетевого распространения, а также для выполнения преобразований, таких как обрезка и другие дополнения.

Основной вопрос, который это вызывает, заключается в том, будет ли такая схема реализована “вперед” или будет ли предпринята более широкая и ретроспективная реализация, которая решает исторический контент, который мог быть доступен, “неиспорченный”, в течение десятилетий?

Платформы, такие как Netflix, не против расходов на перекодирование бэк-каталога с новыми кодеками, которые могут быть более эффективными или обеспечивать пользу для пользователя или поставщика; аналогично, преобразование YouTube своего исторического контента в кодек H.264, видимо, для поддержки Apple TV, логистически монументальная задача, не была сочтена чрезмерно сложной, несмотря на масштаб.

Иронично, даже если значительная часть медиаконтента в интернете будет перекодирована в формат, устойчивый к обучению, ограниченный круг влиятельных наборов данных компьютерного зрения останется незатронутым. Однако, предположительно, системы, использующие их в качестве источников данных, начнут снижать качество вывода, поскольку контент с водяными знаками будет мешать трансформирующим процессам архитектур.

Политический конфликт

В политических терминах существует видимое напряжение между решимостью правительств не отстать в развитии ИИ и необходимостью сделать уступки общественным опасениям по поводу использования публично доступного аудио-, видео- и изображений в интернете в качестве обильного ресурса для трансформирующих систем ИИ.

Официально западные правительства склонны к снисходительности в отношении способности сектора компьютерного зрения использовать публично доступный медиаконтент, не в последнюю очередь потому, что некоторые из более авторитарных азиатских стран имеют гораздо больше возможностей для формирования своих рабочих процессов разработки в пользу своих собственных исследовательских усилий – только один из факторов, предполагающих, что Китай становится глобальным лидером в ИИ.

В апреле 2022 года Апелляционный суд США подтвердил, что публично доступные веб-данные являются законной целью для исследовательских целей, несмотря на продолжающиеся протесты LinkedIn, который желает, чтобы его профили пользователей были защищены от таких процессов.

Если изображения, устойчивые к ИИ, поэтому не станут системным стандартом, то ничего не мешает некоторым из основных источников обучающих данных реализовать такие системы, чтобы их собственный вывод стал непродуктивным в латентном пространстве.

Основным фактором в таких компаниях является то, что изображения должны быть внутренне устойчивыми к обучению. Техники блокчейна и движения, такие как Инициатива подлинности контента, больше озабочены доказательством того, что изображения были подделаны или “стилизированы”, а не предотвращением механизмов, которые делают такие преобразования возможными.

Случайный осмотр

Хотя были предложения использовать методы блокчейна для аутентификации истинного происхождения и внешнего вида исходного изображения, которое могло быть позже включено в обучающий набор данных, это само по себе не предотвращает обучение изображений или не предоставляет способа доказать, из вывода таких систем, что изображения были включены в обучающий набор данных.

В подходе к водяным знакам для исключения изображений из обучения важно не полагаться на то, что исходные изображения влиятельного набора данных будут публично доступны для осмотра. В ответ на протесты художников по поводу свободного использования Stable Diffusion их работ, веб-сайт haveibeentrained.com позволяет пользователям загрузить изображения и проверить, были ли они, вероятно, включены в набор данных LAION5B, который питает Stable Diffusion:

‘Ленна’, буквально девушка-постер для исследований компьютерного зрения до недавнего времени, определенно является вкладчиком в Stable Diffusion. Источник: https://haveibeentrained.com/

Однако почти все традиционные наборы данных глубоких подделок, например, случайно извлекаются из видео и изображений в интернете в непубличные базы данных, где только какой-то нейронно-устойчивый водяной знак мог бы потенциально раскрыть использование конкретных изображений для создания полученных изображений и видео.

Дальше, пользователи Stable Diffusion начинают добавлять контент – либо через дообучение (продолжение обучения официальной контрольной точки модели с дополнительными парами изображений/текста), либо через текстовую инверсию, которая добавляет один конкретный элемент или человека – который не появится в каком-либо поиске через миллиарды изображений LAION.

Встраивание водяных знаков на источнике

Еще более экстременным потенциальным применением водяных знаков источника изображения является включение скрытой и неочевидной информации в сырой выход видео- или камер, коммерческих. Хотя концепция была экспериментирована и даже реализована с некоторой энергией в начале 2000-х годов в качестве ответа на возникающую “угрозу” мультимедийной пиратии, принцип технически применим также для цели сделать медиаконтент устойчивым или отталкивающим для систем обучения машин.

Одна реализация, предложенная в патентной заявке конца 1990-х годов, предполагала использование дискретных косинусных преобразований для встраивания стеганографических “подизображений” в видео и статические изображения, предполагая, что рутина может быть “включена в качестве встроенной функции для цифровых устройств записи, таких как статические и видеокамеры”.

В патентной заявке конца 1990-х годов Ленна наделена скрытыми водяными знаками, которые могут быть восстановлены при необходимости. Источник: https://www.freepatentsonline.com/6983057.pdf

Менее сложный подход заключается в том, чтобы наложить явные водяные знаки на изображения на уровне устройства – функция, которая непривлекательна для большинства пользователей и излишня в случае художников и профессиональных медиа-практиков, которые могут защитить исходные данные и добавить такие брендинг или запреты, как они считают нужным (не в последнюю очередь, компании, занимающиеся продажей изображений).

Хотя хотя бы одна камера в настоящее время позволяет наложить опциональный логотип в качестве водяного знака, который мог бы сигнализировать о неавторизованном использовании в полученной модели ИИ, удаление логотипа через ИИ становится довольно тривиальным и даже коммерциализированным.

Опубликовано впервые 25 сентября 2022 года.