Детекторы дипфейков осваивают новые направления: модели скрытой диффузии и GAN

Обзор  

В последнее время исследовательское сообщество по обнаружению дипфейков, которое с конца 2017 года занимается почти исключительно автоэнкодерна основе фреймворка, премьера которого в то время вызвала такой общественный трепет (и испуг), начал проявлять судебный интерес к менее застойным архитектурам, включая скрытая диффузия такие модели, как ДАЛЛ-Э 2 и Стабильная диффузия, а также выходные данные генеративно-состязательных сетей (GAN). Например, в июне Калифорнийский университет в Беркли опубликовали результаты своих исследований по разработке детектора для выхода доминирующего в то время DALL-E 2.

Этот растущий интерес, по-видимому, вызван внезапным эволюционным скачком в возможностях и доступности моделей скрытой диффузии в 2022 году с закрытым исходным кодом и ограниченным доступом. освободить DALL-E 2 весной, а в конце лета – сенсационное открытый источник стабильной диффузии с помощью stable.ai.

GAN также были давно изученный в этом контексте, хотя и менее интенсивно, поскольку очень трудно использовать их для убедительных и продуманных видео-воспроизведений людей; по крайней мере, по сравнению с уважаемыми теперь пакетами автоэнкодера, такими как обмен лицами и DeepFaceLab – и его двоюродный брат, который ведет прямую трансляцию, DeepFaceLive.

Движущиеся картинки

В любом случае стимулирующим фактором, по-видимому, является перспектива последующего спринта в области развития. XNUMX году Синтез. Начало октября – и главный сезон конференций 2022 года – ознаменовалось лавиной внезапных и неожиданных решений различных давних проблем, связанных с синтезом видео: как только Facebook… выпущенные образцы своей собственной платформы преобразования текста в видео, Google Research быстро заглушила это первоначальное признание, объявив о своей новой архитектуре Imagen-to-Video T2V, способной выводить кадры в высоком разрешении (правда, только через 7-уровневую сеть апскейлеров).

Если вы верите, что подобные вещи происходят втроем, обратите внимание также на загадочное обещание stable.ai о том, что «видео появится» в Stable Diffusion, по всей видимости, в конце этого года, в то время как соразработчик Stable Diffusion Runway дал такое же обещание, хотя неясно, относятся ли они к одной и той же системе. Discord-сообщение Генеральный директор Stability Эмад Мостак также пообещал «аудио, видео [и] 3D».

Что с неожиданным предложением нескольких новых фреймворки для генерации звука (некоторые основаны на скрытой диффузии) и новая модель диффузии, которая может генерировать аутентичное движение персонажа, идея о том, что «статичные» фреймворки, такие как GAN и диффузоры, наконец займут свое место в качестве вспомогательных адъюнкты к внешним анимационным фреймворкам начинает набирать обороты.

Короче говоря, вполне вероятно, что ограниченный мир дипфейков видео на основе автокодировщиков, которые могут лишь эффективно заменить центральная часть лица, к этому времени в следующем году может быть вытеснено новым поколением технологий дипфейка на основе диффузии — популярных подходов с открытым исходным кодом, способных фотореалистично подделывать не только целые тела, но и целые сцены.

Возможно, по этой причине исследовательское сообщество, выступающее против дипфейков, начинает серьезно относиться к синтезу изображений и понимать, что он может служить большему количеству целей, чем просто создание поддельные фотографии профиля LinkedIn; и что если все их непостижимые латентные пространства могут выполняться с точки зрения временного движения, действовать как действительно отличный рендерер текстур, этого может быть более чем достаточно.

Blade Runner

Последние две статьи, посвященные скрытой диффузии и обнаружению дипфейков на основе GAN, соответственно, DE-FAKE: обнаружение и атрибуция поддельных изображений, созданных с помощью моделей преобразования текста в изображение, результат сотрудничества Центра информационной безопасности Гельмгольца CISPA и Salesforce; и BLADERUNNER: Быстрая контрмера для синтетических (создаваемых искусственным интеллектом) лиц StyleGANот Адама Дориана Вонга из Линкольнской лаборатории Массачусетского технологического института.

Прежде чем объяснить свой новый метод, авторы последней статьи уделяют некоторое время рассмотрению предыдущих подходов к определению того, было ли изображение сгенерировано с помощью GAN (в статье рассматривается конкретно семейство StyleGAN от NVIDIA).

Метод «Брейди Банча» – возможно, бессмысленная ссылка для тех, кто не смотрел телевизор в 1970-х годах или пропустил экранизации 1990-х годов — определяет контент, поддельный с помощью GAN, на основе фиксированных положений, которые определенные части лица GAN обязательно занимают из-за механического и шаблонного характера «производственного процесса».

Метод «Brady Bunch», предложенный в ходе веб-трансляции из института SANS в 2022 году: генератор лиц на основе GAN будет выполнять невероятно однородное размещение определенных черт лица, в некоторых случаях опровергая происхождение фотографии. Источник: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

Другим полезным известным признаком является частая неспособность StyleGAN визуализировать несколько лиц (первое изображение ниже), если это необходимо, а также его неспособность координировать аксессуары (среднее изображение ниже) и тенденция использовать линию роста волос в качестве начала импровизированной шляпы (третье изображение ниже).

Третий метод, на который обращает внимание исследователь, это наложение фото (пример которого можно увидеть в наша августовская статья по диагностике психических расстройств с помощью искусственного интеллекта), которая использует композиционное программное обеспечение для «смешивания изображений», такое как серия CombineZ, для объединения нескольких изображений в одно, часто выявляя базовые общие черты в структуре — потенциальный признак синтеза.

Архитектура, предложенная в новой статье, называется (возможно, вопреки всем советам по SEO) Blade Runner, ссылаясь на Тест Войта-Кампфа который определяет, являются ли антагонисты в научно-фантастической франшизе «поддельными» или нет.

Конвейер состоит из двух этапов, первым из которых является анализатор PapersPlease, который может оценивать данные, полученные с известных веб-сайтов GAN, таких как thispersondoesnotexist.com или generate.photos.

Хотя урезанную версию кода можно просмотреть на GitHub (см. ниже), об этом модуле предоставлено мало подробностей, за исключением того, что OpenCV и ДЛИБ используются для выделения и обнаружения лиц в собранном материале.

Второй модуль — это Среди нас Детектор. Система предназначена для поиска согласованного расположения глаз на фотографиях — характерной особенности распознавания лиц StyleGAN, типичной для сценария «Brady Bunch», описанного выше. AmongUs работает на базе стандартного детектора с 68 ориентирами.

Аннотации точек лица через Intelligent Behavior Understanding Group (IBUG), чей код построения ориентиров лица используется в пакете Blade Runner.

AmongUs использует предварительно обученные ориентиры, основанные на известных координатах «группы Брейди» из PapersPlease, и предназначен для использования с живыми образцами изображений лиц на основе StyleGAN, доступными в Интернете.

По мнению автора, «Бегущий по лезвию» — это готовое к использованию решение, предназначенное для компаний или организаций, не имеющих ресурсов для разработки внутренних решений для обнаружения рассматриваемого здесь типа дипфейка, а также «временная мера, позволяющая выиграть время для более постоянных мер противодействия».

На самом деле, в столь нестабильном и быстрорастущем секторе безопасности не так много индивидуальных решений. or готовые облачные решения поставщиков, к которым в настоящее время может с уверенностью обращаться компания с ограниченными ресурсами.

Хотя Blade Runner плохо работает против носящий очки Люди, подделывающие StyleGAN, это относительно распространенная проблема в аналогичных системах, которые ожидают, что смогут оценивать очертания глаз как основные точки отсчета, скрытые в таких случаях.

Вышла уменьшенная версия Blade Runner. освобожден с открытым исходным кодом на GitHub. Существует более многофункциональная проприетарная версия, которая может обрабатывать несколько фотографий, а не одну фотографию за операцию репозитория с открытым исходным кодом. По его словам, автор намерен в конечном итоге обновить версию GitHub до того же стандарта, как только позволит время. Он также признает, что StyleGAN, скорее всего, будет развиваться за пределами своих известных или текущих недостатков, и программное обеспечение также должно будет развиваться в тандеме.

ДЕ-ФЕЙК

Архитектура DE-FAKE направлена ​​не только на достижение «универсального обнаружения» изображений, созданных с помощью моделей диффузии текста в изображение, но и на предоставление метода распознавания , которые Модель скрытой диффузии (LD) создала изображение.

Универсальная структура обнаружения в DE-FAKE обращается к локальным изображениям, гибридной среде (зеленый) и изображениям открытого мира (синий). Источник: http://export.arxiv.org/pdf/2210.06998.

Честно говоря, на данный момент это довольно легкая задача, так как все популярные модели LD — закрытые или открытые — имеют заметные отличительные характеристики.

Кроме того, большинство из них имеют некоторые общие недостатки, такие как предрасположенность к отрубанию голов из-за произвольным образом что неквадратные изображения, извлеченные из Интернета, загружаются в массивные наборы данных, которые питают такие системы, как DALL-E 2, Stable Diffusion и MidJourney:

Модели скрытой диффузии, как и все модели компьютерного зрения, требуют входных данных квадратного формата; однако агрегированный веб-скрапинг, лежащий в основе набора данных LAION5B, не предлагает никаких «роскошных дополнительных возможностей», таких как возможность распознавания и фокусировки на лицах (или чём-либо ещё), и довольно грубо обрезает изображения вместо их дополнения (что позволило бы сохранить исходное изображение целиком, но с более низким разрешением). После обучения эти «кадровые изображения» нормализуются и очень часто встречаются в выходных данных систем скрытой диффузии, таких как Stable Diffusion. Источники: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac и Stable Diffusion.

DE-FAKE задуман как независимый от алгоритма, давняя цель исследователей автоэнкодера против дипфейков, и прямо сейчас вполне достижимая в отношении систем LD.

Архитектура использует предварительную подготовку контрастного языка и изображения OpenAI (CLIP) многомодальная библиотека — важнейший элемент Stable Diffusion и быстро становящаяся ядром новой волны систем синтеза изображений/видео — как способ извлечения вложений из «поддельных» LD-изображений и обучения классификатора на наблюдаемых шаблонах и классах.

В сценарии «черного ящика», где фрагменты PNG, содержащие информацию о процессе генерации, уже давно удалены процессами загрузки и по другим причинам, исследователи используют Salesforce BLIP-фреймворк (также компонент в хотя бы один распределение стабильной диффузии) для «слепого» опроса изображений на предмет вероятной семантической структуры подсказок, которые их создали.

Исследователи использовали Stable Diffusion, Latent Diffusion (сам по себе отдельный продукт), GLIDE и DALL-E 2 для заполнения набора данных для обучения и тестирования с использованием MSCOCO и Flickr30k.

Обычно мы бы довольно подробно изучили результаты экспериментов исследователей для новой структуры; но, по правде говоря, выводы DE-FAKE, скорее всего, будут более полезны как будущий ориентир для последующих итераций и подобных проектов, а не как значимый показатель успешности проекта, учитывая изменчивую среду, в которой он функционирует, и то, что система, с которой он конкурирует в испытаниях, описанных в статье, существует уже почти три года — с тех пор, как сфера синтеза изображений только зарождалась.

Два крайних левых изображения: «оспариваемая» предыдущая структура, созданная в 2019 году, которая, как и ожидалось, показала худшие результаты по сравнению с DE-FAKE (два крайних правых изображения) во всех четырех протестированных системах LD.

Результаты работы команды чрезвычайно позитивны по двум причинам: во-первых, существует крайне мало предыдущих работ, с которыми можно было бы сравнить их (и вообще нет ни одной, которая могла бы обеспечить справедливое сравнение, т. е. охватывала бы всего лишь двенадцать недель с момента выпуска Stable Diffusion в открытый исходный код).

Во-вторых, как упоминалось выше, хотя область синтеза LD-изображений развивается с экспоненциальной скоростью, выходной контент текущих предложений эффективно помечает себя своими структурными (и очень предсказуемыми) недостатками и эксцентричностью, многие из которых, вероятно, будут исправлены. в случае Stable Diffusion, по крайней мере, путем выпуска более производительной контрольной точки 1.5 (т. е. обученной модели объемом 4 ГБ, питающей систему).

В то же время Stability уже указал, что у него есть четкая дорожная карта для V2 и V3 системы. Учитывая захватывающие заголовки события последних трех месяцев, любое корпоративное оцепенение со стороны OpenAI и других конкурирующих игроков в области синтеза изображений, вероятно, испарилось, а это означает, что мы можем ожидать столь же быстрого прогресса и в пространство синтеза изображений с закрытым исходным кодом.

Впервые опубликовано 14 октября 2022 г.