Обнаруживатели глубоких фейков преследуют новую цель: латентные диффузионные модели и GAN

Мнение  

В последнее время сообщество исследователей, занимающихся обнаружением глубоких фейков, которое с конца 2017 года было почти исключительно занято автокодировщиком, представленным в то время и вызвавшим широкий общественный интерес (и недовольство), начало проявлять судебный интерес к менее застойным архитектурам, включая латентные диффузионные модели, такие как DALL-E 2 и Stable Diffusion, а также выход Generative Adversarial Networks (GANs). Например, в июне UC Berkeley опубликовал результаты своего исследования по разработке детектора для выхода тогда доминирующего DALL-E 2.

То, что, кажется, стимулирует этот растущий интерес, – это внезапный эволюционный скачок в возможности и доступности латентных диффузионных моделей в 2022 году, с закрытой и ограниченной выпуском DALL-E 2 весной, за которым последовал сенсационный открытый исходный код Stable Diffusion от stability.ai в конце лета.

GANs также долго изучались в этом контексте, хотя и менее интенсивно, поскольку очень сложно использовать их для убедительных и сложных видео-реконструкций людей; по крайней мере, по сравнению с давно известными пакетами автокодировщиков, такими как FaceSwap и DeepFaceLab – и последний из них имеет живой потоковый аналог, DeepFaceLive.

Движущиеся картинки

В любом случае, стимулирующим фактором, кажется, является перспектива последующего спринта разработки видео-синтеза. Начало октября – и основной сезон конференций 2022 года – было характеризовано внезапным и неожиданным решением различных давних проблем видео-синтеза: едва Facebook выпустил образцы своей собственной платформы текст-видео, Google Research быстро затмил эту первоначальную известность, объявив о своей новой архитектуре Imagen-to-Video T2V, способной выдавать высококачественное видео (хотя и только через 7-слойную сеть апскейлеров).

Если вы считаете, что такого рода вещи приходят в тройках, рассмотрите также загадочное обещание stability.ai, что ‘видео идет’ к Stable Diffusion,apparently позже в этом году, в то время как со-разработчик Stable Diffusion, Runway, сделал аналогичное обещание, хотя неясно, ссылаются ли они на одну и ту же систему. Сообщение Discord от CEO Stability Emad Mostaque также обещал ‘аудио, видео [и] 3д’.

С учетом внезапного появления нескольких новых фреймворков генерации аудио (некоторые из которых основаны на латентной диффузии) и новой диффузионной модели, которая может генерировать аутентичное движение персонажа, идея о том, что ‘статические’ фреймворки, такие как GANs и диффузоры, наконец займут свое место в качестве вспомогательных адъюнктов к внешним фреймворкам анимации, начинает набирать реальную силу.

Вкратце, кажется вероятным, что мир видео-глубоких фейков на основе автокодировщиков, который может эффективно заменить только центральную часть лица, к этому времени в следующем году может быть затмеваем новым поколением диффузионных технологий, способных фейковать не только целые тела, но и целые сцены.

По этой причине, возможно, сообщество исследователей, занимающихся обнаружением глубоких фейков, начинает серьезно относиться к синтезу изображений и понимать, что он может служить не только для генерации фейковых профилей LinkedIn; и что если все их неуловимые латентные пространства могут сделать в отношении временного движения, – это действительно великий текстурный рендерер, что может быть более чем достаточно.

Бегущий по лезвию

Два последних документа, которые решают, соответственно, латентную диффузию и обнаружение глубоких фейков на основе GAN, – это DE-FAKE: Обнаружение и атрибуция фейковых изображений, сгенерированных текст-изображением диффузионными моделями, сотрудничество между CISPA Helmholtz Center for Information Security и Salesforce; и BLADERUNNER: Быстрый контрмер для синтетических (AI-генерируемых) лиц StyleGAN, от Adam Dorian Wong из лаборатории Lincoln в MIT.

До объяснения своего нового метода последняя статья тратит некоторое время на изучение предыдущих подходов к определению того, было ли изображение сгенерировано GAN (статья конкретно занимается семейством StyleGAN от NVIDIA).

‘Метод Брэди Банча’ – возможно, бессмысленная ссылка для всех, кто не смотрел телевизор в 1970-х годах или пропустил фильмы 1990-х годов – определяет контент GAN на основе фиксированных позиций, которые определенные части лица GAN занимают из-за рутинного и шаблонного характера ‘процесса производства’.

Другой полезный известный индикатор – это частая неспособность StyleGAN отображать несколько лиц (первое изображение ниже), если необходимо, а также его отсутствие таланта в координации аксессуаров (среднее изображение ниже) и тенденция использовать линию волос как начало импровизированной шляпы (третье изображение ниже).

Третий метод, на который исследователь обращает внимание, – это наложение фотографий (пример которого можно увидеть в нашей статье августа об AI-облегченной диагностике психических расстройств), который использует композиционное ‘смешивание изображений’ программное обеспечение, такое как серия CombineZ, для соединения нескольких изображений в одно изображение, часто раскрывая основные общие черты в структуре – потенциальный индикатор синтеза.

Архитектура, предложенная в новой статье, озаглавлена (возможно, против всех советов по SEO) Blade Runner, ссылаясь на тест Voight-Kampff, который определяет, являются ли антагонисты в научно-фантастической франшизе ‘фейковыми’ или нет.

Конвейер состоит из двух фаз, первая из которых – это анализатор PapersPlease, который может оценить данные, собранные из известных веб-сайтов лиц GAN, таких как thispersondoesnotexist.com или generated.photos.

Хотя уменьшенная версия кода может быть осмотрена на GitHub (см. ниже), предоставляется мало деталей об этом модуле, кроме того, что OpenCV и DLIB используются для очертания и обнаружения лиц в собранном материале.

Второй модуль – это детектор AmongUs. Система предназначена для поиска скоординированного размещения глаз на фотографиях, постоянной особенности выхода лица StyleGAN, типичной для сценария ‘Брэди Банч’, описанного выше. AmongUs работает на стандартном 68-ландмарке детекторе.

AmongUs зависит от предварительно обученных ландмароков на основе известных ‘Брэди Банч’ координат из PapersPlease и предназначен для использования против живых, веб-ориентированных образцов изображений лиц StyleGAN.

Blade Runner, как предполагает автор, – это готовое решение, предназначенное для компаний или организаций, которые не имеют ресурсов для разработки внутренних решений для такого рода обнаружения глубоких фейков, и ‘мера, чтобы выиграть время для более постоянных контрмер’.

На самом деле, в таком волатильном и быстро растущем секторе безопасности нет многих индивидуальных или готовых решений от поставщиков облачных услуг, к которым можно обратиться с уверенностью.

Хотя Blade Runner работает плохо против очкариков фейковых лиц StyleGAN, это относительно распространенная проблема среди аналогичных систем, которые ожидают, что смогут оценить очертания глаз в качестве основных точек отсчета, скрытых в таких случаях.

Уменьшенная версия Blade Runner была выпущена в открытом исходном коде на GitHub. Более функциональная проприетарная версия существует, которая может обрабатывать несколько фотографий, а не одну фотографию за операцию открытого репозитория. Автор намерен, говорит он, обновить версию GitHub до того же стандарта в конечном итоге, как только позволит время. Он также признает, что StyleGAN, вероятно, эволюционирует за пределы своих известных или текущих слабостей, и программное обеспечение также должно развиваться в тандеме.

DE-FAKE

Архитектура DE-FAKE направлена не только на достижение ‘универсального обнаружения’ для изображений, сгенерированных текст-изображением диффузионными моделями, но и на предоставление метода для определения какой латентной диффузионной (LD) модели было сгенерировано изображение.

Чтобы быть честным, на данный момент это довольно простая задача, поскольку все популярные LD-модели – закрытые или открытые – имеют заметные отличительные характеристики.

Кроме того, большинство из них имеют общие слабости, такие как склонность обрезать головы, из-за произвольного способа, которым веб-скрейпинг изображений с не квадратной формой вводится в огромные наборы данных, которые обеспечивают системы, такие как DALL-E 2, Stable Diffusion и MidJourney:

DE-FAKE предназначен для того, чтобы быть алгоритмически-агностическим, долгожданной целью исследователей, занимающихся обнаружением глубоких фейков на основе автокодировщиков, и, прямо сейчас, довольно достижимой в отношении систем LD.

Архитектура использует библиотеку Contrastive Language-Image Pretraining (CLIP) от OpenAI – важнейший элемент в Stable Diffusion и быстро становящийся сердцем новой волны систем синтеза изображений/видео – как способ извлечения вложений из ‘поддельных’ LD-изображений и обучения классификатора на наблюдаемых закономерностях и классах.

В более ‘черном ящике’ сценарии, где фрагменты PNG, содержащие информацию о процессе генерации, были давно удалены процессами загрузки и по другим причинам, исследователи используют фреймворк BLIP от Salesforce (также компонент в хотя бы одном распределении Stable Diffusion), чтобы ‘слепо’ опросить изображения для вероятной семантической структуры подсказок, которые их создали.

Обычно мы бы взяли довольно обширный взгляд на результаты экспериментов исследователей для нового фреймворка; но, по сути, результаты DE-FAKE, кажется, будут более полезными как будущая база для последующих итераций и аналогичных проектов, а не как значимая метрика успеха проекта, учитывая волатильную среду, в которой он работает, и что система, с которой он соревнуется в испытаниях статьи, почти три года назад – с тех пор, как сцена синтеза изображений была действительно в зачаточном состоянии.

Команда достигла подавляюще положительных результатов по двум причинам: существует мало предыдущих работ, с которыми можно сравнить (и ни одной, которая предлагает справедливое сравнение, т.е. которая охватывает всего двенадцать недель с момента выпуска Stable Diffusion в открытом исходном коде).

Во-вторых, как упоминалось выше, хотя область синтеза изображений LD развивается с экспоненциальной скоростью, выходной контент текущих предложений эффективно водяные знаки сам по себе благодаря своей структурной (и очень предсказуемой) слабости и эксцентричности – многие из которых, вероятно, будут устранены, в случае Stable Diffusion, по крайней мере, с выпуском лучшего 1,5 контрольной точки (т.е. 4 ГБ обученной модели, обеспечивающей систему).

В то же время Stability уже указала, что имеет четкий план развития V2 и V3 системы. Учитывая события последних трех месяцев, любая корпоративная вялость со стороны OpenAI и других конкурирующих игроков в области синтеза изображений, вероятно, испарилась, что означает, что мы можем ожидать аналогичный темп прогресса также в закрытом пространстве синтеза изображений.

Опубликовано впервые 14 октября 2022 года.