Взгляд Anderson
Детекторы дипфейков осваивают новые направления: модели латентной диффузии и GAN

Ключевые моментыИсследования в области обнаружения дипфейков смещают фокус на латентные диффузионные…
Показать больше
- Исследования в области обнаружения дипфейков смещают фокус на латентные диффузионные модели, такие как Stable Diffusion и DALL-E 2.
- Blade Runner предлагает готовое решение для обнаружения GAN-изображений на основе паттернов лицевых ориентиров для организаций с ограниченными ресурсами.
- DE-FAKE нацелен на универсальное обнаружение и атрибуцию изображений, созданных текстово-изобразительными диффузионными моделями, с использованием CLIP-эмбеддингов.
Мнение
В последнее время сообщество исследователей обнаружения дипфейков, с конца 2017 года почти исключительно занимавшееся подходом на основе автоэнкодеров, который тогда вызвал восхищение (и тревогу) публики, начало проявлять криминалистический интерес к менее застойным архитектурам. Среди них модели латентной диффузии, такие как DALL-E 2 и Stable Diffusion, а также результаты генеративно-состязательных сетей (GAN). Например, в июне Калифорнийский университет в Беркли опубликовал результаты исследования разработки детектора изображений тогда доминировавшей DALL-E 2.
Этот интерес, по-видимому, вызван внезапным скачком возможностей и доступности моделей латентной диффузии в 2022 году: весной состоялся выпуск DALL-E 2 с закрытым кодом и ограниченным доступом, а в конце лета stability.ai сенсационно открыла исходный код Stable Diffusion.
GAN тоже давно изучаются в этом контексте, хотя менее интенсивно, поскольку очень трудно использовать их для убедительного и сложного воссоздания людей на видео, по крайней мере в сравнении с уже давно известными пакетами автоэнкодеров FaceSwap и DeepFaceLab и родственным последнему инструментом прямых трансляций DeepFaceLive.
Движущиеся изображения
В обоих случаях стимулом, похоже, служит перспектива нового рывка в развитии синтеза видео. Начало октября и сезон крупных конференций 2022 года ознаменовались лавиной внезапных и неожиданных решений давних проблем видеосинтеза: едва Facebook опубликовал примеры своей платформы преобразования текста в видео, Google Research затмила первоначальный восторг анонсом Imagen-to-Video T2V, способной выдавать видео высокого разрешения (хотя лишь через семиуровневую сеть повышения разрешения).
Если вы верите, что такие события приходят тройками, вспомните загадочное обещание stability.ai добавить видео в Stable Diffusion, очевидно, позже в этом году. Соразработчик Stable Diffusion Runway дал похожее обещание, хотя неясно, идет ли речь об одной системе. Сообщение в Discord генерального директора Stability Эмада Мостака также обещало «аудио, видео [и] 3D».
С неожиданным появлением нескольких новых систем генерации аудио (часть основана на латентной диффузии) и новой диффузионной модели, создающей естественные движения персонажей, получает реальную поддержку идея, что статичные системы вроде GAN и диффузионных моделей наконец займут место вспомогательных дополнений внешних систем анимации.
Иными словами, ограниченный мир видеодипфейков на автоэнкодерах, эффективно заменяющих только центральную часть лица, к этому времени следующего года может быть вытеснен новым поколением диффузионных технологий дипфейков: популярными открытыми подходами с потенциалом фотореалистичной подделки целых тел и даже сцен.
Возможно, поэтому исследователи противодействия дипфейкам начинают серьезно относиться к синтезу изображений и понимать, что его применение шире создания поддельных фотографий профилей LinkedIn; и если единственное, на что способны трудноуправляемые латентные пространства в отношении движения во времени, — это работать отличным инструментом рендеринга текстур, этого на самом деле может быть более чем достаточно.
Blade Runner
Две новейшие работы об обнаружении дипфейков на основе латентной диффузии и GAN соответственно — DE-FAKE: Обнаружение и определение происхождения поддельных изображений, созданных диффузионными моделями преобразования текста в изображение, совместная работа CISPA Helmholtz Center for Information Security и Salesforce (CRM ), и BLADERUNNER: Быстрое противодействие синтетическим лицам StyleGAN, созданным ИИ, работа Адама Дориана Вонга из Лаборатории Линкольна MIT.
Прежде чем объяснить новый метод, вторая работа рассматривает прежние способы определения, создано ли изображение GAN. Статья посвящена именно семейству StyleGAN NVIDIA.
Метод Brady Bunch — возможно, непонятная отсылка для тех, кто не смотрел телевидение в 1970-х или пропустил экранизации 1990-х, — определяет подделки GAN по фиксированным позициям определенных частей лица, обусловленным повторяющимся и шаблонным процессом производства.

Метод Brady Bunch, представленный в веб-трансляции SANS Institute в 2022 году: генератор лиц GAN размещает некоторые черты неестественно одинаково, что иногда выдает синтетическое происхождение фотографии. Источник: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf
Еще один полезный известный признак — частая неспособность StyleGAN при необходимости отрисовать несколько лиц (первое изображение ниже), несогласованность аксессуаров (среднее) и склонность превращать линию волос в начало импровизированной шляпы (третье).

Третий метод, на который обращает внимание исследователь, — наложение фотографий (пример есть в нашей августовской статье о диагностике психических расстройств с помощью ИИ). Программы смешивания изображений, такие как серия CombineZ, объединяют несколько снимков в один, часто выявляя общие структурные черты — возможный признак синтеза.

Предлагаемая архитектура названа, возможно, вопреки всем советам SEO, Blade Runner — отсылка к тесту Войта-Кампфа, определяющему, являются ли антагонисты научно-фантастической франшизы искусственными.
Обработка состоит из двух фаз. Первая — анализатор PapersPlease, способный оценивать данные, собранные с известных сайтов лиц GAN, таких как thispersondoesnotexist.com и generated.photos.

Хотя сокращенную версию кода можно изучить на GitHub (см. ниже), подробностей модуля мало, кроме использования OpenCV и DLIB для выделения и обнаружения лиц в собранном материале.
Второй модуль — детектор AmongUs. Он ищет согласованное расположение глаз на фотографиях, устойчивый признак лиц StyleGAN из описанного выше сценария Brady Bunch. AmongUs использует стандартный детектор 68 опорных точек лица.

Разметка точек лица от Intelligent Behaviour Understanding Group (IBUG), чей код отображения лицевых ориентиров используется в пакете Blade Runner.
AmongUs опирается на предварительно обученные ориентиры по известным координатам Brady Bunch из PapersPlease и предназначен для проверки актуальных доступных в интернете образцов лиц StyleGAN.
По словам автора, Blade Runner — готовое к использованию решение для компаний и организаций без ресурсов для собственной разработки такого обнаружения дипфейков, а также временная мера, позволяющая выиграть время для более постоянных средств противодействия.
Действительно, в столь изменчивом и быстрорастущем секторе безопасности сейчас мало индивидуальных или готовых решений облачных поставщиков, на которые компания с ограниченными ресурсами могла бы уверенно положиться.
Хотя Blade Runner плохо обнаруживает созданных StyleGAN людей в очках, это довольно распространенная проблема подобных систем: они рассчитывают оценивать контуры глаз как основные ориентиры, но в таких случаях те скрыты.
Сокращенная версия Blade Runner опубликована с открытым кодом на GitHub. Есть более функциональная проприетарная версия, которая обрабатывает несколько фотографий, тогда как открытый репозиторий допускает одну за операцию. Автор намерен со временем, когда позволят возможности, довести GitHub-версию до того же уровня. Он признает, что StyleGAN, вероятно, преодолеет нынешние известные слабости, поэтому программа должна развиваться вместе с ним.
DE-FAKE
Архитектура DE-FAKE стремится не только универсально обнаруживать изображения диффузионных моделей преобразования текста в изображение, но и определять, какая именно модель латентной диффузии (LD) создала изображение.

Универсальная система обнаружения DE-FAKE охватывает локальные изображения, гибридную систему (зеленый) и изображения открытого мира (синий). Источник: http://export.arxiv.org/pdf/2210.06998
Честно говоря, сейчас это довольно простая задача: у всех популярных моделей LD, с закрытым или открытым кодом, есть заметные отличительные черты.
Кроме того, большинство имеет общие слабости, например склонность обрезать головы из-за произвольного способа включения неквадратных изображений, собранных из интернета, в огромные наборы данных для DALL-E 2, Stable Diffusion и MidJourney:

Модели латентной диффузии, как и остальные модели компьютерного зрения, требуют квадратного входа. Массовый сбор веб-данных для LAION5B не предоставляет дополнительных возможностей распознавания и фокусировки на лицах или других объектах, а жестко обрезает изображения вместо добавления полей, которое сохранило бы оригинал целиком, но с меньшим разрешением. Усвоенные в обучении обрезания становятся нормой и очень часто появляются в результатах систем вроде Stable Diffusion. Источники: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac и Stable Diffusion.
DE-FAKE задуман как независимый от алгоритма — давняя цель исследователей противодействия дипфейкам на автоэнкодерах, сейчас вполне достижимая для систем LD.
Архитектура использует мультимодальную библиотеку Contrastive Language-Image Pretraining OpenAI (CLIP), важный компонент Stable Diffusion, быстро становящийся основой новой волны синтеза изображений и видео, чтобы извлекать векторные представления из поддельных LD-изображений и обучать классификатор на наблюдаемых закономерностях и классах.
В более непрозрачном сценарии, когда блоки PNG с информацией о создании давно удалены загрузкой или по другим причинам, исследователи используют систему BLIP Salesforce (также компонент как минимум одного дистрибутива Stable Diffusion), чтобы без исходных сведений оценить вероятную семантическую структуру запросов, породивших изображения.

Исследователи использовали Stable Diffusion, Latent Diffusion (отдельный продукт), GLIDE и DALL-E 2 для наполнения обучающего и тестового набора данных на основе MSCOCO и Flickr30k.
Обычно мы подробно изучали бы результаты экспериментов новой системы. Но выводы DE-FAKE, похоже, полезнее как будущий ориентир для следующих версий и аналогичных проектов, чем как содержательный показатель успеха: среда изменчива, а системе сравнения в экспериментах почти три года, то есть она относится ко времени, когда синтез изображений только зарождался.

Два крайних левых изображения: прежняя система сравнения 2019 года ожидаемо уступает DE-FAKE (два крайних правых изображения) на четырех проверенных системах LD.
Результаты команды чрезвычайно положительны по двум причинам: прежних работ для сравнения мало, а обеспечивающих справедливое сопоставление нет вовсе — ни одна не охватывает лишь двенадцать недель после открытия кода Stable Diffusion.
Во-вторых, хотя синтез изображений LD развивается экспоненциально, результаты нынешних систем фактически сами себя маркируют собственными структурными, весьма предсказуемыми недостатками и особенностями. Многие из них, по крайней мере в Stable Diffusion, вероятно, исправит выпуск более эффективного checkpoint 1.5 — обученной модели размером 4 ГБ, обеспечивающей работу системы.
Тем временем Stability уже обозначила четкую дорожную карту V2 и V3. После громких событий последних трех месяцев любая корпоративная инертность OpenAI и других конкурентов в синтезе изображений, вероятно, исчезла. Значит, можно ожидать столь же быстрого прогресса и в области закрытого кода.
Впервые опубликовано 14 октября 2022 года.












