‘Креативная’ верификация лица с помощью генеративных противостоящих сетей

Новая статья из Стэнфордского университета предложила новый метод обмана систем аутентификации лица на платформах, таких как приложения для знакомств, используя генеративную противостоящую сеть (GAN) для создания альтернативных изображений лица, содержащих ту же сущностную информацию об идентификаторе, что и реальное лицо.

Метод успешно обошел процессы верификации лица в приложениях для знакомств Tinder и Bumble, в одном случае даже выдавая лицо, измененное по полу (мужское), за аутентичное исходной (женской) идентификатору.

Различные сгенерированные идентификаторы, которые содержат конкретную кодировку автора статьи (изображено на первой картинке выше). Источник: https://arxiv.org/pdf/2203.15068.pdf

По словам автора, работа представляет собой первую попытку обойти верификацию лица с помощью сгенерированных изображений, которые были наделены конкретными чертами идентификатора, но которые пытаются представить альтернативную или существенно измененную идентификатору.

Техника была протестирована на локальной системе верификации лица и показала хорошую производительность в тестах черного ящика против двух приложений для знакомств, которые выполняют верификацию лица на загруженных пользователями изображениях.

Новая статья статья озаглавлена Обход верификации лица и исходит от Санжаны Сарды, исследователя в департаменте электротехники Стэнфордского университета.

Контроль пространства лица

Хотя “внедрение” идентификаторных особенностей (т.е. из лиц, дорожных знаков и т. д.) в созданных изображениях является стандартной практикой в противостоящих атаках, новое исследование предлагает что-то другое: что растущая способность исследовательского сектора контролировать潜在ное пространство GAN в конечном итоге позволит разработать архитектуры, которые смогут создавать последовательные альтернативные идентификаторы для пользователя – и, по сути, позволят извлекать особенности идентификатора из изображений, доступных в Интернете, неосведомленного пользователя, чтобы включить их в “тень” созданную идентификатору.

Последовательность и навигируемость были основными проблемами, связанными с潜在ным пространством GAN с момента его создания. GAN, который успешно ассимилировал коллекцию обучающих изображений в свое潜在ное пространство, не предоставляет легкой карты, чтобы “переместить” особенности из одного класса в другой.

Хотя методы и инструменты, такие как Gradient-weighted Class Activation Mapping (Grad-CAM), могут помочь установить 潜在ные направления между установленными классами и позволить преобразования (см. изображение ниже), дальнейшая проблема переплетения обычно делает “приблизительный” путь, с ограниченным тонким контролем перехода.

Грубый путь между закодированными векторами в潜атном пространстве GAN, перемещающий данные, полученные мужскую идентификатор в ‘женские’ кодировки на другой стороне одной из многих линейных гиперплоскостей в сложном и загадочном潜атном пространстве. Изображение, полученное из материала на https://www.youtube.com/watch?v=dCKbRCUyop8

Способность “заморозить” и защитить идентификаторные особенности, перемещая их в трансформируемые кодировки в другом месте в潜атном пространстве, потенциально позволяет создать последовательный (и даже анимированный) индивид, чья идентификатор читается машиной как кто-то другой.

Метод

Автор использовал два набора данных в качестве основы для экспериментов: набор данных Human User, состоящий из 310 изображений ее лица, охватывающих период четырех лет, с разным освещением, возрастом и углами обзора), с обрезанными лицами, извлеченными через Caffe; и расово сбалансированные 108 501 изображения в наборе данных FairFace, аналогично извлеченные и обрезанные.

Местная модель верификации лица была получена из базовой реализации FaceNet и DeepFace, предварительно обученной на ConvNet Inception, с каждым изображением, представленным 128-мерным вектором.

Подход использует изображения лица из обучающего подмножества FairFace. Чтобы пройти верификацию лица, рассчитанное расстояние, вызванное нормой Фробениуса изображения, смещается против целевого пользователя в базе данных. Любое изображение под порогом 0,7 соответствует той же идентификатору, в противном случае верификация считается неудачной.

Модель StyleGAN была дообучена на личном наборе данных автора, производя модель, которая генерирует узнаваемые вариации ее идентификатора, хотя ни одно из этих сгенерированных изображений не было идентично обучающим данным. Это было достигнуто путем заморозки первых четырех слоев в дискриминаторе, чтобы избежать переобучения данных и произвести разнообразный вывод.

Хотя были получены разнообразные изображения с базовой моделью StyleGAN, низкое разрешение и точность привели к второй попытке с StarGAN V2, которая позволяет обучать семенные изображения к целевому лицу.

Модель StarGAN V2 была предварительно обучена примерно 10 часов, используя набор проверки FairFace, с размером партии четыре и размером проверки восемь. В наиболее успешном подходе личный набор данных автора был использован в качестве источника с обучающими данными в качестве справочного материала.

Эксперименты по верификации

Модель верификации лица была построена на основе подмножества из 1000 изображений, с целью верификации произвольного изображения из набора. Изображения, прошедшие верификацию успешно, были последовательно протестированы против собственной идентификатора автора.

Слева, автор статьи, реальная фотография; середина, произвольное изображение, которое не прошло верификацию; справа, несвязанное изображение из набора данных, прошедшее верификацию как автор.

Целью экспериментов было создание как можно большего разрыва между воспринимаемой визуальной идентификатором, сохраняя при этом определяющие черты целевой идентификатора. Это было оценено с помощью расстояния Махаланобиса, метрики, используемой в обработке изображений для поиска образцов и шаблонов.

Для базовой генеративной модели низкокачественные результаты показывают ограниченное разнообразие, несмотря на прохождение местной верификации лица. StarGAN V2 оказался более способным создавать разнообразные изображения, которые смогли пройти аутентификацию.

Все изображения, показанные выше, прошли местную верификацию лица. Выше показаны низкокачественные базовые генерации StyleGAN, ниже – высококачественные генерации StarGAN V2.

Последние три изображения, показанные выше, использовали личный набор данных автора как источник и справочный материал, в то время как предыдущие изображения использовали обучающие данные в качестве справочного материала и личный набор данных автора в качестве источника.

Результатные сгенерированные изображения были протестированы против систем верификации лица приложений для знакомств Bumble и Tinder, с идентификатором автора в качестве базового, и прошли верификацию. “Мужская” генерация лица автора также прошла верификацию Bumble, хотя освещение пришлось отрегулировать в сгенерированном изображении, прежде чем оно было принято. Tinder не принял мужскую версию.

‘Мужские’ версии идентификатора автора (женской) идентификатора.

Заключение

Это семинальные эксперименты по проекции идентификатора, в контексте манипуляции潜атным пространством GAN, которое остается необыкновенной проблемой в синтезе изображений и исследованиях дипфейков. Тем не менее, работа открывает концепцию внедрения высокоспецифических особенностей последовательно в различные идентификаторы и создания “альтернативных” идентификаторов, которые “читаются” машиной как кто-то другой.

Опубликовано впервые 30 марта 2022 года.