«Мастерские лица», которые могут обойти более 40% систем аутентификации по лицу

Исследователи из Израиля разработали нейронную сеть, способную генерировать «мастерские лица» – изображения лиц, которые могут имитировать несколько идентификаторов. Работа предполагает, что возможно сгенерировать такие «мастерские ключи» для более 40% населения, используя только 9 синтезированных лиц, созданных с помощью StyleGAN Generative Adversarial Network (GAN), через три ведущие системы распознавания лиц.

Работа является совместным проектом между школой компьютерных наук Блаватника и школой электротехники в Тель-Авиве.

Тестирование системы показало, что одно сгенерированное лицо может разблокировать 20% всех идентификаторов в базе данных Labeled Faces in the Wild (LFW) Университета Массачусетса, общедоступной базе данных, используемой для разработки и тестирования систем аутентификации по лицу, и базе данных для израильской системы.

Архитектура израильской системы, которая использует генератор StyleGAN для итеративного поиска «мастерских лиц». Источник: https://arxiv.org/pdf/2108.01077.pdf

Этот новый метод улучшает предыдущую работу, опубликованную в Университете Сиены, которая требует привилегированного доступа к машинному обучению. Напротив, новый метод выводит обобщенные характеристики из общедоступных материалов и использует их для создания лицевых характеристик, которые охватывают большое количество идентификаторов.

Эволюция мастерских лиц

StyleGAN изначально используется в этом подходе под методом оптимизации черного ящика, фокусирующимся (не удивительно) на высокоразмерных данных, поскольку важно найти наиболее общие и широкие лицевые характеристики, которые удовлетворят системе аутентификации.

Этот процесс затем повторяется итеративно, чтобы охватить идентификаторы, которые не были закодированы в первоначальном проходе. В различных тестовых условиях исследователи обнаружили, что возможно получить аутентификацию для 40-60% с помощью только девяти сгенерированных изображений.

Последовательные группы «мастерских лиц», полученные в исследовании по различным методам поиска покрытия, включая LM-MA-ES. Среднее покрытие набора (MSC, метрика точности) указано под каждым изображением.

Система использует эволюционный алгоритм, связанный с нейронным предиктором, который оценивает вероятность того, что текущий «кандидат» лучше обобщает, чем p-процент кандидатов, сгенерированных в предыдущих проходах.

Фильтрация сгенерированных кандидатов в архитектуре израильской системы.

LM-MA-ES

Проект использует алгоритм Limited-Memory Matrix Adaptation (LM-MA-ES), разработанный для инициативы 2017 года, возглавляемой исследовательской группой по машинному обучению для автоматического проектирования алгоритмов, подход, который хорошо подходит для высокоразмерной оптимизации черного ящика.

LM-MA-ES выводит кандидатов случайным образом. Хотя это хорошо подходит для намерений проекта, дополнительный компонент необходим для определения, какие лица являются лучшими кандидатами для аутентификации по различным идентификаторам. Поэтому исследователи создали нейронный классификатор «Успешный предиктор», чтобы отфильтровать поток кандидатов в лучшие лица для задачи.

Обоснование «Успешного предиктора», использованного в израильском проекте по обману систем распознавания лиц.

Оценка

Система была протестирована на трех системах распознавания лиц на основе CNN: SphereFace, FaceNet и Dlib, каждая из которых содержит метрику сходства и функцию потерь, которые полезны для проверки точности системы.

«Успешный предиктор» – это нейронная сеть прямого распространения, состоящая из трех полностью связанных слоев. Первый из них использует нормализацию BatchNorm для обеспечения согласованности данных перед активацией. Сеть использует ADAM в качестве оптимизатора, с амбициозной скоростью обучения 0,001 на пакетах из 32 входных изображений.

Выходные данные из трех архитектур.

Все три алгоритма были обучены за 26 400 вызовов функции приспособленности, используя один и тот же набор из пяти семян.

Исследователи установили на этом этапе, что более длительные процессы обучения не приносят пользы системе; фактически, израильский подход направлен на получение ключевых данных на ранней стадии обучения модели, где еще не были обнаружены только самые высокие характеристики. Стоит отметить, что это своего рода подарок в плане экономии рамок.

Установив базовые результаты с помощью среды оптимизации без градиента NeverGrad от Facebook, систему профилировали против ряда алгоритмов, включая различные бренды эвристического метода дифференциальной эволюции.

Исследователи обнаружили, что «жадный» подход, основанный на Dlib, превосходит своих конкурентов, создавая девять «мастерских лиц», способных разблокировать 42-64% тестового набора данных. Применение «Успешного предиктора» системы еще больше улучшило эти очень благоприятные результаты.

Статья утверждает, что «аутентификация по лицу чрезвычайно уязвима, даже если нет информации о целевой идентификации», и исследователи считают свою инициативу действенным подходом к методологии проникновения в системы безопасности для систем распознавания лиц.