‘Креативна’ верифікація обличчя з використанням генеративних суперницьких мереж

Нова робота Стенфордського університету запропонувала новий метод обману систем автентифікації обличчя на платформах, таких як додатки для знайомств, за допомогою використання Генеративної суперницької мережі (GAN) для створення альтернативних зображень обличчя, які містять ту саму суттєву інформацію про ідентифікацію, що і справжнє обличчя.

Метод успішно обійшов процеси верифікації обличчя в додатках для знайомств Tinder і Bumble, в одному випадку навіть успішно видаючи за автентичну жіночу особистість обличчя чоловіка.

Різні згенеровані ідентичності, які містять специфічну кодування автора статті (зображення зверху). Джерело: https://arxiv.org/pdf/2203.15068.pdf

За словами автора, ця робота представляє перший спробу обійти верифікацію обличчя з використанням згенерованих зображень, які містять специфічні ідентифікаційні ознаки, але намагаються представити альтернативну або суттєво змінену ідентичність.

Техніка була протестована на місцевій системі верифікації обличчя, а потім показала хороші результати в тестах проти двох додатків для знайомств, які виконують верифікацію обличчя на завантажених користувачами зображеннях.

Нова робота називається Обхід верифікації обличчя, і прийшла від Санжани Сарди, дослідника відділу електротехніки Стенфордського університету.

Контроль простору обличчя

Хоча “введення” ідентифікаційних ознак (тобто з обличчя, дорожніх знаків тощо) у створені зображення є стандартною частиною суперницьких атак, ця нова робота пропонує щось інше: що зростаюча здатність дослідницького сектору контролювати.latent простір GAN в кінцевому підсумку дозволить розробити архітектури, які можуть створювати сталі альтернативні ідентичності користувача – і, по суті, дозволять витягувати ознаки ідентифікації з доступних в інтернеті зображень незапідозрених користувачів, щоб використати їх у “тіньовій” створеній ідентичності.

Стабільність і навігація були основними викликами щодо.latent простору GAN з моменту створення Генеративних суперницьких мереж. GAN, який успішно ассимілював колекцію тренувальних зображень у свій.latent простір, не надає жодної легкої карти для “переміщення” ознак з одного класу в інший.

Хоча техніки та інструменти, такі як Градієнт-зважена карта активації класу (Grad-CAM), можуть допомогти встановити латентні напрямки між встановленими класами, і дозволити перетворення (див. зображення нижче), подальший виклик змішування зазвичай робить “приблизний” шлях, з обмеженим тонким контролем переходу.

Нерівний шлях між закодованими векторами у.latent просторі GAN, що переміщує чоловічу ідентичність у “жіночі” кодування на іншій стороні однієї з багатьох лінійних гіперплощин у складному і загадковому.latent просторі. Зображення отримано з матеріалів https://www.youtube.com/watch?v=dCKbRCUyop8

Можливість “заморозити” і захистити ідентифікаційні ознаки, рухаючи їх у трансформаційні кодування в іншому місці.latent простору, потенційно дозволяє створювати сталу (і навіть анімовану) індивідуальність, яку машини системи ідентифікують як хтось інший.

Метод

Автор використав два набори даних як основу для експериментів: набір даних людей, що складається з 310 зображень її обличчя за період чотирьох років, з різним освітленням, віком і кутами огляду), з обрізаними обличчями, витягнутими за допомогою Caffe; і расово збалансований набір даних FairFace, що складається з 108 501 зображень, витягнутих і обрізаних аналогічним чином.

Місцева модель верифікації обличчя була отримана з базової реалізації FaceNet і DeepFace, попередньо тренованої на ConvNet Inception, з кожним зображенням, представленим 128-мірним вектором.

Підхід використовує зображення обличчя з тренованого підмножини з FairFace. Для проходження верифікації обличчя розрахований відстань, викликаний нормою Фробеніуса зображення, відстоюється проти цільового користувача в базі даних. Будь-яке зображення нижче порогу 0,7 вважається тим самим ідентифікатором, інакше верифікація вважається невдалою.

Модель StyleGAN була дофінована на особистому наборі даних автора, отримавши модель, яка генерує визнавані варіації її ідентичності, хоча жодне з цих згенерованих зображень не було ідентичним до тренувальних даних. Це було досягнуто шляхом заморожування перших чотирьох шарів у дискримінаторі, щоб уникнути надмірної підгонки даних і отримання різноманітного виходу.

Хоча різноманітні зображення були отримані з базової моделі StyleGAN, низька роздільна здатність і відтворення спонукали до другої спроби з StarGAN V2, який дозволяє тренувати початкові зображення до цільового обличчя.

Модель StarGAN V2 була попередньо тренована протягом приблизно 10 годин за допомогою валідаційного набору даних FairFace, з розміром партії чотири і розміром валідації вісім. У найбільш успішному підході особистий набір даних автора був використаний як джерело з тренувальними даними як посилання.

Експерименти з верифікацією

Модель верифікації обличчя була побудована на основі підмножини з 1000 зображень, з метою верифікації довільного зображення з набору. Зображення, які пройшли верифікацію успішно, були згодом протестовані проти власної ідентичності автора.

Зліва, автор статті, справжнє фото; посередині, довільне зображення, яке не пройшло верифікацію; справа, незнайоме зображення з набору даних, яке пройшло верифікацію як автор.

Мета експериментів полягала в тому, щоб створити якомога більшу пропасть між сприйнятою візуальною ідентичністю, зберігаючи при цьому визначальні ознаки цільової ідентичності. Це було оцінено за допомогою Mahonobis відстані, метрики, використовуваної в обробці зображень для пошуку шаблонів і шаблонів.

Для базової генеративної моделі низькорозірневі результати показують обмежену різноманітність, попри проходження місцевої верифікації обличчя. StarGAN V2 продемонстрував більшу здатність створювати різноманітні зображення, які могли автентифікуватися.

Усі зображення, зображені нижче, пройшли місцеву верифікацію обличчя. Вище – низькорозірневі базові генерації StyleGAN, нижче – високорозірневі та високоякісні генерації StarGAN V2.

Останні три зображення, зображені вище, використовували власний набір даних автора як джерело і посилання, тоді як попередні зображення використовували тренувальні дані як посилання і власний набір даних автора як джерело.

Згенеровані зображення були протестовані проти систем верифікації обличчя додатків для знайомств Bumble і Tinder, з ідентичністю автора як базовою, і пройшли верифікацію. “Чоловіча” генерація обличчя автора також пройшла процес верифікації Bumble, хоча освітлення мало бути調ено у згенерованому зображенні, перш ніж воно було прийнято. Tinder не прийняв чоловічу версію.

«Чоловічі» версії ідентичності автора (жіночої).

Висновок

Ці експерименти є семінальними у проєкції ідентичності, у контексті маніпулювання.latent простором GAN, яке залишається надзвичайним викликом у синтезі зображень і дослідженні deepfake. Тим не менш, ця робота відкриває концепцію вкладення високоспецифічних ознак послідовно у різноманітні ідентичності, і створення “альтернативних” ідентичностей, які “читаються” як хтось інший.

Опубліковано вперше 30 березня 2022 року.