‘Креативна’ перевірка особи з використанням генеративно-антагоністичних мереж

Нова робота науковців із Стенфордського університету пропонує новий метод обману систем автентифікації особи на платформах, таких як додатки для знайомств, за допомогою використання генеративно-антагоністичної мережі (GAN) для створення альтернативних зображень особи, які містять ту саму суттєву інформацію про особу, що й справжнє зображення.

Цей метод успішно обманув системи перевірки особи на додатках для знайомств Tinder і Bumble, у одному випадку навіть успішно видаючи за справжнє зображення особи чоловіка, якого видали за жінку.

Різні згенеровані особи, які містять специфічну інформацію про автора статті (зображення зверху). Джерело: https://arxiv.org/pdf/2203.15068.pdf

За словами автора, ця робота є першою спробою обманути системи перевірки особи за допомогою згенерованих зображень, які містять специфічні особливості особи, але намагаються видати за іншу особу.

Цей метод був перевірений на локальній системі перевірки особи та успішно пройшов тести проти двох додатків для знайомств, які виконують перевірку особи на зображеннях, завантажених користувачами.

Нова робота має назву Обман системи перевірки особи і була написана Санжаною Сардою, дослідницею відділу електротехніки Стенфордського університету.

Контроль простору особи

Хоча «введення» особливостей особи (наприклад, з зображень, дорожніх знаків тощо) у згенеровані зображення є звичайним методом обману систем, ця робота пропонує щось інше: можливість контролювати латентний простір GAN, щоб створити альтернативні особи, які будуть розрізняються системами як інші особи.

Основними проблемами щодо латентного простору GAN є забезпечення консистентності та навігації. GAN, який успішно асимілював колекцію тренувальних зображень у свій латентний простір, не забезпечує легкого способу «перемістити» особливості з однієї категорії в іншу.

Хоча методи, такі як Grad-CAM, можуть допомогти встановити латентні напрямки між категоріями та дозволити перетворення, подальша проблема ентропії зазвичай робить цей процес «приблизним», з обмеженим контролем над переходом.

Приблизиме пересування між закодованими векторами у латентному просторі GAN, яке «переміщує» чоловічу особу у «жіночі» кодування на іншій стороні одного з багатьох лінійних гіперплощин у складному та загадковому латентному просторі. Зображення отримано з матеріалів на https://www.youtube.com/watch?v=dCKbRCUyop8

Можливість «заморозити» та захистити особливості особи під час їхнього переміщення у трансформаційні кодування в іншому місці латентного простору потенційно дозволяє створити консистентну (і навіть анімовану) особу, яку системи розпізнають як іншу особу.

Метод

Автор використав два набори даних для експериментів: набір зображень людини, який складається з 310 зображень її особи протягом чотирьох років, з різними умовами освітлення, віком та кутами огляду, а також набір FairFace, який містить 108 501 зображень різних осіб.

Локальна система перевірки особи була створена на основі базової реалізації FaceNet та DeepFace, попередньо тренованої на ConvNet Inception, з кожним зображенням, представленим 128-мірним вектором.

Підхід використовує зображення особи з тренувального підмножини FairFace. Для успішної перевірки особи розрахований відстань, викликаний нормою Фробеніуса зображення, відстежується проти цільової особи у базі даних. Будь-яке зображення з відстанню менше 0,7 вважається однією особою, інакше перевірка вважається невдалою.

Модель StyleGAN була дофільтрована на особистому наборі даних автора, в результаті чого було створено модель, яка генерує визначені варіації її особи, хоча жодне з цих згенерованих зображень не було ідентичним тренувальним даним. Це було досягнуто шляхом «заморожування» перших чотирьох шарів у дискримінаторі, щоб уникнути переобучення даних та отримати різноманітний вивід.

Хоча різноманітні зображення були отримані за допомогою базової моделі StyleGAN, низька роздільна здатність та відтворюваність спонукали до другої спроби з використанням StarGAN V2, який дозволяє тренувати зображення-джерела до цільової особи.

Модель StarGAN V2 була попередньо тренована протягом приблизно 10 годин за допомогою набору валідації FairFace, з розміром партії чотири та розміром валідації вісім. У найбільш успішному підході особистий набір даних автора був використаний як джерело з тренувальними даними як посилання.

Експерименти з перевіркою

Модель перевірки особи була створена на основі підмножини з 1000 зображень, з метою перевірки довільного зображення з цього набору. Зображення, які успішно пройшли перевірку, були згодом протестовані проти власної особи автора.

Зліва, автор статті, справжнє фото; посередині, довільне зображення, яке не пройшло перевірку; справа, незвідане зображення з набору даних, яке пройшло перевірку як особа автора.

Мета експериментів полягала у створенні якомога більшої відстані між сприйманою візуальною особою, зберігаючи при цьому визначальні особливості цільової особи. Це було оцінено за допомогою метрики Махаланобіса, яка використовується в обробці зображень для пошуку шаблонів та шаблонів.

Для базової генеративної моделі низькорозмірні результати демонструють обмежену різноманітність, незважаючи на успішне проходження локальної перевірки особи. StarGAN V2 продемонстрував більшу здатність створювати різноманітні зображення, які могли би автентифікуватися.

Усі зображення, показані вище, пройшли локальну перевірку особи. Наверху — низькорозмірні згенеровані зображення, створені за допомогою базової моделі StyleGAN, внизу — високорозмірні та якісні згенеровані зображення, створені за допомогою StarGAN V2.

Останні три зображення, показані вище, використовували особистий набір даних автора як джерело та посилання, тоді як попередні зображення використовували тренувальні дані як посилання та особистий набір даних автора як джерело.

Згенеровані зображення були протестовані проти систем перевірки особи додатків Bumble та Tinder, з особою автора як базовою, та пройшли перевірку. «Чоловіча» генерація особи автора також пройшла перевірку особи у Bumble, хоча освітлення у згенерованому зображенні мало бути調лено перед тим, як воно було прийнято. Tinder не прийняв «чоловічу» версію.

«Чоловічі» версії особи автора (жінки).

Висновок

Ці експерименти є семінальними у сфері проєкції особи, у контексті маніпуляції латентним простором GAN, яка залишається надзвичайною проблемою у синтезі зображень та дослідженні deepfake. Тим не менш, ця робота відкриває концепцію вкладення високоспецифічних особливостей у різноманітні особи, а також створення «альтернативних» осіб, які «читаються» як хтось інший.

Опубліковано вперше 30 березня 2022 року.