Погляд Anderson
‘Креативна’ перевірка особи з використанням генеративно-антагоністичних мереж

Ключові моментиМетод GAN від Стенфорда обійшов перевірку обличчя в Tinder та Bumble за допомогою…
Показати більше
- Метод GAN від Стенфорда обійшов перевірку обличчя в Tinder та Bumble за допомогою зображень зі зміненою статтю.
- StarGAN V2 генерував різноманітні обличчя вищої якості, які краще проходили локальну верифікацію, ніж StyleGAN.
- Техніка впроваджує ознаки ідентичності в змінені обличчя, що дозволяє створювати узгоджені альтернативні особи для систем автентифікації.
Нова робота науковців із Стенфордського університету пропонує новий метод обману систем автентифікації особи на платформах, таких як додатки для знайомств, за допомогою використання генеративно-антагоністичної мережі (GAN) для створення альтернативних зображень особи, які містять ту саму суттєву інформацію про особу, що й справжнє зображення.
Цей метод успішно обманув системи перевірки особи на додатках для знайомств Tinder і Bumble, в одному випадку навіть дозволивши обличчю, зміненому на чоловіче, пройти перевірку як справжнє для вихідної жіночої ідентичності.

Різні згенеровані особи, які містять специфічну інформацію про авторки статті (зображення зверху). Джерело: https://arxiv.org/pdf/2203.15068.pdf
За словами авторки, ця робота є першою спробою обманути системи перевірки особи за допомогою згенерованих зображень, які містять специфічні особливості особи, але намагаються видати за іншу особу.
Цей метод був перевірений на локальній системі перевірки особи та успішно пройшов тести методом чорної скриньки проти двох додатків для знайомств, які виконують перевірку особи на зображеннях, завантажених користувачами.
Нова робота має назву Обман системи перевірки особи і була написана Санжаною Сардою, дослідницею відділу електротехніки Стенфордського університету.
Контроль простору особи
Хоча «введення» ознак, специфічних для ідентичності (наприклад, із облич, дорожніх знаків тощо), у спеціально створені зображення є типовим для змагальних атак, нова робота вказує на іншу можливість. Зростання здатності дослідників контролювати латентний простір GAN зрештою може уможливити архітектури, що створюють узгоджені альтернативні ідентичності користувача. Це також дозволить виділяти ознаки ідентичності з доступних у мережі фотографій користувача, який нічого не підозрює, для використання у штучній «тіньовій» ідентичності.
Основними проблемами щодо латентного простору GAN є забезпечення консистентності та навігації. GAN, який успішно асимілював колекцію тренувальних зображень у свій латентний простір, не забезпечує легкого способу «перемістити» особливості з однієї категорії в іншу.
Хоча методи й інструменти, як-от зважене за градієнтом відображення активації класів (Grad-CAM), можуть допомогти встановити латентні напрямки між визначеними класами та уможливити перетворення (див. зображення нижче), додаткова проблема переплетення ознак зазвичай робить такий перехід лише приблизним і обмежує його точне регулювання.

Приблизиме пересування між закодованими векторами у латентному просторі GAN, яке «переміщує» чоловічу особу у «жіночі» кодування на іншій стороні одного з багатьох лінійних гіперплощин у складному та загадковому латентному просторі. Зображення отримано з матеріалів на https://www.youtube.com/watch?v=dCKbRCUyop8
Можливість «заморозити» та захистити особливості особи під час їхнього переміщення у трансформаційні кодування в іншому місці латентного простору потенційно дозволяє створити консистентну (і навіть анімовану) особу, яку системи розпізнають як іншу особу.
Метод
Авторка використала два набори даних: набір користувача-людини з 310 зображень її обличчя за чотири роки, за різного освітлення, віку та ракурсів; обличчя було виділено й обрізано за допомогою Caffe. Другим був расово збалансований набір FairFace зі 108 501 зображенням, з якого обличчя так само виділили й обрізали.
Локальна система перевірки особи була створена на основі базової реалізації FaceNet та DeepFace, попередньо навченої на ConvNet Inception, з кожним зображенням, представленим 128-мірним вектором.
Підхід використовує зображення особи з навчальної підмножини FairFace. Для успішної перевірки особи відстань, обчислена за допомогою норми Фробеніуса зображення, порівнюється з цільовим користувачем у базі даних. Будь-яке зображення з відстанню менше 0,7 вважається однією особою, інакше перевірка вважається невдалою.
Модель StyleGAN була донавчена на особистому наборі даних авторки, в результаті чого було створено модель, яка генерує визначені варіації її особи, хоча жодне з цих згенерованих зображень не було ідентичним тренувальним даним. Це було досягнуто шляхом «заморожування» перших чотирьох шарів у дискримінаторі, щоб уникнути переобучення даних та отримати різноманітний вивід.
Хоча різноманітні зображення були отримані за допомогою базової моделі StyleGAN, низька роздільна здатність та обмежена точність відтворення спонукали до другої спроби з використанням StarGAN V2, який дозволяє тренувати зображення-джерела до цільової особи.
Модель StarGAN V2 була попередньо тренована протягом приблизно 10 годин за допомогою набору валідації FairFace, з розміром партії чотири та розміром валідації вісім. У найбільш успішному підході особистий набір даних авторки був використаний як джерело з тренувальними даними як посилання.
Експерименти з перевіркою
Модель перевірки особи була створена на основі підмножини з 1000 зображень, з метою перевірки довільного зображення з цього набору. Зображення, які успішно пройшли перевірку, були згодом протестовані проти власної особи авторки.

Зліва, авторка статті, справжнє фото; посередині, довільне зображення, яке не пройшло перевірку; справа, незвідане зображення з набору даних, яке пройшло перевірку як особа авторки.
Мета експериментів полягала у створенні якомога більшої відстані між сприйманою візуальною особою, зберігаючи при цьому визначальні особливості цільової особи. Це було оцінено за допомогою відстані Махаланобіса, яка використовується в обробці зображень для пошуку візерунків і шаблонів.
Для базової генеративної моделі низькороздільні результати демонструють обмежену різноманітність, незважаючи на успішне проходження локальної перевірки особи. StarGAN V2 продемонстрував більшу здатність створювати різноманітні зображення, які могли би автентифікуватися.

Усі зображення, показані вище, пройшли локальну перевірку особи. Наверху — низькороздільні згенеровані зображення, створені за допомогою базової моделі StyleGAN, внизу — високороздільні та якісні згенеровані зображення, створені за допомогою StarGAN V2.
Останні три зображення, показані вище, використовували особистий набір даних авторки як джерело та посилання, тоді як попередні зображення використовували тренувальні дані як посилання та особистий набір даних авторки як джерело.
Згенеровані зображення були протестовані проти систем перевірки особи додатків Bumble та Tinder, з особою авторки як базовою, та пройшли перевірку. «Чоловіча» генерація особи авторки також пройшла перевірку особи у Bumble, хоча освітлення у згенерованому зображенні мало бути відрегульоване перед тим, як воно було прийнято. Tinder не прийняв «чоловічу» версію.

«Чоловічі» версії особи авторки (жінки).
Висновок
Ці експерименти є новаторськими у сфері проєкції особи, у контексті маніпуляції латентним простором GAN, яка залишається надзвичайною проблемою у синтезі зображень та дослідженні deepfake. Тим не менш, ця робота відкриває концепцію вкладення високоспецифічних особливостей у різноманітні особи, а також створення «альтернативних» осіб, які «читаються» як хтось інший.
Опубліковано вперше 30 березня 2022 року.












