Vérification faciale « créative » avec des réseaux antagonistes génératifs

Un nouvel article de l'Université de Stanford a proposé une méthode naissante pour tromper les systèmes d'authentification faciale sur des plates-formes telles que les applications de rencontres, en utilisant un Réseau d'adversaire génératif (GAN) pour créer des images de visage alternatives contenant les mêmes informations d'identification essentielles qu'un vrai visage.

La méthode a contourné avec succès les processus de vérification faciale sur les applications de rencontres Tinder et Bumble, dans un cas faisant même passer un visage (masculin) échangé entre les sexes comme authentique par rapport à l'identité source (féminine).

Différentes identités générées qui présentent l'encodage spécifique de l'auteur de l'article (présenté dans la première image ci-dessus). Source : https://arxiv.org/pdf/2203.15068.pdf

Selon l'auteur, le travail représente la première tentative de contourner la vérification faciale avec l'utilisation d'images générées qui ont été imprégnées de traits d'identité spécifiques, mais qui tentent de représenter une identité alternative ou substantiellement modifiée.

La technique a été testée sur un système de vérification faciale local personnalisé, puis a bien fonctionné dans des tests de boîte noire contre deux applications de rencontres qui effectuent une vérification faciale sur des images téléchargées par l'utilisateur.

Le nouveau système d’ papier est intitulé Contournement de la vérification faciale, et vient de Sanjana Sarda, chercheuse au Département de génie électrique de l'Université de Stanford.

Contrôle de l'espace du visage

Bien que « l'injection » de caractéristiques spécifiques à l'ID (c'est-à-dire à partir de visages, panneaux routiers, etc.) en images conçues est un élément essentiel de attaques accusatoires, la nouvelle étude suggère quelque chose de différent : que le secteur de la recherche capacité croissante à des bactéries l'espace latent des GAN permettra à terme le développement d'architectures capables de créer cohérent des identités alternatives à celle d'un utilisateur – et, de fait, permettre l'extraction de caractéristiques d'identité à partir d'images disponibles sur le Web d'un utilisateur sans méfiance pour les coopter dans une identité « fantôme » conçue.

La cohérence et la navigabilité constituent les principaux défis liés à l'espace latent du GAN depuis l'avènement des réseaux antagonistes génératifs. Un GAN ayant assimilé avec succès un ensemble d'images d'entraînement dans son espace latent ne fournit aucune carte simple permettant de « pousser » des caractéristiques d'une classe à une autre.

Alors que des techniques et des outils tels que le mappage d'activation de classe pondéré par gradient (Diplômé-CAM) peut aider à établir directions latentes entre les classes établies, et permettre des transformations (voir image ci-dessous), le défi supplémentaire de enchevêtrement il s'agit généralement d'un voyage « approximatif », avec un contrôle précis limité de la transition.

Un voyage difficile entre des vecteurs codés dans l'espace latent d'un GAN, poussant une identité masculine dérivée des données dans les codages « féminins » de l'autre côté de l'un des nombreux hyperplans linéaires de l'espace latent complexe et mystérieux. Image dérivée du matériel sur https://www.youtube.com/watch?v=dCKbRCUyop8

La capacité de « geler » et de protéger les caractéristiques spécifiques à l’identité tout en les déplaçant dans des codages transformateurs ailleurs dans l’espace latent permet potentiellement de créer un individu cohérent (et même animable) dont l’identité est lue par les systèmes machines comme celle de quelqu’un d’autre.

Méthode

L'auteur a utilisé deux ensembles de données comme base d'expériences : un ensemble de données d'utilisateur humain composé de 310 images de son visage couvrant une période de quatre ans, avec un éclairage, un âge et des angles de vue variables), avec des visages recadrés extraits via Caffe; et les 108,501 XNUMX images racialement équilibrées dans le Visage juste ensemble de données, extrait et recadré de la même manière.

Le modèle local de vérification faciale a été dérivé d'une implémentation de base de FaceNet et Visage profond, pré-formé sur Création de ConvNet, chaque image étant représentée par un vecteur à 128 dimensions.

Cette approche utilise des images faciales issues d'un sous-ensemble entraîné de FairFace. Pour réussir la vérification faciale, la distance calculée causée par la distance d'une image Norme de Frobenius est décalé par rapport à l'utilisateur cible dans la base de données. Toute image sous le seuil de 0.7 équivaut à la même identité, sinon la vérification est considérée comme ayant échoué.

Un modèle StyleGAN a été affiné à partir des données personnelles de l'auteure, produisant un modèle capable de générer des variations reconnaissables de son identité, bien qu'aucune de ces images générées ne soit identique aux données d'entraînement. Ce résultat a été obtenu en Se figer les quatre premières couches du discriminateur, pour éviter le surajustement des données et produire une sortie panachée.

Bien que diverses images aient été obtenues avec le modèle de base StyleGAN, la faible résolution et la fidélité ont incité une deuxième tentative avec StarGAN V2, qui permet la formation d'images de départ vers un visage cible.

Le modèle StarGAN V2 a été pré-entraîné pendant environ 10 heures à l'aide de l'ensemble de validation FairFace, sur une taille de lot de quatre et une taille de validation de 8. Dans l'approche la plus réussie, l'ensemble de données personnelles de l'auteur a été utilisé comme source avec les données de formation comme référence.

Expériences de vérification

Un modèle de vérification faciale a été construit à partir d'un sous-ensemble de 1000 XNUMX images, dans le but de vérifier une image arbitraire de l'ensemble. Les images ayant passé avec succès la vérification ont ensuite été testées par rapport à l'identité de l'auteur.

À gauche, l'auteur de l'article, une vraie photo ; au milieu, une image arbitraire qui a échoué à la vérification ; à droite, une image sans rapport avec l'ensemble de données qui a réussi la vérification en tant qu'auteur.

L'objectif des expérimentations était de créer un écart aussi large que possible entre l'identité visuelle perçue tout en conservant les traits caractéristiques de l'identité cible. Cela a été évalué avec Distance de Mahalanobis, une métrique utilisée dans le traitement d'image pour la recherche de motifs et de modèles.

Pour le modèle génératif de base, les résultats à basse résolution obtenus affichent une diversité limitée, malgré le passage de la vérification faciale locale. StarGAN V2 s'est avéré plus capable de créer diverses images capables de s'authentifier.

Toutes les images représentées ont passé la vérification faciale locale. Ci-dessus se trouvent les générations de base StyleGAN basse résolution, ci-dessous, les générations StarGAN V2 de haute résolution et de meilleure qualité.

Les trois dernières images illustrées ci-dessus utilisaient l'ensemble de données faciales de l'auteur comme source et référence, tandis que les images précédentes utilisaient les données d'entraînement comme référence et l'ensemble de données de l'auteur comme source.

Les images générées ont été testées avec les systèmes de vérification faciale des applications de rencontre Bumble et Tinder, en prenant comme référence l'identité de l'auteur, et ont passé avec succès la vérification. Une version « masculine » du visage de l'auteur a également passé avec succès le processus de vérification de Bumble, mais l'éclairage a dû être ajusté sur l'image générée avant son acceptation. Tinder n'a pas accepté la version masculine.

Versions « masculines » de l'identité (féminine) de l'auteur.

Conclusion

Il s'agit d'expériences fondamentales en matière de projection identitaire, dans le contexte de la manipulation de l'espace latent GAN, qui demeure un défi majeur en synthèse d'images et en recherche sur les deepfakes. Néanmoins, ces travaux ouvrent la voie à l'intégration cohérente de caractéristiques très spécifiques dans diverses identités et à la création d'identités « alternatives » qui « se lisent » comme quelqu'un d'autre.

Première publication le 30 mars 2022.