GOTCHA – Un système de CAPTCHA pour les deepfakes en temps réel

De nouvelles recherches de l’Université de New York ajoutent aux indications croissantes que nous devrons peut-être bientôt passer l’équivalent d’un “test d’ivresse” pour nous authentifier avant de commencer une vidéoconférence sensible, telle qu’une visioconférence liée au travail ou tout autre scénario sensible qui pourrait attirer les fraudeurs utilisant des logiciels de streaming de deepfakes en temps réel.

Quelques-uns des défis actifs et passifs appliqués aux scénarios de vidéoconférence dans GOTCHA. L’utilisateur doit se conformer et passer les défis, tandis que des méthodes ‘passives’ supplémentaires (telles que la tentative de surcharger un système de deepfake potentiel) sont utilisées sur lesquelles le participant n’a aucune influence. Source: http://export.arxiv.org/pdf/2210.06186

Le système proposé s’appelle GOTCHA – un hommage aux systèmes CAPTCHA qui sont devenus un obstacle de plus en plus important pour la navigation sur le Web au cours des 10-15 dernières années, dans lesquels les systèmes automatisés exigent que l’utilisateur effectue des tâches que les machines sont mauvaises, telles que l’identification d’animaux ou la déchiffrement de texte déformé (et, ironiquement, ces défis transforment souvent l’utilisateur en un annotateur externe gratuit de type AMT).

En substance, GOTCHA prolonge le document de août 2022 DF-Captcha de l’Université Ben-Gourion, qui était le premier à proposer de faire sauter l’utilisateur à l’autre bout de l’appel à travers quelques cercles visuellement sémantiques pour prouver son authenticité.

Le document d’août 2022 de l’Université Ben Gourion a proposé pour la première fois une série de tests interactifs pour un utilisateur, notamment l’occultation de son visage ou même la dépression de sa peau – des tâches que même les systèmes de deepfakes en temps réel bien formés peuvent ne pas avoir anticipées ou être capables de gérer de manière photoréaliste. Source: https://arxiv.org/pdf/2208.08524.pdf

Notamment, GOTCHA ajoute des méthodologies ‘passives’ à une ‘cascades’ de tests proposés, notamment la superposition automatique d’éléments irréels sur le visage de l’utilisateur et la ‘surchage’ des trames qui passent par le système source. Cependant, seules les tâches réactives de l’utilisateur peuvent être évaluées sans autorisations spéciales pour accéder au système local de l’utilisateur – qui, selon toute vraisemblance, prendrait la forme de modules ou d’extensions locaux pour des systèmes populaires tels que Skype et Zoom, ou même sous la forme de logiciels propriétaires dédiés spécifiquement à l’élimination des imposteurs.

De l’article, une illustration de l’interaction entre l’appelant et le système dans GOTCHA, avec des lignes pointillées comme flux de décision.

Les chercheurs ont validé le système sur un nouveau jeu de données contenant plus de 2,5 millions de trames vidéo provenant de 47 participants, chacun réalisant 13 défis de GOTCHA. Ils affirment que le cadre induit une ‘réduction cohérente et mesurable’ de la qualité du contenu de deepfake pour les utilisateurs frauduleux, en sollicitant le système local jusqu’à ce que des artefacts évidents rendent la supercherie claire pour l’œil humain nu (bien que GOTCHA contienne également certaines méthodes d’analyse algorithmique plus subtiles).

Le nouvel article s’intitule Gotcha: Un système de réponse aux défis pour la détection de deepfakes en temps réel (le nom du système est capitalisé dans le corps mais pas dans le titre de la publication, bien qu’il ne s’agisse pas d’un acronyme).

Une gamme de défis

La plupart du temps, en accord avec le document de Ben Gourion, les défis réels auxquels l’utilisateur est confronté sont divisés en plusieurs types de tâches.

Pour l’occultation, l’utilisateur est invité à cacher son visage avec sa main ou avec d’autres objets, ou à présenter son visage sous un angle qui n’est pas susceptible d’avoir été formé dans un modèle de deepfake (généralement en raison d’un manque de données de formation pour les ‘poses étranges’ – voir la série d’images dans la première illustration ci-dessus).

Outre les actions que l’utilisateur peut effectuer lui-même conformément aux instructions, GOTCHA peut superposer des coupures de visage aléatoires, des autocollants et des filtres de réalité augmentée, afin de ‘corrompre’ le flux de visage que un modèle de deepfake formé localement peut s’attendre, le faisant échouer. Comme indiqué précédemment, bien que ce soit un processus ‘passif’ pour l’utilisateur, il s’agit d’un processus intrusif pour le logiciel, qui doit être en mesure d’intervenir directement dans le flux de l’interlocuteur.

Ensuite, l’utilisateur peut être invité à adopter des expressions faciales inhabituelles qui sont susceptibles d’être absentes ou sous-représentées dans tout jeu de données de formation, provoquant une baisse de qualité de la sortie de deepfake (image ‘b’, deuxième colonne à partir de la gauche, dans la première illustration ci-dessus).

Dans le cadre de cette série de tests, l’utilisateur peut être invité à lire du texte ou à engager une conversation qui vise à défier un système de deepfake en temps réel local, qui n’a peut-être pas formé une gamme adéquate de phonèmes ou d’autres types de données de bouche pour être en mesure de reconstruire des mouvements de lèvres précis sous un tel examen.

Enfin (et cela semble défier les talents d’acteur de l’interlocuteur), dans cette catégorie, l’utilisateur peut être invité à effectuer une ‘micro-expression’ – une expression faciale courte et involontaire qui trahit une émotion. De cela, l’article dit ‘[cela] dure généralement 0,5-4,0 secondes, et il est difficile de le simuler’.

Bien que l’article ne décrit pas comment extraire une micro-expression, la logique suggère que la seule façon de le faire est de créer une émotion appropriée chez l’utilisateur final, peut-être avec un contenu dérangeant présenté à l’utilisateur dans le cadre de la routine du test.

Distorsion faciale, éclairage et invités inattendus

En outre, conformément aux suggestions du document d’août, le nouveau travail propose de demander à l’utilisateur final de réaliser des distorsions faciales inhabituelles et des manipulations, telles que presser son doigt dans sa joue, interagir avec son visage et/ou ses cheveux, et effectuer d’autres mouvements que aucun système de deepfake en temps réel actuel ne peut gérer correctement, car il s’agit d’actions marginales – même s’ils étaient présents dans le jeu de données de formation, leur reproduction serait probablement de mauvaise qualité, conformément à d’autres données ‘anormales’.

Un sourire, mais ce ‘visage déprimé’ n’est pas traduit correctement par un système de deepfake en temps réel local.

Un défi supplémentaire réside dans le changement des conditions d’éclairage dans lesquelles l’utilisateur final se trouve, car il est possible que la formation d’un modèle de deepfake ait été optimisée pour des situations d’éclairage standard de vidéoconférence, ou même les conditions d’éclairage exactes dans lesquelles l’appel a lieu.

Ainsi, l’utilisateur peut être invité à diriger le projecteur de son téléphone portable sur son visage, ou à modifier d’une autre manière l’éclairage (et il vaut la peine de noter que cette approche est la proposition centrale d’un autre article de détection de deepfake en temps réel qui est sorti cet été).

Les systèmes de deepfake en temps réel sont confrontés à des éclairages inattendus – et même à plusieurs personnes dans le flux, où il s’attendait à une seule personne.

Dans le cas où le système proposé a la capacité d’intervenir dans le flux de l’utilisateur local (soupçonné d’héberger un intermédiaire de deepfake), l’ajout de motifs inattendus (voir la colonne du milieu dans l’image ci-dessus) peut compromettre la capacité de l’algorithme de deepfake à maintenir une simulation.

En outre, bien qu’il soit irrationnel de s’attendre à ce qu’un correspondant ait d’autres personnes à portée de main pour l’aider à s’authentifier, le système peut interposer des visages supplémentaires (image la plus à droite ci-dessus), et voir si tout système de deepfake local fait l’erreur de changer d’attention – ou même d’essayer de créer un deepfake pour tous (les systèmes de deepfake à auto-encodeur n’ont aucune capacité de reconnaissance d’identité qui pourrait maintenir l’attention sur un individu dans ce scénario).

Stéganographie et surcharge

GOTCHA intègre également une approche proposée pour la première fois par l’UC San Diego en avril de cette année, et qui utilise la stéganographie pour crypter un message dans le flux de vidéo de l’utilisateur. Les routines de deepfake détruiront complètement ce message, conduisant à une défaillance d’authentification.

D’un article d’avril 2022 de l’Université de Californie à San Diego et de l’Université d’État de San Diego, une méthode de détermination de l’identité authentique en vérifiant si un signal stéganographique envoyé dans le flux de vidéo de l’utilisateur survit à la boucle locale intact – si ce n’est pas le cas, des manigances de deepfake peuvent être en cours. Source: https://arxiv.org/pdf/2204.01960.pdf

En outre, GOTCHA est capable de surcharger le système local (étant donné l’accès et les autorisations), en dupliquant un flux et en présentant des ‘données excessives’ à tout système local, conçu pour causer une défaillance de réplication dans un système de deepfake local.

Le système contient d’autres tests (voir l’article pour plus de détails), notamment un défi, dans le cas d’un correspondant basé sur un téléphone portable, de retourner son téléphone à l’envers, ce qui déformerait un système de deepfake local:

Encore une fois, ce type de chose ne fonctionnerait que dans un cas d’utilisation convaincant, où l’utilisateur est forcé de donner accès local au flux, et ne peut pas être mis en œuvre par une simple évaluation passive de la vidéo de l’utilisateur, contrairement aux tests interactifs (tels que presser un doigt dans son visage).

Pratique

L’article aborde brièvement la mesure dans laquelle des tests de cette nature peuvent ennuyer l’utilisateur final, ou le gêner d’une autre manière – par exemple, en obligeant l’utilisateur à avoir à portée de main un certain nombre d’objets qui peuvent être nécessaires pour les tests, tels que des lunettes de soleil.

Il reconnaît également qu’il peut être difficile d’obtenir que des correspondants puissants se conforment aux routines de test. En ce qui concerne le cas d’une vidéoconférence avec un PDG, les auteurs déclarent:

‘L’utilisabilité peut être clé ici, les défis informels ou frivoles (tels que les distorsions faciales ou les expressions) peuvent ne pas être appropriés. Les défis utilisant des articles physiques externes peuvent ne pas être souhaitables. Le contexte ici est modifié en conséquence et GOTCHA adapte son ensemble de défis en conséquence.’

Données et tests

GOTCHA a été testé contre quatre souches de systèmes de deepfake en temps réel locaux, notamment deux variantes du créateur de deepfakes à auto-encodeur très populaire DeepFaceLab (‘DFL’, bien que, de manière surprenante, l’article ne mentionne pas DeepFaceLive, qui a été, depuis août 2021, la mise en œuvre ‘en temps réel’ de DeepFaceLab, et semble la ressource la plus probable pour un potentiel faussaire).

Les quatre systèmes étaient DFL formés ‘légèrement’ sur une personne non célèbre participant aux tests, et une célébrité jumelée ; DFL formés plus complètement, à 2 millions d’itérations ou d’étapes, dans lesquelles on s’attendrait à un modèle beaucoup plus performant ; Latent Image Animator (LIA) ; et Face Swapping Generative Adversarial Network (FSGAN).

Pour les données, les chercheurs ont capturé et mis en œuvre les clips vidéo mentionnés, présentant 47 utilisateurs réalisant 13 défis actifs, avec chaque utilisateur produisant environ 5-6 minutes de vidéo 1080p à 60 fps. Les auteurs déclarent également que ces données seront finalement rendues publiques.

La détection d’anomalie peut être effectuée soit par un observateur humain, soit de manière algorithmique. Pour la deuxième option, le système a été formé sur 600 visages du jeu de données FaceForensics. La fonction de perte de régression était la puissante Similarité d’Image de Patch d’Apprentissage Perceptuel (LPIPS), tandis que l’entropie croisée binaire a été utilisée pour former le classificateur. EigenCam a été utilisé pour visualiser les poids du détecteur.

Résultats principaux des tests pour GOTCHA.

Les chercheurs ont constaté que pour la cascade complète de tests sur les quatre systèmes, le nombre et la gravité des anomalies (c’est-à-dire les artefacts qui révèlent la présence d’un système de deepfake) les plus faibles ont été obtenus par la distribution DFL la plus formée. La version moins formée a particulièrement du mal à recréer des mouvements de lèvres complexes (qui occupent très peu du cadre, mais qui reçoivent une attention humaine élevée), tandis que FSGAN occupait le terrain intermédiaire entre les deux versions DFL, et LIA s’est avérée complètement inadéquate pour la tâche, les chercheurs opinant que LIA échouerait dans un déploiement réel.

Publié pour la première fois le 17 octobre 2022.