Les deepfakes peuvent tromper efficacement de nombreuses API majeures de “liveness” faciale

Une nouvelle collaboration de recherche entre les États-Unis et la Chine a étudié la vulnérabilité aux deepfakes de certains des plus grands systèmes d’authentification basés sur le visage dans le monde et a constaté que la plupart d’entre eux sont vulnérables aux formes de deepfake en développement et émergentes.

La recherche a mené des intrusions basées sur des deepfakes à l’aide d’un cadre personnalisé déployé contre les systèmes de vérification de l’authenticité faciale (FLV) couramment fournis par les principaux fournisseurs et vendus en tant que service à des clients en aval tels que les compagnies aériennes et les sociétés d’assurance.

À partir du document, une vue d’ensemble du fonctionnement des API de vérification de l’authenticité faciale (FLV) auprès des principaux fournisseurs. Source: https://arxiv.org/pdf/2202.10673.pdf

L’authenticité faciale est destinée à repousser l’utilisation de techniques telles que les attaques d’images adverses, l’utilisation de masques et de vidéos préenregistrées, ainsi que d’autres formes de clonage d’identité visuelle.

L’étude conclut que le nombre limité de modules de détection de deepfakes déployés dans ces systèmes, qui servent des millions de clients, est loin d’être infaillible et peut avoir été configuré pour des techniques de deepfake qui sont maintenant obsolètes ou peuvent être spécifiques à l’architecture.

Les auteurs notent:

‘[Différentes] méthodes de deepfake montrent des variations entre les différents fournisseurs… Sans accès aux détails techniques des fournisseurs de FLV ciblés, nous spéculons que ces variations sont attribuées aux mesures de défense déployées par les différents fournisseurs. Par exemple, certains fournisseurs peuvent déployer des défenses contre des attaques de deepfake spécifiques.’

Et continue:

‘[La plupart] des API de FLV n’utilisent pas de détection anti-deepfake; même pour celles qui disposent de telles défenses, leur efficacité est préoccupante (par exemple, elles peuvent détecter des vidéos synthétisées de haute qualité mais échouer à détecter des vidéos de basse qualité).’

Les chercheurs observent, à cet égard, que ‘l’authenticité’ est relative:

‘[Même] si une vidéo synthétisée est irréelle pour les humains, elle peut toujours contourner le mécanisme de détection anti-deepfake actuel avec un taux de réussite très élevé.’

Au-dessus, des images de deepfake qui ont pu s’authentifier dans les expériences des auteurs. En dessous, des images de deepfake apparemment plus réalistes qui ont échoué à l’authentification.

Une autre constatation a été que la configuration actuelle des systèmes de vérification faciale génériques est biaisée en faveur des hommes blancs. Par conséquent, les identités féminines et non blanches ont été trouvées plus efficaces pour contourner les systèmes de vérification, mettant les clients de ces catégories à un plus grand risque de violation via des techniques basées sur les deepfakes.

Le rapport constate que les identités masculines blanches sont les plus rigoureusement et précisément évaluées par les API de vérification de l’authenticité faciale populaires. Dans le tableau ci-dessus, on voit que les identités féminines et non blanches peuvent être plus facilement utilisées pour contourner les systèmes.

Le document observe que ‘il existe des biais dans [la vérification de l’authenticité faciale], qui peuvent présenter des risques de sécurité importants pour un groupe particulier de personnes.’

Les auteurs ont également mené des attaques d’authentification faciale éthiques contre un gouvernement chinois, une grande compagnie aérienne chinoise, l’une des plus grandes sociétés d’assurance-vie en Chine et R360, l’un des plus grands groupes d’investissement en licorne au monde, et rapportent avoir réussi à contourner l’utilisation en aval de ces organisations des API étudiées.

Dans le cas d’une authentification réussie pour la compagnie aérienne chinoise, l’API en aval a exigé que l’utilisateur ‘secoue la tête’ comme preuve contre le matériel de deepfake potentiel, mais cela s’est avéré inefficace contre le cadre conçu par les chercheurs, qui intègre six architectures de deepfake.

Malgré l’évaluation de la compagnie aérienne de la secousse de tête de l’utilisateur, le contenu de deepfake a pu passer le test.

Le document note que les auteurs ont contacté les fournisseurs impliqués, qui ont apparemment reconnu le travail.

Les auteurs proposent une série de recommandations pour améliorer l’état actuel de l’art en matière de FLV, notamment l’abandon de l’authentification basée sur une seule image (‘Image-based FLV’), où l’authentification est basée sur une seule trame d’une vidéo de l’utilisateur; une mise à jour plus flexible et complète des systèmes de détection de deepfake dans les domaines de l’image et de la voix; l’imposition de la nécessité que l’authentification vocale dans la vidéo de l’utilisateur soit synchronisée avec les mouvements des lèvres (ce qui n’est pas le cas actuellement); et l’exigence que les utilisateurs effectuent des gestes et des mouvements qui sont actuellement difficiles pour les systèmes de deepfake à reproduire (par exemple, vues de profil et obstruction partielle du visage).

Le document est intitulé Seeing is Living? Rethinking the Security of Facial Liveness Verification in the Deepfake Era, et provient de co-auteurs principaux Changjiang Li et Li Wang, ainsi que de cinq autres auteurs de l’Université d’État de Pennsylvanie, de l’Université de Zhejiang et de l’Université de Shandong.

Les cibles principales

Les chercheurs ont ciblé les ‘six plus représentatifs’ fournisseurs de vérification de l’authenticité faciale (FLV), qui ont été anonymisés avec des cryptonymes dans la recherche.

Les fournisseurs sont représentés ainsi: ‘BD’ et ‘TC’ représentent un fournisseur de congrégation avec le plus grand nombre d’appels d’API liés au visage et la plus grande part des services de cloud AI en Chine; ‘HW’ est ‘l’un des fournisseurs avec le plus grand marché public de cloud chinois’; ‘CW’ a le taux de croissance le plus rapide dans la vision par ordinateur et atteint une position de leader sur le marché; ‘ST’ est parmi les plus grands fournisseurs de vision par ordinateur; et ‘iFT’ compte parmi les plus grands fournisseurs de logiciels d’IA en Chine.

Données et architecture

Les données sous-jacentes alimentant le projet comprennent un ensemble de données de 625 537 images de l’initiative chinoise CelebA-Spoof, ainsi que des vidéos en direct de l’ensemble de données SiW-M 2019 de l’Université d’État du Michigan.

Toutes les expériences ont été menées sur un serveur équipé de deux processeurs Intel Xeon E5-2640 v4 à 2,40 GHz exécutant 256 Go de RAM avec un disque dur de 4 To et quatre GPU NVIDIA 1080Ti orchestrés, pour un total de 44 Go de VRAM opérationnel.

Six en un

Le cadre conçu par les auteurs du document est appelé LiveBugger, et intègre six cadres de deepfake d’état de l’art opposés aux quatre principales défenses des systèmes de FLV.

LiveBugger contient des approches de deepfake diverses et se concentre sur les quatre principaux vecteurs d’attaque des systèmes de FLV.

Les six cadres de deepfake utilisés sont: X2Face de l’Université d’Oxford en 2018; la collaboration universitaire américaine ICface; deux variations du projet israélien de 2019 FSGAN; le modèle de méthode de première ordre italien (FOMM) du début 2020; et la collaboration de recherche de l’Université de Pékin avec Microsoft FaceShifter (bien que FaceShifter ne soit pas open source, les auteurs aient dû le reconstruire en fonction des détails d’architecture publiés).

Les méthodes employées parmi ces cadres comprennent l’utilisation de vidéos prérendues dans lesquelles les sujets de la vidéo de contournement effectuent des actions routinières qui ont été extraites des exigences d’authentification de l’API dans un module d’évaluation antérieur de LiveBugger, ainsi que l’utilisation d’un ‘marionnettage de deepfake’ efficace, qui traduit les mouvements en direct d’un individu en un flux de deepfake inséré dans un flux de webcam coopté.

Un exemple de ce dernier est DeepFaceLive, qui a fait ses débuts l’été dernier comme un programme annexe au populaire DeepFaceLab, pour permettre le streaming de deepfake en temps réel, mais qui n’est pas inclus dans la recherche des auteurs.

Attaquer les quatre vecteurs

Les quatre vecteurs d’attaque dans un système FLV typique sont: l’authentification basée sur l’image, qui utilise une photo unique fournie par l’utilisateur comme jeton d’authentification contre une identité faciale enregistrée dans le système; l’authentification basée sur le silence, qui exige que l’utilisateur télécharge une vidéo; l’authentification basée sur l’action, qui exige que l’utilisateur effectue des actions dictées par la plateforme; et l’authentification basée sur la voix, qui correspond à la parole de l’utilisateur avec le modèle de parole du système pour l’utilisateur.

Le premier défi pour le système est d’établir dans quelle mesure une API divulguera ses exigences, puisque celles-ci peuvent alors être anticipées et prises en compte dans le processus de deepfake. Cela est géré par le moteur d’intelligence de LiveBugger, qui rassemble des informations sur les exigences à partir de la documentation API publiquement disponible et d’autres sources.

Puisque les exigences publiées peuvent être absentes (pour diverses raisons) des routines réelles de l’API, le moteur d’intelligence intègre une sonde qui rassemble des informations implicites basées sur les résultats d’appels d’API exploratoires. Dans le projet de recherche, cela a été facilité par des API de test officielles hors ligne fournies pour les développeurs et par des volontaires qui ont offert d’utiliser leurs propres comptes en direct pour les tests.

Le moteur d’intelligence recherche des preuves concernant l’utilisation actuelle par une API d’une approche particulière qui pourrait être utile dans les attaques. Les fonctionnalités de ce type peuvent inclure la détection de cohérence, qui vérifie si les trames d’une vidéo sont temporellement continues – une exigence qui peut être établie en envoyant des trames de vidéo mélangées et en observant si cela contribue à l’échec de l’authentification.

Le module recherche également la détection du langage des lèvres, où l’API peut vérifier si le son dans la vidéo est synchronisé avec les mouvements des lèvres de l’utilisateur (rarement le cas – voir ‘Résultats’ ci-dessous).

Résultats

Les auteurs ont constaté que les six API évaluées n’utilisaient pas de détection de cohérence au moment des expériences, permettant au moteur de deepfake de LiveBugger de simplement assembler de l’audio synthétisé avec de la vidéo de deepfake, basé sur du matériel fourni par des volontaires.

Cependant, certaines applications en aval (c’est-à-dire des clients de l’API) ont été trouvées avoir ajouté une détection de cohérence au processus, nécessitant la préenregistrement d’une vidéo conçue pour contourner cela.

De plus, seuls quelques fournisseurs d’API utilisent la détection du langage des lèvres; pour la plupart d’entre eux, la vidéo et l’audio sont analysés comme des quantités distinctes, et il n’y a pas de fonctionnalité qui tente de faire correspondre le mouvement des lèvres à l’audio fourni.

Résultats diversifiés couvrant la gamme de techniques de deepfake disponibles dans LiveBugger contre la variété de vecteurs d’attaque dans les API de FLV. Des nombres plus élevés indiquent un taux de réussite plus élevé dans la pénétration de la FLV en utilisant des techniques de deepfake. Pas toutes les API incluent toutes les défenses possibles pour la FLV; par exemple, plusieurs n’offrent aucune défense contre les deepfakes, tandis que d’autres ne vérifient pas que le mouvement des lèvres et l’audio correspondent dans la vidéo soumise par l’utilisateur pendant l’authentification.

Conclusion

Les résultats et les indications du document pour l’avenir des API de FLV sont complexes, et les auteurs les ont concaténés dans une ‘architecture de vulnérabilités’ fonctionnelle qui pourrait aider les développeurs de FLV à mieux comprendre certains des problèmes découverts.

Le réseau de recommandations du document concernant la susceptibilité existante et potentielle des routines d’identification vidéo basées sur le visage aux attaques de deepfake.

Les recommandations notent:

‘Les risques de sécurité de la FLV existent largement dans de nombreuses applications réelles et menacent ainsi la sécurité de millions d’utilisateurs finaux’

Les auteurs observent également que l’utilisation de l’authentification basée sur l’action est ‘marginale’, et que l’augmentation du nombre d’actions que les utilisateurs sont tenus de effectuer ‘ne peut apporter aucun gain de sécurité’.

De plus, les auteurs notent que la combinaison de la reconnaissance vocale et de la reconnaissance faciale temporelle (dans la vidéo) est une défense inutile, à moins que les fournisseurs d’API ne commencent à exiger que les mouvements des lèvres soient synchronisés avec l’audio.

Le document est publié à la lumière d’un avertissement récent du FBI aux entreprises sur les dangers de la fraude de deepfake, près d’un an après leur avertissement sur l’utilisation de la technologie dans les opérations d’influence étrangères, et des craintes générales que la technologie de deepfake en temps réel ne facilite une nouvelle vague de crimes contre un public qui fait encore confiance à la sécurité de l’authentification vidéo.

Ceci sont encore les premiers jours des deepfakes en tant que surface d’attaque d’authentification; en 2020, 35 millions de dollars ont été frauduleusement extraits d’une banque aux Émirats arabes unis en utilisant la technologie de deepfake audio, et un dirigeant britannique a également été trompé pour verser 243 000 dollars en 2019.

Publié pour la première fois le 23 février 2022.