Identifier les deepfakes de célébrités à partir de régions du visage externes

Une nouvelle collaboration entre Microsoft et une université chinoise a proposé une nouvelle méthode pour identifier les deepfakes de célébrités, en exploitant les limites des techniques de deepfake actuelles pour reconnaître les identités qui ont été « projetées » sur d’autres personnes.

L’approche est appelée Identity Consistency Transformer (ICT), et fonctionne en comparant les parties les plus externes du visage (mâchoire, pommettes, ligne de cheveux, etc.) à l’intérieur du visage. Le système exploite les données d’images publiques disponibles de personnes célèbres, ce qui limite son efficacité aux célébrités dont les images sont disponibles en grand nombre dans les jeux de données de vision par ordinateur et sur Internet.

La couverture de falsification des visages truqués à travers sept techniques: DeepFake in FF+; DeepFake in Google DeepFake Detection; DeepFaceLab; Face2Face; FSGAN; et DF-VAE. Les packages populaires tels que DeepFaceLab et FaceSwap fournissent une couverture similaire. Source: https://arxiv.org/pdf/2203.01318.pdf

Comme l’image ci-dessus l’illustre, les méthodes actuelles de deepfaking sont assez limitées en termes de ressources, et s’appuient sur des visages hôtes appropriés (l’image ou la vidéo d’une personne qui verra son identité remplacée par le deepfake) pour minimiser les preuves de substitution de visage.

Bien que les différentes méthodes puissent couvrir le front et une grande partie des zones de la mâchoire et des pommettes, toutes sont plus ou moins limitées à l’intérieur du cadre du visage hôte.

Une carte de salience qui met en évidence les ‘identités internes’ et ‘externes’ calculées par ICT. Lorsqu’une correspondance de visage interne est établie mais qu’une identité externe ne correspond pas, ICT évalue l’image comme fausse.

Dans les tests, ICT a prouvé sa capacité à détecter le contenu de deepfake dans des environnements favorables aux deepfakes, tels que les vidéos à basse résolution, où le contenu de la vidéo entière est dégradé par les artefacts de compression, ce qui aide à cacher les preuves résiduelles du processus de deepfake – une circonstance qui déroute de nombreuses méthodes de détection de deepfake concurrentes.

ICT surpasse les concurrents dans la reconnaissance de contenu de deepfake. Voir la vidéo intégrée à la fin de l’article pour plus d’exemples et une meilleure résolution. Voir la vidéo source intégrée à la fin de l’article pour plus d’exemples. Source: https://www.youtube.com/watch?v=zgF50dcymj8

L’article scientifique est intitulé Protéger les célébrités avec Identity Consistency Transformer, et provient de neuf chercheurs affiliés à l’Université des sciences et de la technologie de Chine, à Microsoft Research Asia et à Microsoft Cloud + AI.

Le fossé de crédibilité

Il y a au moins deux raisons pour lesquelles les algorithmes de permutation de visage populaires tels que DeepFaceLab et FaceSwap négligent la zone la plus externe des identités de visage échangées.

Premièrement, la formation de modèles de deepfake est fastidieuse et critique en termes de ressources, et l’adoption de visages hôtes/bodies « compatibles » libère des cycles de GPU et des époques pour se concentrer sur les zones internes relativement immuables du visage que nous utilisons pour distinguer l’identité (puisqu’il est peu probable que des variables telles que les fluctuations de poids et le vieillissement changent ces traits faciaux de base à court terme).

Deuxièmement, la plupart des approches de deepfake (et c’est certainement le cas de DeepFaceLab, le logiciel utilisé par les praticiens les plus populaires ou les plus notoires) ont une capacité limitée à répliquer les « marges de fin de visage » telles que les zones de la joue et de la mâchoire, et sont limitées par le fait que leur code en amont (2017) n’a pas abordé de manière approfondie ce problème.

Dans les cas où les identités ne correspondent pas bien, l’algorithme de deepfake doit « retoucher » les zones de fond autour du visage, ce qu’il fait de manière maladroite, même entre les mains des meilleurs deepfakers, tels que Ctrl Shift Face, dont la sortie a été utilisée dans les études du document.

Le meilleur des meilleurs: images extraites d’une vidéo de deepfake de l’acclamé deepfaker Ctrl-Shift-Face, échangeant Jim Carrey avec Gary Oldman. Ce travail représente probablement le meilleur résultat actuellement disponible via DeepFaceLab et les techniques de post-traitement. Néanmoins, les échanges restent limités à l’attention relativement faible que DFL porte au visage externe, nécessitant un effort herculéen de curation de données et de formation pour aborder les linéaments les plus externes. Source: https://www.youtube.com/watch?v=x8igrh1eyLk

Cette « astuce » ou déviation de l’attention échappe en grande partie à l’attention du public dans la préoccupation actuelle sur la réalisme croissant des deepfakes, car nos facultés critiques autour des deepfakes sont encore en développement au-delà de l’étape « choc et émerveillement ».

Identités divisées

Le nouveau document note que la plupart des méthodes précédentes de détection de deepfake s’appuient sur des artefacts qui trahissent le processus d’échange, tels que des poses de tête incohérentes et le clignement des yeux, parmi de nombreuses autres techniques. Il y a juste cette semaine, un autre nouveau document de détection de deepfake a proposé d’utiliser la « signature » des différents types de modèles dans le cadre de FaceSwap pour aider à identifier les vidéos truquées créées avec lui (voir image ci-dessous).

Identifier les deepfakes en caractérisant les signatures des différents types de modèles dans le cadre de FaceSwap. Source: https://arxiv.org/pdf/2202.12951.pdf

En revanche, l’architecture d’ICT crée deux identités imbriquées distinctes pour une personne, dont chacune doit être vérifiée avant que l’identité entière ne soit conclue comme étant une « vraie » vidéo ou image.

Architecture pour les phases de formation et de test d’ICT.

La division des identités est facilitée par un Transformateur de vision, qui effectue une identification faciale avant de diviser les régions étudiées en jetons appartenant aux identités internes ou externes.

Répartition des patches parmi les deux signifiants d’identité parallèles.

Le document indique:

‘Malheureusement, les méthodes de vérification de visage existantes ont tendance à caractériser la région la plus discriminante, c’est-à-dire le visage interne pour la vérification, et échouent à capturer les informations d’identité dans le visage externe. Avec Identity Consistency Transformer, nous formons un modèle pour apprendre une paire de vecteurs d’identité, un pour le visage interne et l’autre pour le visage externe, en concevant un Transformateur tel que les identités internes et externes puissent être apprises simultanément dans un modèle unifié.’

Puisqu’il n’y a pas de modèle existant pour ce protocole d’identification, les auteurs ont conçu une nouvelle sorte de perte de cohérence qui peut agir comme une mesure d’authenticité. Les « jetons internes » et « jetons externes » qui résultent du modèle d’extraction d’identité sont ajoutés aux embeddings de patch plus conventionnels produits par les cadres d’identification faciale.

Données et formation

Le réseau ICT a été formé sur le jeu de données MS-Celeb-1M de Microsoft Research, qui contient 10 millions d’images de visages de célébrités couvrant un million d’identités, y compris des acteurs, des politiciens et de nombreux autres types de personnalités éminentes. Selon la procédure de la méthode précédente Face X-ray (une autre initiative de Microsoft Research), la routine de génération de faux d’ICT échange les régions internes et externes des visages issus de ce jeu de données afin de créer du matériel sur lequel tester l’algorithme.

Pour effectuer ces échanges internes, ICT identifie deux images dans le jeu de données qui présentent des poses de tête et des repères faciaux similaires, génère une région de masque des caractéristiques centrales (dans laquelle un échange peut être effectué), et effectue un échange de deepfake avec une correction de couleur RVB.

La raison pour laquelle ICT est limité à l’identification de célébrités est qu’il repose (dans sa variation la plus efficace) sur un nouvel ensemble de référence qui intègre des vecteurs faciaux dérivés d’un corpus central (dans ce cas MS-Celeb-1M, bien que la référence pourrait être étendue à l’imagerie disponible sur le réseau, qui ne serait probablement disponible en quantité et en qualité suffisantes que pour les personnalités publiques bien connues).

Ces couples de vecteurs dérivés agissent comme des jetons d’authenticité pour vérifier les régions du visage interne et externe en tandem.

Les auteurs notent que les jetons obtenus à partir de ces méthodes représentent des « fonctionnalités de haut niveau », ce qui donne lieu à un processus de détection de deepfake plus susceptible de survivre dans des environnements difficiles tels que les vidéos à basse résolution ou autrement dégradées.

Il est crucial que ICT ne recherche pas de preuves basées sur des artefacts, mais se concentre plutôt sur des méthodes de vérification d’identité plus en accord avec les techniques de reconnaissance faciale – une approche qui est difficile avec des données de faible volume, comme c’est le cas dans l’enquête sur les incidents de deepfake de vengeance pornographique contre des cibles non célèbres.

Tests

Formé sur MS-Celeb-1M, ICT a ensuite été divisé en versions assistées par référence et « aveugles » de l’algorithme, et testé contre une gamme de jeux de données et de méthodes concurrents. Ces derniers comprenaient FaceForensics++ (FF++), un jeu de données de 1000 vidéos authentiques et de deepfake créées à l’aide de quatre méthodes, y compris Face2Face et FaceSwap; la détection de deepfake de Google Deepfake (DFD), qui comprend également des milliers de vidéos de deepfake générées par Google; Celeb-DeepFake v1 (CD1), qui présente 408 vidéos réelles et 795 vidéos synthétisées à faible artefact; Celeb-DeepFake v2, une extension de V1 qui contient 590 vidéos réelles et 5 639 vidéos fausses; et le Deeper-Forensics (Deeper) de la Chine en 2020.

Ces jeux de données; les méthodes de détection dans les défis de test étaient Multi-tâche, MesoInc4, Capsule, Xception-c0, c2 (une méthode employée dans FF++), FWA/DSP-FW de l’Université d’Albany, Two-Branch, PCL+I2G, et la méthode de discrepancy de contexte de Yuval Nirkin.

Les méthodes de détection mentionnées ci-dessus sont destinées à détecter des types spécifiques de manipulation faciale. En plus de celles-ci, les auteurs du nouveau document ont testé des offres de détection de deepfake plus générales Face X-ray, FFD de l’Université d’État du Michigan, CNNDetection et Patch-Forensics de MIT CSAIL.

Les résultats les plus évidents des tests sont que les méthodes concurrentes chutent considérablement en efficacité à mesure que la résolution et la qualité de la vidéo diminuent. Puisque certaines des conséquences les plus graves de la pénétration des deepfakes dans nos pouvoirs discriminatoires se trouvent (ne serait-ce qu’à l’heure actuelle) dans des vidéos non HD ou autrement compromises en termes de qualité, cela semble être un résultat important.

Dans le graphique de résultats ci-dessus, les lignes bleue et rouge indiquent la résilience des méthodes ICT à la dégradation d’image dans toutes les zones, à l’exception du blocage de bruit gaussien (ce qui n’est pas une probabilité dans les séquences de Zoom et de webcam), tandis que la fiabilité des méthodes concurrentes chute.

Dans le tableau de résultats ci-dessous, nous voyons l’efficacité des différentes méthodes de détection de deepfake sur les jeux de données non vus. Les résultats gris et avec des astérisques indiquent une comparaison à partir de résultats publiés à l’origine dans des projets à code source fermé, qui ne peuvent pas être vérifiés externement. Sur presque tous les cadres comparables, ICT surpasse les approches de détection de deepfake rivales (indiquées en gras) sur les jeux de données testés.

Comme test supplémentaire, les auteurs ont exécuté du contenu à partir de la chaîne YouTube de l’acclamé deepfaker Ctrl Shift Face, et ont constaté que les méthodes concurrentes ont obtenu des scores d’identification nettement inférieurs:

Il est notable que les méthodes FF++ (Xception-c23) et FFD, qui obtiennent certains des scores les plus élevés dans certains des tests généraux du nouveau document, obtiennent ici un score nettement inférieur à celui d’ICT dans un contexte « réel » de contenu de deepfake de haute qualité.

Les auteurs concluent le document en espérant que ses résultats orienteront la communauté de détection de deepfake vers des initiatives similaires qui se concentrent sur des fonctionnalités de haut niveau plus facilement généralisables, et s’éloignent de la « guerre froide » de la détection d’artefacts, dans laquelle les dernières méthodes sont régulièrement obviées par les développements dans les cadres de deepfake, ou par d’autres facteurs qui rendent ces méthodes moins résilientes.

Consultez la vidéo supplémentaire ci-dessous pour plus d’exemples d’ICT qui identifient le contenu de deepfake qui dépasse souvent les méthodes alternatives.

Publié pour la première fois le 4 mars 2022.