Identifier les sources de données de Deepfake avec un étiquetage basé sur l’IA

Une collaboration entre des chercheurs en Chine, à Singapour et aux États-Unis a abouti à un système résilient pour « étiqueter » les photos de visages de manière si robuste que les marqueurs d’identification ne sont pas détruits pendant un processus de formation de deepfake, ouvrant la voie à des revendications de propriété intellectuelle qui pourraient entraver la capacité des systèmes de génération d’images synthétiques à « anonymiser » des données sources scrapées de manière illicite.

Le système, intitulé FakeTagger, utilise un processus d’encodeur/décodeur pour intégrer des informations d’identification visuellement indiscernables dans les images à un niveau suffisamment bas pour que les informations injectées soient interprétées comme des caractéristiques faciales essentielles, et soient donc transmises intactes à travers les processus d’abstraction, de la même manière, par exemple, que les données d’yeux ou de bouche.

Une vue d’ensemble de l’architecture de FakeTagger. Les données sources sont utilisées pour générer une caractéristique faciale « redondante », en ignorant les éléments de fond qui seront masqués par un workflow de deepfake typique. Le message est récupérable à l’autre extrémité du processus et identifiable par un algorithme de reconnaissance approprié. Source : http://xujuefei.com/felix_acmmm21_faketagger.pdf

La recherche provient de l’École des sciences et de l’ingénierie en cybersécurité de Wuhan, du Laboratoire clé de sécurité et de confiance de l’information aérospatiale du ministère de l’Éducation de Chine, du groupe Alibaba aux États-Unis, de l’Université Northeastern à Boston et de l’Université technologique de Nanyang à Singapour.

Les résultats expérimentaux de FakeTagger indiquent un taux de réidentification pouvant atteindre presque 95 % sur quatre types courants de méthodologies de deepfake : échange d’identité (c’est-à-dire DeepFaceLab, FaceSwap) ; réenactement de visage ; édition d’attributs ; et synthèse totale.

Les limites de la détection de Deepfake

Bien que les trois dernières années aient vu apparaître une nouvelle génération d’approches pour les méthodologies d’identification de deepfake, toutes ces approches se basent sur des lacunes remédiables des flux de travail de deepfake, telles que les lumières dans les yeux dans les modèles sous-formés, et l’absence de clignement des yeux dans les premiers deepfakes avec des ensembles de visages peu diversifiés. À mesure que de nouvelles clés sont identifiées, les référentiels de logiciels libres et open source les ont éliminées, soit délibérément, soit comme sous-produit d’améliorations des techniques de deepfake.

La nouvelle étude observe que la méthode de détection post-facto la plus efficace issue de la dernière compétition de détection de deepfake de Facebook (DFDC) est limitée à 70 % de précision, en termes de détection de deepfakes dans la nature. Les chercheurs attribuent cet échec représentatif à une mauvaise généralisation contre de nouveaux et innovants systèmes de deepfake basés sur GAN et encodeur/décodeur, et à la qualité souvent dégradée des substitutions de deepfake.

Dans le dernier cas, cela peut être causé par un travail de mauvaise qualité de la part des créateurs de deepfakes, ou des artefacts de compression lorsqu’ils sont téléchargés sur des plateformes de partage qui cherchent à limiter les coûts de bande passante, et réencodent les vidéos à des débits binaires beaucoup plus bas que les soumissions. Ironiquement, non seulement cette dégradation d’image ne n’interfère pas avec l’authenticité apparente d’un deepfake, mais elle peut même renforcer l’illusion, puisque la vidéo de deepfake est intégrée dans un idiome visuel commun de mauvaise qualité qui est perçu comme authentique.

Étiquetage survivant comme aide à l’inversion de modèle

L’identification des données sources à partir de la sortie de l’apprentissage automatique est un domaine relativement nouveau et en pleine croissance, et qui rend possible une nouvelle ère de litiges basés sur la propriété intellectuelle, à mesure que les réglementations actuelles de scrappe de données à l’écran des gouvernements (conçues pour ne pas étouffer la prééminence de la recherche nationale face à une course aux armements mondiale en matière d’IA) évoluent vers une législation plus stricte à mesure que le secteur se commercialise.

L’inversion de modèle traite de la cartographie et de l’identification des données sources à partir de la sortie générée par les systèmes de synthèse dans plusieurs domaines, notamment la génération de langage naturel (NLG) et la synthèse d’images. L’inversion de modèle est particulièrement efficace pour réidentifier les visages qui ont été soit floutés, soit pixélisés, soit qui ont traversé le processus d’abstraction d’un réseau antagoniste génératif ou d’un système de transformation encodeur/décodeur tel que DeepFaceLab.

L’ajout d’étiquetage ciblé à de nouvelles ou existantes images de visages est un potentiel nouvel outil pour les techniques d’inversion de modèle, avec le filigrane comme domaine émergent.

Étiquetage post-facto

FakeTagger est destiné à être une approche de post-traitement. Par exemple, lorsque l’utilisateur télécharge une photo sur un réseau social (ce qui implique généralement un processus d’optimisation et rarement un transfert direct et non altéré de l’image d’origine), l’algorithme traiterait l’image pour appliquer des caractéristiques supposément indélébiles au visage.

Alternativement, l’algorithme pourrait être appliqué à des collections d’images historiques, comme cela s’est produit à plusieurs reprises au cours des vingt dernières années, lorsque de grands sites de stock de photos et de collections d’images commerciales ont cherché des méthodes pour identifier le contenu qui a été réutilisé sans autorisation.

FakeTagger cherche à intégrer des caractéristiques d’identification récupérables à partir de divers processus de deepfake.

Développement et tests

Les chercheurs ont testé FakeTagger contre plusieurs applications de logiciels de deepfake à travers les quatre approches mentionnées, notamment le référentiel le plus utilisé, DeepFaceLab ; Stanford’s Face2Face, qui peut transférer des expressions faciales entre les images et les identités ; et STGAN, qui peut éditer les attributs faciaux.

Les tests ont été effectués avec CelebA-HQ, un référentiel public populaire contenant 30 000 images de visages de célébrités à différentes résolutions allant jusqu’à 1024 x 1024 pixels.

En tant que référence, les chercheurs ont initialement testé des techniques de filigrane d’image conventionnelles pour voir si les étiquettes imposées survivraient aux processus de formation des flux de travail de deepfake, mais les méthodes ont échoué dans les quatre approches.

Les données intégrées de FakeTagger ont été injectées à l’étape de l’encodeur dans les images de visages à l’aide d’une architecture basée sur le réseau de convolution U-Net pour la segmentation d’images biomédicales, publié en 2015. Par la suite, la section décodeur du cadre est formée pour trouver les informations intégrées.

Le processus a été testé dans un simulateur de GAN qui a utilisé les applications et algorithmes FOSS mentionnés, dans un environnement de boîte noire sans accès discret ou spécial aux flux de travail de chaque système. Des signaux aléatoires ont été attachés aux images de célébrités et enregistrés en tant que données liées à chaque image.

Dans un environnement de boîte noire, FakeTagger a pu atteindre une précision dépassant 88,95 % sur les quatre approches des applications. Dans un scénario de boîte blanche parallèle, la précision a augmenté à près de 100 %. Cependant, puisque cela suggère des itérations futures de logiciels de deepfake qui intègrent directement FakeTagger, il s’agit d’un scénario peu probable dans un avenir proche.

Compter le coût

Les chercheurs notent que le scénario le plus difficile pour FakeTagger est la synthèse d’images complète, telle que la génération abstraite basée sur CLIP, puisque les données de formation d’entrée sont soumises aux niveaux les plus profonds d’abstraction dans un tel cas. Cependant, cela ne s’applique pas aux flux de travail de deepfake qui ont dominé les actualités au cours des dernières années, car ceux-ci dépendent de la reproduction fidèle des caractéristiques d’identification des visages.

L’article note également que les attaquants adverses pourraient concevablement essayer d’ajouter des perturbations, telles que du bruit et du grain artificiels, pour contourner un tel système d’étiquetage, bien que cela soit susceptible d’avoir un effet néfaste sur l’authenticité de la sortie de deepfake.

De plus, ils notent que FakeTagger doit ajouter des données redondantes aux images pour assurer la survie des étiquettes qu’il intègre, et que cela pourrait avoir un coût computationnel notable à grande échelle.

Les auteurs concluent en notant que FakeTagger peut avoir un potentiel pour la traçabilité de la provenance dans d’autres domaines, tels que les attaques de pluie adverses et d’autres types d’attaques basées sur les images, tels que les expositions adverses, la brume, le flou, le vignettage et la coloration aléatoire.