Détecteurs de deepfakes : nouveaux développements avec les modèles de diffusion latente et les GAN

Opinion  

Depuis peu, la communauté de recherche sur la détection de deepfakes, qui s’est concentrée presque exclusivement sur le cadre basé sur les auto-encodeurs depuis fin 2017, commence à s’intéresser à des architectures moins stagnantes, notamment les modèles de diffusion latente tels que DALL-E 2 et Stable Diffusion, ainsi que les sorties de réseaux antagonistes génératifs (GAN). Par exemple, en juin, l’Université de Californie à Berkeley a publié les résultats de ses recherches sur le développement d’un détecteur pour les sorties de DALL-E 2.

Ce qui semble motiver cet intérêt croissant est le saut évolutif soudain dans la capacité et la disponibilité des modèles de diffusion latente en 2022, avec la sortie fermée et à accès limité de DALL-E 2 au printemps, suivie à la fin de l’été par la sortie en open source de Stable Diffusion par stability.ai.

Les GAN ont également été longuement étudiés dans ce contexte, bien que moins intensivement, car il est très difficile de les utiliser pour des récréations vidéo convaincantes et élaborées de personnes; du moins, par rapport aux packages d’auto-encodeurs maintenant vénérables tels que FaceSwap et DeepFaceLab – et le cousin de ce dernier, DeepFaceLive.

Images en mouvement

Dans les deux cas, le facteur galvanisant semble être la perspective d’un sprint de développement ultérieur pour la synthèse de vidéos. Le début d’octobre – et la grande saison des conférences de 2022 – a été caractérisé par une avalanche de solutions soudaines et inattendues à divers problèmes de synthèse vidéo: dès que Facebook a publié des échantillons de sa propre plate-forme de texte-vidéo, Google Research a rapidement noyé cette reconnaissance initiale en annonçant sa nouvelle architecture Imagen-to-Video T2V, capable de produire des vidéos haute résolution (bien que seulement via un réseau de 7 couches de suréchantillonneurs).

Si vous croyez que ce genre de choses arrive par trois, considérez également la promesse énigmatique de stability.ai selon laquelle ‘la vidéo est en route’ pour Stable Diffusion, apparemment plus tard cette année, tandis que le co-développeur de Stable Diffusion, Runway, a fait une promesse similaire, bien qu’il ne soit pas clair s’ils font référence au même système. Le message Discord du PDG de Stability, Emad Mostaque, a également promis ‘audio, vidéo [et] 3D’.

Qu’il y ait eu une offre inattendue de plusieurs nouveaux cadres de génération audio (certains basés sur la diffusion latente), et un nouveau modèle de diffusion capable de générer mouvement de personnage authentique, l’idée que les ‘cadres statiques’ tels que les GAN et les diffuseurs finiront par prendre leur place en tant que supports adjuncts à des cadres d’animation externes commence à gagner du terrain.

En bref, il est probable que le monde des deepfakes basés sur les auto-encodeurs, qui ne peuvent substituer efficacement que la partie centrale d’un visage, sera éclipsé d’ici l’année prochaine par une nouvelle génération de technologies de deepfakes basées sur la diffusion – des approches ouvertes et populaires avec le potentiel de créer des scènes entières de manière photoréaliste.

Pour cette raison, peut-être, la communauté de recherche anti-deepfake commence à prendre la synthèse d’images au sérieux et à se rendre compte qu’elle peut servir à plus de choses qu’à générer des faux profils LinkedIn; et que si tous leurs espaces latents intractables peuvent accomplir en termes de mouvement temporel, c’est d’agir comme un excellent rendu de texture, ce qui pourrait être plus que suffisant.

Blade Runner

Les deux derniers articles à aborder respectivement la détection de deepfakes basée sur la diffusion latente et les GAN sont, respectivement, DE-FAKE: Détection et attribution d’images fausses générées par des modèles de diffusion d’images texte, une collaboration entre le CISPA Helmholtz Center for Information Security et Salesforce; et BLADERUNNER: Contre-mesure rapide pour les visages de StyleGAN synthétiques (générés par IA), de Adam Dorian Wong du Laboratoire Lincoln du MIT.

Avant d’expliquer sa nouvelle méthode, le deuxième article prend le temps d’examiner les approches précédentes pour déterminer si une image a été générée par un GAN (l’article traite spécifiquement de la famille de StyleGAN de NVIDIA ).

La méthode ‘Brady Bunch’ – peut-être une référence sans signification pour quiconque qui n’a pas regardé la télévision dans les années 1970, ou qui a manqué les adaptations cinématographiques des années 1990 – identifie le contenu de deepfakes basé sur les positions fixes que certaines parties d’un visage de GAN sont certaines d’occuper, en raison de la nature routinière et template de la ‘production’.

La méthode ‘Brady Bunch’ proposée par une webconférence de l’institut SANS en 2022: un générateur de visages de GAN effectuera un placement uniforme improbable de certaines caractéristiques faciales, trahissant l’origine de la photo, dans certains cas. Source: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

Une autre indication utile est l’incapacité fréquente de StyleGAN à rendre plusieurs visages (première image ci-dessous), si nécessaire, ainsi que son manque de talent dans la coordination des accessoires (image du milieu ci-dessous), et une tendance à utiliser une ligne de cheveux comme le début d’un chapeau improvisé (troisième image ci-dessous).

La troisième méthode que le chercheur attire l’attention est la superposition de photos (un exemple de laquelle peut être vu dans notre article d’août sur l’évaluation des troubles de santé mentale par l’IA), qui utilise des logiciels de ‘fusion d’images’ tels que la série CombineZ pour concaténer plusieurs images en une seule image, souvent révélant des similitudes sous-jacentes dans la structure – une indication potentielle de synthèse.

L’architecture proposée dans le nouvel article est intitulée (peut-être contre tous les conseils de référencement) Blade Runner, en référence au test de Voight-Kampff qui détermine si les antagonistes de la franchise de science-fiction sont ‘faux’ ou non.

Le pipeline est composé de deux phases, la première desquelles est l’analyseur PapersPlease, qui peut évaluer les données scrapées à partir de sites Web de visages de GAN connus tels que thispersondoesnotexist.com ou generated.photos.

Bien qu’une version réduite du code puisse être inspectée sur GitHub (voir ci-dessous), peu de détails sont fournis sur ce module, sauf que OpenCV et DLIB sont utilisés pour délimiter et détecter les visages dans le matériel réuni.

Le deuxième module est le détecteur AmongUs. Le système est conçu pour rechercher un placement d’yeux coordonné dans les photos, une fonctionnalité persistante de la sortie de visages de StyleGAN, typifiée dans le scénario ‘Brady Bunch’ détaillé ci-dessus. AmongUs est alimenté par un détecteur de repères faciaux standard de 68 points.

Annotations de points faciaux via le groupe de compréhension du comportement intelligent (IBUG), dont le code de tracé de repères faciaux est utilisé dans le package Blade Runner.

AmongUs dépend de repères pré-entraînés basés sur les coordonnées ‘Brady Bunch’ connues de PapersPlease et est destiné à être utilisé contre des échantillons de visages de StyleGAN basés sur le Web.

Blade Runner, suggère l’auteur, est une solution prête à l’emploi destinée aux entreprises ou organisations qui n’ont pas les ressources pour développer des solutions internes pour la détection de deepfakes traitée ici, et une ‘mesure d’attente pour gagner du temps pour des contre-mesures plus permanentes’.

En fait, dans un secteur de la sécurité aussi volatile et en pleine croissance, il n’y a pas beaucoup de solutions sur mesure ou de solutions de fournisseurs de cloud auxquelles une entreprise sous-resourced peut se tourner avec confiance.

Bien que Blade Runner performe mal contre les personnes à lunettes de StyleGAN, c’est un problème relativement courant dans des systèmes similaires, qui s’attendent à être en mesure d’évaluer les délimitations oculaires comme points de référence de base, obscurcies dans de tels cas.

Une version réduite de Blade Runner a été publiée en open source sur GitHub. Une version plus riche et propriétaire existe, qui peut traiter plusieurs photos, plutôt que la seule photo par opération de la version open source. L’auteur a l’intention, dit-il, de mettre à niveau la version GitHub à la même norme éventuellement, lorsque le temps le permettra. Il admet également que StyleGAN est susceptible d’évoluer au-delà de ses faiblesses connues, et que le logiciel devra également évoluer en parallèle.

DE-FAKE

L’architecture DE-FAKE vise non seulement à atteindre une ‘détection universelle’ pour les images produites par des modèles de diffusion d’images texte, mais également à fournir une méthode pour discerner quel modèle de diffusion latente a produit l’image.

Le cadre de détection universel dans DE-FAKE traite les images locales, un cadre hybride (vert) et les images du monde ouvert (bleu). Source: http://export.arxiv.org/pdf/2210.06998

Pour être honnête, pour le moment, ce n’est pas une tâche très difficile, car tous les modèles de diffusion latente populaires – fermés ou open source – ont des caractéristiques distinctives notables.

En outre, la plupart partagent certaines faiblesses communes, telles qu’une prédisposition à couper les têtes, en raison de la façon arbitraire dont les images non carrées sont ingérées dans les ensembles de données massifs qui alimentent des systèmes tels que DALL-E 2, Stable Diffusion et MidJourney:

Les modèles de diffusion latente, comme tous les modèles de vision par ordinateur, nécessitent une entrée au format carré; mais le web-scraping agrégé qui alimente l’ensemble de données LAION5B n’offre pas de ‘luxe’ tel que la capacité de reconnaître et de se concentrer sur les visages (ou tout autre chose), et tronque les images de manière brutale au lieu de les remplir (ce qui conserverait l’image source entière, mais à une résolution inférieure). Une fois formés, ces ‘crops’ deviennent normalisés et se produisent très fréquemment dans la sortie des systèmes de diffusion latente tels que Stable Diffusion.

DE-FAKE est destiné à être agnostique par rapport à l’algorithme, un objectif longtemps cherché par les chercheurs anti-deepfake basés sur les auto-encodeurs, et, pour le moment, assez réalisable en ce qui concerne les systèmes LD.

L’architecture utilise la bibliothèque multimodale de pré-entraînement de langage et d’image contrastive d’OpenAI (CLIP) – un élément essentiel dans Stable Diffusion, et qui devient rapidement le cœur de la nouvelle vague de systèmes de synthèse d’images/vidéos – pour extraire des embeddings à partir d’images LD ‘forgées’ et entraîner un classificateur sur les modèles et les classes observés.

Dans un scénario plus ‘boîte noire’, où les chunks PNG qui contiennent des informations sur le processus de génération ont longtemps été supprimés par des processus de téléchargement et pour d’autres raisons, les chercheurs utilisent le cadre BLIP de Salesforce (BLIP) (également un composant dans au moins une distribution de Stable Diffusion) pour ‘interroger à l’aveugle’ les images pour la structure sémantique probable des invites qui les ont créées.

Les chercheurs ont utilisé Stable Diffusion, Latent Diffusion (lui-même un produit discret), GLIDE et DALL-E 2 pour peupler un ensemble de données d’entraînement et de test en utilisant MSCOCO et Flickr30k.

Normalement, nous prendrions un regard approfondi sur les résultats des expériences des chercheurs pour un nouveau cadre; mais en vérité, les résultats de DE-FAKE semblent plus susceptibles d’être utiles comme référence future pour les itérations et les projets similaires, plutôt que comme une mesure significative du succès du projet, compte tenu de l’environnement volatile dans lequel il opère, et que le système contre lequel il est en concurrence dans les essais de l’article est presque trois ans plus vieux – de l’époque où la scène de la synthèse d’images était vraiment naissante.

Les deux premières images: le cadre précédent ‘mis au défi’, originaire de 2019, s’avère moins performant que DE-FAKE (les deux dernières images) sur les quatre systèmes LD testés.

Les résultats de l’équipe sont extrêmement positifs pour deux raisons: il y a peu de travaux antérieurs auxquels les comparer (et aucun qui offre une comparaison équitable, c’est-à-dire qui couvre les douze semaines écoulées depuis la sortie en open source de Stable Diffusion).

Deuxièmement, comme mentionné ci-dessus, bien que le domaine de la synthèse d’images LD se développe à un rythme exponentiel, la sortie de contenu des offres actuelles s’autorise en fait par sa propre structure (et ses particularités très prévisibles) – beaucoup de ces particularités étant susceptibles d’être corrigées, dans le cas de Stable Diffusion, au moins, par la sortie du modèle entraîné 4 Go (c’est-à-dire le modèle qui alimente le système).

En même temps, Stability a déjà indiqué qu’il a une feuille de route claire pour la version 2 et la version 3 du système. Étant donné les événements marquants des trois derniers mois, toute torpeur d’entreprise de la part d’OpenAI et d’autres acteurs concurrents dans l’espace de la synthèse d’images est susceptible d’avoir été évaporée, ce qui signifie que nous pouvons nous attendre à un rythme de progrès similaire dans l’espace de la synthèse d’images à code source fermé.

Premièrement publié le 14 octobre 2022.