La désentanglement est la prochaine révolution des deepfakes

La technique de données augmentées CGI est utilisée dans un nouveau projet pour obtenir un contrôle plus grand sur les images de deepfake. Même si vous ne pouvez toujours pas utiliser efficacement des têtes CGI pour combler les lacunes dans les jeux de données de deepfake faciaux, une nouvelle vague de recherche sur la désentanglement de l’identité du contexte signifie que bientôt, vous n’aurez peut-être plus besoin de le faire.

Les créateurs de certaines des vidéos de deepfake les plus réussies au cours des dernières années sélectionnent soigneusement leurs vidéos sources, en évitant les plans de profil prolongés (c’est-à-dire le type de portraits de face populaires par les procédures d’arrestation de la police), les angles aigus et les expressions inhabituelles ou exagérées. De plus en plus, les vidéos de démonstration produites par les deepfakers virals sont des compilations éditées qui sélectionnent les angles et les expressions les plus « faciles » pour les deepfakes.

En fait, la cible vidéo la plus accueillante pour insérer un deepfake de célébrité est une vidéo où la personne originale (dont l’identité sera effacée par le deepfake) regarde directement la caméra, avec une gamme minimale d’expressions.

La majorité des deepfakes populaires au cours des dernières années ont montré des sujets faisant face à la caméra, et portant soit uniquement des expressions populaires (comme sourire), qui peuvent être facilement extraites de la sortie de paparazzi sur le tapis rouge, soit (comme le faux de Sylvester Stallone en Terminator, à gauche), idéalement sans expression du tout, puisque les expressions neutres sont extrêmement courantes, ce qui les rend faciles à intégrer dans les modèles de deepfake.

Parce que les technologies de deepfake telles que DeepFaceLab et FaceSwap effectuent ces échanges plus simples très bien, nous sommes suffisamment éblouis par ce qu’ils accomplissent pour ne pas remarquer ce qu’ils sont incapables de faire, et – souvent – ne pas même essayer:

Grabs d’une vidéo de deepfake acclamée où Arnold Schwarzenegger est transformé en Sylvester Stallone – à moins que les angles soient trop astucieux. Les profils restent un problème persistant avec les approches de deepfake actuelles, en partie parce que le logiciel open source utilisé pour définir les poses faciales dans les cadres de deepfake n’est pas optimisé pour les vues de côté, mais principalement en raison du manque de matériel source approprié dans l’un ou les deux jeux de données nécessaires. Source: https://www.youtube.com/watch?v=AQvCmQFScMA

De nouvelles recherches d’Israël proposent une nouvelle méthode d’utilisation de données synthétiques, telles que des têtes CGI, pour amener les deepfakes dans les années 2020, en séparant réellement les identités faciales (c’est-à-dire les caractéristiques faciales essentielles de « Tom Cruise ») de leur contexte (c’est-à-dire regardant vers le haut, regardant sur le côté, fronçant les sourcils, fronçant les sourcils dans le noir, sourcils froncés, yeux fermés, etc.).

Le nouveau système sépare discrètement la pose et le contexte (c’est-à-dire cligner de l’œil) de l’encodage d’identité de l’individu, en utilisant des données faciales synthétiques non liées (représentées à gauche). Dans la rangée du haut, on voit un « clignement de l’œil » transféré sur l’identité de Barack Obama, provoqué par le chemin non linéaire appris de l’espace latent d’un GAN, représenté par l’image CGI à gauche. Dans la rangée ci-dessous, on voit le coin de la bouche étiré transféré sur l’ancien président. En bas à droite, on voit les deux caractéristiques appliquées simultanément. Source: https://arxiv.org/pdf/2111.08419.pdf

Ceci n’est pas simplement une marionnette de tête de deepfake, une technique plus adaptée aux avatars et à la synchronisation labiale partielle, et qui a un potentiel limité pour les transformations de vidéos de deepfake à part entière.

Plutôt, cela représente une voie vers une séparation fondamentale de l’instrumentalité (telle que ‘changer l’angle de la tête’, ‘créer un froncement de sourcils’) de l’identité, offrant un chemin vers un cadre de deepfake basé sur la synthèse d’images de haut niveau plutôt que sur la dérivation.

Le nouveau document de recherche s’intitule Delta-GAN-Encoder: Encodage des changements sémantiques pour l’édition d’images explicite, à l’aide de quelques échantillons synthétiques, et provient de chercheurs du Technion – Israel Institute of Technology.

Pour comprendre ce que signifie ce travail, examinons comment les deepfakes sont actuellement produits, partout, des sites de deepfake pornographiques à Industrial Light and Magic (puisque le référentiel open source DeepFaceLab est actuellement dominant à la fois dans le deepfaking « amateur » et professionnel).

Qu’est-ce qui freine actuellement la technologie des deepfakes?

Les deepfakes sont actuellement créés en formant un modèle d’apprentissage automatique encodeur/décodeur sur deux dossiers d’images de visages – la personne que vous souhaitez « peindre » (dans l’exemple précédent, c’est Arnie) et la personne que vous souhaitez superposer dans la vidéo (Sly).

Exemples de poses et de conditions d’éclairage variables dans deux ensembles de visages différents. Notez l’expression distinctive à la fin de la troisième rangée de la colonne A, qui est peu susceptible d’avoir un équivalent proche dans l’autre ensemble de données.

Le système encodeur/décodeur compare ensuite chaque image de chaque dossier les unes aux autres, en maintenant, en améliorant et en répétant cette opération pendant des centaines de milliers d’itérations (souvent pendant une semaine), jusqu’à ce qu’il comprenne suffisamment les caractéristiques essentielles des deux identités pour les échanger à volonté.

Pour chacune des deux personnes échangées dans le processus, ce que l’architecture de deepfake apprend sur l’identité est entrelacé avec le contexte. Il ne peut pas apprendre et appliquer des principes sur une pose générique « pour de bon », mais a besoin de nombreux exemples dans le jeu de données d’entraînement, pour chaque identité qui sera impliquée dans l’échange de visages.

Par conséquent, si vous souhaitez échanger deux identités qui font quelque chose de plus inhabituel que de simplement sourire ou regarder directement la caméra, vous aurez besoin de nombreux exemples de cette pose/identité particulière dans les deux ensembles de visages:

Parce que les caractéristiques d’identité faciale et de pose sont actuellement si étroitement liées, une large parité d’expression, de pose de tête et (dans une moindre mesure) d’éclairage est nécessaire entre deux ensembles de données faciales pour former un modèle de deepfake efficace sur des systèmes tels que DeepFaceLab. Plus une configuration particulière (telle que « vue de profil/sourire/éclairage ensoleillé ») est peu représentée dans les deux ensembles de visages, moins elle sera rendue avec précision dans une vidéo de deepfake, si nécessaire.

Si l’ensemble A contient la pose inhabituelle, mais que l’ensemble B en manque, vous êtes pretty much en panne; peu importe combien de temps vous formez le modèle, il ne pourra jamais apprendre à reproduire cette pose correctement entre les identités, car il n’avait que la moitié des informations nécessaires lors de sa formation.

Même si vous avez des images correspondantes, cela peut ne pas suffire: si l’ensemble A a la pose correspondante, mais avec un éclairage latéral dur, par rapport à la pose équivalente à éclairage plat dans l’autre ensemble de visages, la qualité de l’échange ne sera pas aussi bonne que si chaque ensemble partageait des caractéristiques d’éclairage communes.

Pourquoi les données sont rares

À moins que vous ne soyez arrêté régulièrement, vous n’avez probablement pas beaucoup de photos de profil de vous-même. Toute photo de ce type qui se présente est probablement jetée. Puisque les agences de photos font de même, les photos de profil sont difficiles à trouver.

Les deepfakers incluent souvent plusieurs copies des données de profil latéral limitées qu’ils ont pour une identité dans un ensemble de visages, juste pour que cette pose obtienne au moins un peu d’attention et de temps pendant la formation, au lieu d’être rejetée comme une anomalie.

Il existe cependant beaucoup plus de types de photos de visage de profil que ceux qui sont susceptibles d’être disponibles pour inclusion dans un ensemble de données – sourire, fronçant les sourcils, criant, pleurant, éclairage sombre, méprisant, ennuyé, joyeux, éclairé au flash, regardant vers le haut, regardant vers le bas, yeux ouverts, yeux fermés… et ainsi de suite. N’importe laquelle de ces poses, dans des combinaisons multiples, pourrait être nécessaire dans une vidéo cible de deepfake.

Et ce n’est que les profils. Combien de photos avez-vous de vous-même en train de regarder directement vers le haut? Avez-vous suffisamment de photos pour représenter largement les 10 000 expressions possibles que vous pourriez porter tout en tenant cette pose exacte de cet angle de caméra exact, en couvrant au moins certains des un million d’environnements d’éclairage possibles?

Il est peu probable que vous ayez même une photo de vous-même en train de regarder vers le haut. Et ce n’est que deux angles sur les cent ou plus nécessaires pour une couverture complète.

Même si il était possible de générer une couverture complète d’un visage sous tous les angles et dans toutes les conditions d’éclairage, l’ensemble de données résultant serait beaucoup trop volumineux pour être formé, de l’ordre de centaines de milliers d’images; et même s’il pouvait être formé, la nature du processus de formation pour les cadres de deepfake actuels jetterait la majeure partie de ces données supplémentaires pour ne conserver que un nombre limité de fonctionnalités dérivées, car les cadres actuels sont réductionnistes et peu évolutifs.

Substitution synthétique

Depuis l’avènement des deepfakes, les deepfakers ont expérimenté l’utilisation d’images de style CGI, de têtes créées dans des applications 3D telles que Cinema4D et Maya, pour générer ces « poses manquantes ».

Pas d’IA nécessaire; une actrice est recréée dans un programme CGI traditionnel, Cinema 4D, en utilisant des maillages et des textures bitmap – une technologie qui remonte aux années 1960, bien que n’ayant atteint une utilisation généralisée qu’à partir des années 1990. En théorie, ce modèle de visage pourrait être utilisé pour générer des données source de deepfake pour des poses, des styles d’éclairage et des expressions inhabituelles. Dans la réalité, il a été de peu ou d’aucune utilité dans le deepfaking, puisque la « fausseté » des images générées tend à se propager dans les vidéos échangées. Source: Image de l’auteur de cet article à https://rossdawson.com/futurist/implications-of-ai/comprehensive-guide-ai-artificial-intelligence-visual-effects-vfx/

Cette méthode est généralement abandonnée tôt par les nouveaux praticiens de deepfake, car même si elle peut fournir des poses et des expressions qui sont autrement indisponibles, l’apparence synthétique des visages CGI se propage généralement dans les échanges en raison de l’entrelacement de l’ID et des informations contextuelles/semantiques.

Cela peut entraîner l’apparition soudaine de visages de « vallée de l’incroyable » dans une vidéo de deepfake autrement convaincante, car l’algorithme commence à s’appuyer sur les seules données dont il dispose pour une pose ou une expression inhabituelle – des visages manifestement faux.

Parmi les sujets les plus populaires pour les deepfakers, un algorithme de deepfake 3D pour l’actrice australienne Margot Robbie est inclus dans l’installation par défaut de DeepFaceLive, une version de DeepFaceLab qui peut effectuer des deepfakes en diffusion en direct, telle qu’une session de webcam. Une version CGI, comme celle représentée ci-dessus, pourrait être utilisée pour obtenir des angles « manquants » inhabituels dans les ensembles de données de deepfake. Source: https://sketchfab.com/3d-models/margot-robbie-bust-for-full-color-3d-printing-98d15fe0403b4e64902332be9cfb0ace

Visages CGI comme lignes directrices conceptuelles détachées

Au lieu de cela, la nouvelle méthode Delta-GAN Encoder (DGE) des chercheurs israéliens est plus efficace, car les informations de pose et de contexte provenant des images CGI ont été complètement séparées des informations d’« identité » de la cible.

Nous pouvons voir ce principe en action dans l’image ci-dessous, où diverses orientations de tête ont été obtenues en utilisant les images CGI comme ligne directrice. Puisque les caractéristiques d’identité sont sans rapport avec les caractéristiques contextuelles, il n’y a pas de saignement ni de l’apparence synthétique des visages CGI, ni de l’identité représentée dans celle-ci:

Avec la nouvelle méthode, vous n’avez pas besoin de trouver trois images sources distinctes pour réaliser un deepfake sous plusieurs angles – vous pouvez simplement faire pivoter la tête CGI, dont les caractéristiques abstraites de haut niveau sont imposées sur l’identité sans fuir aucune information d’ID.

Delta-GAN-Encoder. Groupe en haut à gauche: l’angle d’une image source peut être modifié en une seconde pour rendre une nouvelle image source, qui est reflétée dans la sortie; groupe en haut à droite: l’éclairage est également désentrelacé de l’identité, permettant la superposition de styles d’éclairage; groupe en bas à gauche: plusieurs détails faciaux sont modifiés pour créer une expression « triste »; groupe en bas à droite: un seul détail d’expression faciale est modifié, de sorte que les yeux sont plissés.

Cette séparation de l’identité et du contexte est réalisée au stade de la formation. Le pipeline pour la nouvelle architecture de deepfake cherche le vecteur latent dans un GAN pré-formé qui correspond à l’image à transformer — une méthodologie Sim2Real qui s’appuie sur un projet de 2018 de la section de recherche en IA d’IBM.

Les chercheurs observent:

‘Avec seulement quelques échantillons, qui diffèrent par un attribut spécifique, on peut apprendre le comportement désentrelacé d’un modèle de génération entrelacé pré-formé. Il n’y a pas besoin d’échantillons réels du monde pour atteindre cet objectif, qui n’est pas nécessairement réalisable.

‘En utilisant des échantillons de données non réalistes, le même objectif peut être atteint en exploitant les sémantiques des vecteurs latents encodés. L’application de changements souhaités sur des échantillons de données existants peut être effectuée sans exploration explicite du comportement de l’espace latent.’

Les chercheurs anticipent que les principes fondamentaux de la désentanglement explorés dans le projet pourraient être transférés à d’autres domaines, tels que les simulations d’architecture intérieure, et que la méthode Sim2Real adoptée pour Delta-GAN-Encoder pourrait éventuellement permettre une instrumentation de deepfake basée sur des croquis, plutôt que sur des entrées de style CGI.

On pourrait soutenir que la mesure dans laquelle le nouveau système israélien pourrait ou non synthétiser des vidéos de deepfake est beaucoup moins importante que les progrès que la recherche a réalisés dans la désentanglement du contexte de l’identité, en gagnant ainsi un contrôle plus grand sur l’espace latent d’un GAN.

La désentanglement est un domaine de recherche actif dans la synthèse d’images; en janvier 2021, un document de recherche dirigé par Amazon a démontré un contrôle de pose et une désentanglement similaires, et en 2018, un document des Shenzhen Institutes of Advanced Technology à l’Académie chinoise des sciences a fait des progrès dans la génération de points de vue arbitraires dans un GAN.