Pourquoi les deepfakes ne peuvent pas actuellement transmettre la subtilité des émotions

Lors de la sortie hier de l’épisode 6 de la série dérivée Star Wars, The Book of Boba Fett, l’opinion des fans semble divisée. Accueilli avec une approbation générale, il y a une hypothèse répandue sur les réseaux sociaux selon laquelle la recréation améliorée d’un Mark Hamill rajeuni (comparée à son apparition précédente dans la saison 2 finale de The Mandalorian en 2020) est le résultat direct de l’embauche par Industrial Light and Magic de l’artiste amateur de deepfakes Shamook (qui avait radicalement amélioré son travail avec des logiciels open source); et que les rendus du personnage doivent être une combinaison de technologie de deepfakes, peut-être nettoyée avec de la CGI.

Il y a actuellement peu de confirmation de cela, bien que Shamook n’ait rien dit au monde depuis que l’Accord de non-divulgation d’ILM est descendu. Néanmoins, le travail est une amélioration extraordinaire par rapport à la CGI de 2020; il présente certaines des caractéristiques associées aux modèles de deepfakes dérivés d’œuvres d’archives; et en général, il correspond au meilleur standard visuel actuel pour les deepfakes.

L’autre branche de l’opinion des fans est que la nouvelle tentative de “Jeune Luke” a un ensemble différent de défauts que la précédente. Peut-être de manière la plus éloquente, le manque d’expressivité et d’émotions subtiles et appropriées dans les très longues séquences mettant en scène la nouvelle recréation de Skywalker sont plus typiques des deepfakes que de la CGI; The Verge a décrit la simulation de Boba Fett en termes de « visage figé et vide de Mark Hamill en 1983 ».

Quelle que soit la technologie derrière la nouvelle recréation d’ILM, les transformations de deepfakes ont un problème fondamental avec la subtilité des émotions qui est difficile à résoudre, soit par des changements dans l’architecture, soit par l’amélioration du matériel de formation source, et qui est généralement évité par les choix soigneux que les créateurs de deepfakes virales font lors de la sélection d’une vidéo cible.

Limitations d’alignement facial

Les deux référentiels de deepfakes FOSS les plus couramment utilisés sont DeepFaceLab (DFL) et FaceSwap, tous deux dérivés du code source anonyme et controverse de 2017, avec DFL ayant une énorme avance dans l’industrie des effets visuels, malgré son instrument limité.

Chacun de ces packages est chargé, initialement, d’extraire les repères faciaux des visages qu’il a pu identifier à partir du matériel source (c’est-à-dire les cadres de vidéos et/ou les images fixes).

Le Facial Alignment Network (FAN) en action, à partir du référentiel officiel. Source: https://github.com/1adrianb/face-alignment

Les deux DFL et FaceSwap utilisent la Facial Alignment Network (FAN) library. FAN peut créer des repères 2D et 3D (voir image ci-dessus) pour les visages extraits. Les repères 3D peuvent prendre en compte de manière extensive l’orientation perçue du visage, jusqu’à des profils extrêmes et des angles relativement aigus.

Cependant, il est évident que ce sont des lignes directrices très rudimentaires pour le regroupement et l’évaluation des pixels:

À partir du forum FaceSwap, un indicateur approximatif des repères disponibles pour les linéaments faciaux. Source: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

Les linéaments les plus basiques du visage sont autorisés: les yeux peuvent s’agrandir et se fermer, ainsi que la mâchoire, tandis que les configurations de base de la bouche (comme sourire, froncer les sourcils, etc.) peuvent être tracées et adaptées. Le visage peut pivoter dans n’importe quelle direction jusqu’à environ 200 degrés du point de vue de l’appareil photo.

Au-delà de cela, ce sont des clôtures assez grossières pour la façon dont les pixels se comporteront à l’intérieur de ces limites, et représentent les seules directives faciales vraiment mathématiques et précises dans l’ensemble du processus de deepfakes. Le processus de formation lui-même compare simplement la façon dont les pixels sont disposés à l’intérieur ou à proximité de ces limites.

Formation dans DeepFaceLab. Source: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

Puisqu’il n’y a pas de disposition pour la topologie des sous-parties du visage (convexité et concavité des joues, détails de vieillissement, fossettes, etc.), il n’est même pas possible d’essayer de correspondre à ces « subtils » sous-fonctions entre une source (le « visage que vous voulez écrire ») et une cible (le « visage que vous voulez coller ») identité.

Faire avec des données limitées

Obtenir des données appariées entre deux identités aux fins de formation de deepfakes n’est pas facile. Plus l’angle que vous devez apparer est inhabituel, plus vous devrez peut-être compromettre sur le fait que cet angle (rare) correspond entre les identités A et B, et qu’il présente la même expression.

Près, mais pas exactement une correspondance.

Dans l’exemple ci-dessus, les deux identités sont assez similaires dans leur disposition, mais c’est autant que ce jeu de données peut se rapprocher d’une correspondance exacte.

Des différences claires subsistent: l’angle et l’objectif ne correspondent pas exactement, et la lumière non plus; le sujet A n’a pas les yeux complètement fermés, contrairement au sujet B; la qualité d’image et la compression sont pires dans le sujet A; et de quelque manière que ce soit, le sujet B semble beaucoup plus heureux que le sujet A.

Mais, vous savez, c’est tout ce que nous avons, donc nous allons devoir nous former dessus quand même.

Puisque cette correspondance A><B a autant d’éléments inhabituels, vous pouvez être certain qu’il y a peu, voire pas, de paires similaires dans l’ensemble. Par conséquent, la formation va soit sous-ajuster soit surdajuster cela.

Sous-ajustement: Si cette correspondance est une véritable minorité (c’est-à-dire que le jeu de données parent est assez grand et ne présente pas souvent les caractéristiques de ces deux photos), elle n’obtiendra pas beaucoup de temps de formation par rapport aux appariements plus « populaires » (c’est-à-dire faciles/neutres). Par conséquent, cet angle/expression ne sera pas bien représenté dans un deepfake réalisé avec le modèle formé.

Surdajustement: Dans le désespoir de rares correspondances de données pour de tels appariements rares A><B, les créateurs de deepfakes vont parfois dupliquer l’appariement plusieurs fois dans le jeu de données, afin qu’il ait une meilleure chance de devenir une fonctionnalité du modèle final. Cela entraînera un surajustement, où les vidéos de deepfakes réalisées avec le modèle sont susceptibles de répéter de manière pédante les différences évidentes entre les deux photos, telles que la différence de degré dans lequel les yeux sont fermés.

Dans l’image ci-dessous, nous voyons Vladimir Poutine formé dans DeepFaceLab pour effectuer un échange avec Kevin Spacey. Ici, la formation est relativement avancée à 160 000 itérations.

Source: https://i.imgur.com/OdXHLhU.jpg

L’observateur occasionnel pourrait affirmer que Poutine a l’air un peu, eh bien, plus spatial que Spacey dans ces échanges de test. Voyons ce qu’un programme de reconnaissance d’émotion en ligne fait de la différence d’expression:

Source: https://www.noldus.com/facereader/measure-your-emotions

Selon cet oracle, qui analyse une topographie faciale beaucoup plus détaillée que DFL et Faceswap, Spacey est moins en colère, dégoûté et méprisant que le deepfake de Poutine résultant dans ce jumelage.

Les expressions inégales font partie d’un paquet entrelacé, puisque les applications de deepfakes populaires n’ont pas la capacité de détecter ou de faire correspondre les expressions ou les émotions, sauf de manière tacite, comme une correspondance brute pixel>pixel.

Pour nous, les différences sont énormes. Nous apprenons à lire les expressions faciales comme une technique de survie de base à partir de nos premières années, et continuons à nous appuyer sur cette compétence à l’âge adulte à des fins d’intégration sociale et de progrès, de recherche de partenaires et en tant que cadre d’évaluation des menaces en cours. Puisque nous sommes si sensibilisés aux micro-expressions, les technologies de deepfakes devront finalement tenir compte de cela.

À rebours

Bien que la révolution des deepfakes ait apporté la promesse d’insérer des « stars de cinéma classiques » dans des films et des émissions de télévision modernes, l’IA ne peut pas revenir en arrière dans le temps et tourner leurs œuvres classiques à une définition et une qualité plus compatibles, ce qui est essentiel à cet usage.

En supposant (et pour notre propos, cela n’a pas d’importance s’il est faux) que la reconstruction de Hamill dans Boba Fett était largement l’œuvre d’un modèle de deepfakes formé, le jeu de données pour le modèle aurait dû exploiter des séquences provenant de la période proche de la chronologie de l’émission (c’est-à-dire Hamill en tant que jeune trentenaire autour du moment de la production pour Return of the Jedi, 1981-83).

Le film a été tourné sur du négatif Eastman Color 250T 5293/7293, un film 250ASA considéré comme moyen à finement granuleux à l’époque, mais dépassé en clarté, en gamme de couleurs et en fidélité même à la fin des années 80. C’est un stock de son époque, et la portée opératique de Jedi a permis peu de gros plans même à ses acteurs principaux, ce qui rend les problèmes de grain encore plus critiques, puisque les visages sources n’occupent qu’une partie du cadre.

Une série de scènes de Hamill dans Le Retour du Jedi (1983).

En outre, beaucoup de séquences avec des effets visuels mettant en scène Hamill auraient été passées à travers une imprimante optique, augmentant le grain du film. Cependant, l’accès aux archives de Lucasfilm – qui ont probablement bien pris soin des négatifs maîtres et pourraient offrir des heures de séquences brutes non utilisées – pourrait surmonter ce problème.

Parfois, il est possible de couvrir une série d’années de production d’un acteur afin d’augmenter et de diversifier le jeu de données de deepfakes. Dans le cas de Hamill, les créateurs de deepfakes sont handicapés par son changement d’apparence après un accident de voiture en 1977, et le fait qu’il a commencé immédiatement sa deuxième carrière en tant qu’acteur de voix acclamé après Jedi, ce qui rend le matériel source relativement rare.

Plage limitée d’émotions?

Si vous avez besoin que votre acteur de deepfakes mâche le décor, vous aurez besoin de séquences sources qui contiennent une gamme inhabituelle d’expressions faciales. Il se peut que les seules séquences de l’âge approprié disponibles ne présentent pas beaucoup de ces expressions.

Par exemple, au moment où l’arc narratif de Return of the Jedi est arrivé, le personnage de Hamill avait largement maîtrisé ses émotions, un développement absolument central à la mythologie originale de la franchise. Par conséquent, si vous créez un modèle de deepfakes de Hamill à partir de données de Jedi, vous devrez travailler avec la gamme plus limitée d’émotions et la composition faciale inhabituelle que le rôle de Hamill exigeait de lui à ce moment-là, par rapport à ses entrées précédentes dans la franchise.

Même si vous considérez qu’il y a des moments dans Return of the Jedi où le personnage de Skywalker est sous pression, et pourrait fournir du matériel pour une plus grande gamme d’expressions, le matériel facial dans ces scènes est néanmoins fugace et soumis au flou de mouvement et à la coupe rapide typique des scènes d’action; donc les données sont assez déséquilibrées.

Généralisation: Le mélange des émotions

Si la recréation de Skywalker dans Boba Fett est bien un deepfake, le manque de gamme expressive qui a été reproché à certains égards ne serait pas entièrement dû à un matériel source limité. Le processus de formation d’encodeur-décodeur des deepfakes vise un modèle généralisé qui parvient à distiller avec succès les fonctionnalités centrales de milliers d’images, et peut au moins essayer de créer un deepfake d’un angle qui était manquant ou rare dans le jeu de données.

Si ce n’était pas pour cette flexibilité, une architecture de deepfakes serait simplement en train de copier et de coller des morphes de base sur une base par cadre, sans tenir compte de l’adaptation temporelle ou du contexte.

Cependant, le compromis douloureux pour cette polyvalence est que la fidélité d’expression est susceptible d’être une victime du processus, et que toute expression qui est ‘subtile’ peut ne pas être la bonne. Nous jouons tous nos visages comme des orchestres de 100 pièces, et sommes bien équipés pour le faire, tandis que les logiciels de deepfakes manquent probablement d’au moins la section des cordes.

Disparité d’affect dans les expressions

Les mouvements faciaux et leurs effets sur nous ne sont pas un langage uniforme pour tous les visages; le sourcil levé qui semble insouciant sur Roger Moore pourrait sembler moins sophistiqué sur Seth Rogan, tandis que l’attrait séducteur de Marilyn Monroe pourrait se traduire par une émotion négative si elle était deepfakée sur une personne dont le rôle le plus disponible est « en colère » ou « désaffecté » (comme le personnage d’Aubrey Plaza dans sept saisons de Parks and Recreation).

Par conséquent, l’équivalence pixel><pixel entre les ensembles de visages A/B n’est pas nécessairement utile à cet égard; mais c’est tout ce qui est proposé dans les logiciels de deepfakes FOSS de pointe.

Ce qui est probablement nécessaire est un cadre de deepfakes qui ne peut pas seulement reconnaître les expressions et déduire les émotions, mais a la capacité d’incarner des concepts de haut niveau tels que en colère, séducteur, ennuyé, fatigué, etc., et de catégoriser ces émotions et leurs expressions liées dans chacun des deux ensembles de visages, plutôt que d’examiner et de reproduire la disposition d’une bouche ou d’une paupière.

Par conséquent, l’attrait séducteur de Marilyn Monroe pourrait sembler moins sophistiqué sur Seth Rogan, tandis que l’attrait séducteur de Marilyn Monroe pourrait se traduire par une émotion négative si elle était deepfakée sur une personne dont le rôle le plus disponible est « en colère » ou « désaffecté » (comme le personnage d’Aubrey Plaza dans sept saisons de Parks and Recreation).