Modification des émotions dans les vidéos avec l’IA

Des chercheurs de Grèce et du Royaume-Uni ont développé une nouvelle approche d’apprentissage profond pour modifier les expressions et les émotions apparentes des personnes dans les vidéos, tout en préservant la fidélité de leurs mouvements de lèvres à l’audio original d’une manière que les tentatives précédentes n’ont pas pu égaler.

À partir de la vidéo qui accompagne l’article (intégrée à la fin de cet article), un court extrait de l’acteur Al Pacino dont l’expression est subtilement modifiée par NED, basé sur des concepts sémantiques de haut niveau définissant des expressions faciales individuelles et leurs émotions associées. La méthode « Reference-Driven » sur la droite prend l’émotion interprétée d’une vidéo source et l’applique à l’ensemble d’une séquence vidéo. Source: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Ce domaine particulier fait partie de la catégorie croissante des émotions deepfaked, où l’identité du locuteur original est préservée, mais ses expressions et micro-expressions sont modifiées. À mesure que cette technologie d’IA mature, elle offre la possibilité pour les productions de films et de télévision de faire des modifications subtiles aux expressions des acteurs – mais elle ouvre également une nouvelle catégorie de « vidéos deepfaked avec émotions modifiées ».

Changement de visage

Les expressions faciales des personnalités publiques, telles que les politiciens, sont soigneusement étudiées; en 2016, les expressions faciales de Hillary Clinton ont fait l’objet d’une scrutiny intense des médias pour leur impact potentiel négatif sur ses perspectives électorales; les expressions faciales, il s’avère, sont également un sujet d’intérêt pour le FBI; et elles constituent un indicateur critique lors des entretiens d’embauche, ce qui rend la perspective d’un filtre de contrôle d’expression en direct très désirable pour les chercheurs d’emploi qui tentent de passer un pré-écran sur Zoom.

Une étude de 2005 au Royaume-Uni a affirmé que l’apparence faciale influence les décisions de vote, tandis qu’un article de 2019 du Washington Post a examiné l’utilisation de vidéos hors contexte, qui est actuellement la chose la plus proche que les partisans de la fausse information ont pour modifier la façon dont une personnalité publique semble se comporter, réagir ou ressentir.

Vers la manipulation neurale des expressions

Actuellement, l’état de l’art dans la manipulation de l’affect facial est assez rudimentaire, car il s’agit de résoudre le désentanglement de concepts de haut niveau (tels que triste, en colère, heureux, souriant) à partir du contenu vidéo réel. Bien que les architectures de deepfake traditionnelles semblent réaliser ce désentanglement assez bien, le fait de refléter les émotions à travers différentes identités nécessite encore que deux jeux de données faciales contiennent des expressions correspondantes pour chaque identité.

Exemples typiques d’images de visages dans les jeux de données utilisés pour former des deepfakes. Actuellement, vous ne pouvez modifier l’expression faciale d’une personne que en créant des chemins d’expression spécifiques à l’identité dans un réseau neuronal de deepfake. Le logiciel de deepfake de 2017 n’a pas de compréhension intrinsèque, sémantique, d’un « sourire » – il ne fait que mapper et faire correspondre les changements perçus de la géométrie faciale entre les deux sujets.

Ce qui est souhaitable, et n’a pas encore été parfaitement réalisé, est de reconnaître comment le sujet B (par exemple) sourit, et de créer simplement un ‘sourire’ dans l’architecture, sans avoir besoin de le mapper à une image équivalente du sujet A souriant.

L’article s’intitule Neural Emotion Director: Contrôle sémantique de l’expression faciale dans les vidéos « in-the-wild », et provient de chercheurs de l’École d’ingénierie électrique et informatique de l’Université technique nationale d’Athènes, de l’Institut d’informatique de la Fondation pour la recherche et la technologie Hellas (FORTH), et du Collège d’ingénierie, de mathématiques et de sciences physiques de l’Université d’Exeter au Royaume-Uni.

L’équipe a développé un cadre appelé Neural Emotion Director (NED), qui intègre un réseau de traduction d’émotion basé sur 3D, 3D-Based Emotion Manipulator.

NED prend une séquence reçue de paramètres d’expression et la traduit en un domaine cible. Il est formé sur des données non appariées, ce qui signifie qu’il n’est pas nécessaire de former sur des jeux de données où chaque identité a des expressions faciales correspondantes.

La vidéo, présentée à la fin de cet article, passe par une série de tests où NED impose un état émotionnel apparent sur des extraits de la base de données YouTube.

Les auteurs affirment que NED est la première méthode basée sur la vidéo pour « diriger » des acteurs dans des situations aléatoires et imprévisibles, et ont mis le code à disposition sur la page du projet NED.

Méthode et architecture

Le système est formé sur deux grands jeux de données vidéo annotés avec des étiquettes d’« émotion ».

La sortie est activée par un rendu de visage vidéo qui rend l’émotion souhaitée à la vidéo en utilisant des techniques de synthèse d’images faciales traditionnelles, notamment la segmentation du visage, l’alignement des repères faciaux et le mélange, où seul le domaine facial est synthétisé, puis imposé sur la vidéo originale.

L’architecture de la pipeline de Neural Emotion Detector (NED). Source: https://arxiv.org/pdf/2112.00585.pdf

Initialement, le système obtient la récupération faciale 3D et impose des alignements de repères faciaux sur les trames d’entrée afin d’identifier l’expression. Après cela, ces paramètres d’expression récupérés sont transmis au manipulateur d’émotion basé sur 3D, et un vecteur de style calculé à l’aide d’une étiquette sémantique (telle que « heureux ») ou d’un fichier de référence.

Un fichier de référence est une vidéo qui représente une expression/emotion particulière reconnue, qui est ensuite imposée à l’ensemble de la vidéo cible, en remplaçant l’expression originale.

Étapes du pipeline de transfert d’émotion, mettant en vedette divers acteurs échantillonnés à partir de vidéos YouTube.

La forme faciale 3D finale générée est ensuite concaténée avec les coordonnées de visage moyen normalisées (NMFC) et les images d’yeux (les points rouges sur l’image ci-dessus), et transmise au rendu neuronal, qui effectue la manipulation finale.

Résultats

Les chercheurs ont mené des études approfondies, notamment des études d’utilisateurs et d’ablation, pour évaluer l’efficacité de la méthode par rapport aux travaux antérieurs, et ont constaté que dans la plupart des catégories, NED surpasse l’état actuel de l’art dans ce sous-secteur de la manipulation faciale neuronale.

Les auteurs de l’article imaginent que les mises en œuvre ultérieures de ce travail, et les outils de nature similaire, seront utiles principalement dans les industries de la télévision et du cinéma, en déclarant:

‘Notre méthode ouvre une multitude de nouvelles possibilités pour des applications utiles des technologies de rendu neuronal, allant de la post-production cinématographique et des jeux vidéo aux avatars affectifs photoréalistes.’

Il s’agit d’un travail préliminaire dans le domaine, mais l’un des premiers à tenter la réenactment facial avec des vidéos plutôt que des images fixes. Même si les vidéos sont essentiellement de nombreuses images fixes s’affichant très rapidement, il existe des considérations temporelles qui rendent les applications précédentes du transfert d’émotion moins efficaces. Dans la vidéo qui accompagne l’article, et les exemples dans l’article, les auteurs incluent des comparaisons visuelles de la sortie de NED par rapport à d’autres méthodes comparables récentes.

Des comparaisons plus détaillées, et de nombreux autres exemples de NED, peuvent être trouvés dans la vidéo complète ci-dessous:

3 décembre 2021, 18h30 GMT+2 – À la demande de l’un des auteurs de l’article, des corrections ont été apportées concernant le « fichier de référence », que j’ai malencontreusement déclaré être une photo fixe (alors qu’il s’agit en fait d’une vidéo). Aussi, une correction a été apportée au nom de l’Institut d’informatique de la Fondation pour la recherche et la technologie.
3 décembre 2021, 20h50 GMT+2 – Une deuxième demande de l’un des auteurs de l’article pour une modification supplémentaire du nom de l’institution mentionnée ci-dessus.