Sans langue ! Des chercheurs en IA s’attaquent à une lacune anatomique de l’animation faciale

Ce qui nous a échappé en 2026 : C’est cette période de l’année où le rythme de la recherche, tant en qualité qu’en volume, fluctue au gré des dernières conférences de novembre et décembre. Pour traverser ces périodes de disette épisodiques, nous nous penchons sur certains des articles les plus intéressants qui ont failli être retenus en 2026, mais qui ont été écartés au profit d’autres travaux, lors de périodes de soumission plus concurrentielles.

Jusqu’à récemment, les adeptes du deepfake, amateurs comme professionnels, avaient des préoccupations plus importantes que de savoir si l’humain reconstitué semblait avoir une langue. Après tout, la langue est le trait du visage le plus imprévisible : elle n’est pas du tout visible chez les personnes qui marmonnent et n’apparaît que par intermittence dans la plupart des situations ordinaires.

Par conséquent, lorsqu’on en a besoin, elle est absente des reconstitutions par IA. À l’heure où la reconstitution amateur par diffusion atteint un réalisme saisissant et où notre regard critique sur les humains générés par IA s’affine sans cesse, il est peut-être temps de s’attaquer au problème.

Un problème qui ne manque pas de mordant

En juillet, une collaboration universitaire entre l’Australie et la Chine a proposé une chaîne de traitement pour remédier à l’absence de simulation de la langue dans les processus d’IA. Intitulé TongueReenact, le cadre proposé mobilise pratiquement toutes les méthodes de la boîte à outils du deepfake pour résoudre le problème, notamment le splatting gaussien, les humains paramétriques, les champs de radiance neuronaux (NeRF) et la génération vidéo par diffusion (désolé, les GAN, vous n’avez pas été retenus cette fois).

Ci-dessus, la capture réelle de la personne qui guide l’animation, dont les caractéristiques sont transférées au rendu TongueReenact présenté en dessous. Source

Bien que le code promis par l’équipe ne semble pas avoir été publié depuis la parution de l’article et qu’aucune vidéo supplémentaire n’ait encore été mise en ligne, il s’agit néanmoins d’une avancée marquante : c’est la première étude à s’intéresser à la langue dans le cadre de la reconstitution par IA en dehors du domaine médical, et à combler le manque crucial de données annotées, indispensables à toute solution proposée.

Les chercheurs ont fait preuve d’ingéniosité en exploitant divers cadres et jeux de données existants afin de créer un système de segmentation de la langue reposant sur SegmentAnything et de générer des pseudo-étiquettes pour les données nouvellement segmentées.

L’article indique :

«[We] Nous présentons le premier cadre permettant le transfert inter-identités des mouvements de la langue dans la réanimation faciale. À partir d’une image source et d’une vidéo de pilotage, notre méthode transfère à l’identité source les mouvements du visage et l’articulation de la langue.

« L’idée centrale de notre travail est que la synthèse de la langue ne peut pas être considérée comme un simple problème de retouche d’image. La langue doit être ancrée dans la géométrie du visage source, qui change elle-même à chaque image de la vidéo de pilotage. »

Le système commence par transférer les mouvements du visage de la personne qui guide l’animation sur le visage source, à l’aide du splatting gaussien 3D et du modèle facial FLAME. Il en résulte un visage animé dont la pose et l’expression sont correctes, mais auquel il manque toujours la langue.

Le processus TongueReenact. En haut : les images de langues sont repérées et segmentées, puis affinées manuellement afin d’entraîner un modèle de détection. En bas : les mouvements du visage sont transférés d’une vidéo de pilotage vers un visage source, puis un modèle de diffusion génère la langue manquante à l’endroit approprié.

Un modèle Stable Diffusion est ensuite utilisé pour générer la langue manquante, en s’appuyant sur son apparence dans la vidéo de pilotage et sur la géométrie du visage reconstitué.

À propos de la nécessité de remédier à cette lacune de la reconstitution faciale, les auteurs font remarquer* :

« Lors d’expressions marquées comme le rire, le dégoût ou la surprise, [the tongue] peut occuper à elle seule toute la région visible de la bouche. Pourtant, presque tous les systèmes de réanimation faciale et d’avatars existants modélisent l’intérieur de la bouche comme un vide sans texture ou laissent la langue totalement sans contraintes.

« Cette négligence n’est pas fortuite : la langue est une structure particulièrement fugace, entièrement dissimulée au repos, exposée par intermittence pendant la parole et soudainement dominante dans les expressions extrêmes. Elle se prête donc fondamentalement mal à la modélisation paramétrique statique appliquée au reste du visage.

« S’attaquer à ce problème négligé est la principale motivation de notre travail. »

Lors des tests, la nouvelle méthode a largement surpassé cinq systèmes concurrents d’animation faciale, affichant un avantage de précision supérieur à 100 % sur son rival le plus proche pour les principales mesures du positionnement et de la taille de la langue. Il faut toutefois reconnaître qu’il est difficile de concevoir des tests de ce type lorsqu’on explore un terrain vierge et que les cadres antérieurs ne répondent que très peu, voire pas du tout, au nouveau défi.

Examinons de plus près cette nouvelle approche.

Méthode

Pour mettre au point un système capable de repérer les langues dans des séquences vidéo faciales ordinaires, les enregistrements multi-vues de têtes humaines de l’ensemble de données NERSemble ont été associés à des images générées synthétiquement à partir de l’ensemble de données VFHQ, qui comprend plus de 16 000 vidéos faciales de haute qualité :

Appuyez pour lireUn exemple particulièrement « lingual » de reconstruction par champ de radiance, tiré du site du projet Nersemble. Toutefois, la langue visible ici est traitée comme une géométrie générique, sans domaine distinct.Source 

Le modèle de segmentation faciale MaskGAN a servi à localiser la bouche dans chaque image. Le détecteur médical TongueSAM a ensuite été utilisé pour repérer la région susceptible de contenir la langue, avant de transmettre l’image à SegmentAnything, qui a généré un premier contour (c’est-à-dire un pseudo-étiquetage) de la partie visible de la langue.

Exemples tirés de l’ensemble de données TongueSAM, conçu pour un usage médical analytique plutôt que pour l’évaluation des expressions faciales. Source

Les masques obtenus ont été répartis en trois groupes, selon la proportion de langue visible. Les exemples incorrects ont été écartés, et les masques prometteurs ont été corrigés manuellement afin de distinguer la langue des lèvres, des dents et des autres tissus environnants de la bouche. Ces annotations affinées ont servi à entraîner le réseau de segmentation d’images BiSeNet.

Le modèle a ensuite été appliqué à d’autres sujets de NERSemble et à des images synthétiques de VFHQ. Ses prédictions ont été vérifiées et corrigées par des humains avant la poursuite de l’entraînement. Ce processus a été répété jusqu’à ce que les performances sur des sujets jamais vus auparavant se stabilisent :

Processus de conversion des données existantes en données du « domaine de la langue ».

Pour synthétiser la langue, la région buccale repérée par BiSeNet a été légèrement agrandie avant d’être transmise au modèle de diffusion. La langue générée pouvait ainsi dépasser la segmentation initiale lorsque la forme de la bouche changeait.

La génération a été réalisée dans l’espace latent de Variations d’images Stable Diffusion, avec des guidages distincts dérivés de la géométrie faciale reconstruite et de la langue visible dans l’image de pilotage. Seule la région identifiée de la bouche et de la langue a été régénérée.

Le processus génératif. La référence à DINO V2 dans le quadrant supérieur gauche illustre l’utilisation de GAGAvatar (voir ci-dessous), qui combine les caractéristiques d’apparence de DINO V2 avec FLAME.

Données et tests

BiSeNet a été entraîné à distinguer deux classes de sortie issues des étapes de traitement des données décrites précédemment : arrière-plan et langue. L’entraînement a porté sur 50 000 itérations, avec un taux d’apprentissage de 10^-3, à partir d’images de 512×512 px et par lots de 4, sur un seul processeur graphique NVIDIA A40 doté de 48 Go de VRAM. Les données d’entraînement comprenaient les images de NERSemble et de VFHQ mentionnées précédemment.

Pour la partie consacrée au réenregistrement, le réseau de base Gaussian Splatting préentraîné GAGAvatar a été utilisé. Le point de contrôle Stable Diffusion Image Variations a également été employé, avec l’encodeur VAE et l’encodeur CLIP figés. Les encodeurs de guidage et le UNET de débruitage ont ensuite été entraînés sur les données de NERSemble pendant 85 000 itérations, avec une taille de lot de 8 et des entrées de 512×512. Pour l’inférence, 20 étapes DDIM ont été utilisées (pour de nombreux modèles de diffusion actuels, ce nombre est considéré comme élevé et vise à privilégier les détails, au prix de certains compromis inévitables).

Les cadres d’avatar concurrents évalués étaient GPAvatar, le célèbre LivePortrait, X-NeMo et X-Portrait. Chacun a été évalué sur 9 000 paires VFHQ inter-identités comprenant une image source et une image de pilotage.

Les mesures utilisées étaient la similarité perceptuelle apprise entre patches d’image (LPIPS), la présence de la langue (la proportion d’images dans lesquelles une langue est détectée), l’intersection sur l’union de la langue (le chevauchement entre les régions de la langue générée et de celle de l’image de pilotage) et la similarité de la surface de la langue (la mesure dans laquelle la taille de la langue générée correspond à celle de la langue de l’image de pilotage).

Résultats des tests comparant TongueReenact à cinq autres cadres d’animation faciale. TongueReenact obtient les meilleurs résultats pour les quatre métriques propres à la langue ; les flèches indiquent si les scores les plus faibles ou les plus élevés sont préférables.

À propos de cette première comparaison, les auteurs déclarent :

« Notre méthode obtient les meilleurs résultats pour les quatre métriques de transfert de la langue, avec une IoU de la langue de 0,3582 et une similarité de surface de la langue de 0,4338, soit plus du double de celles du concurrent le plus proche, ce qui confirme que le transfert des mouvements de la langue est nettement plus précis. »

« Le score de présence de la langue de 0,7891 montre en outre que notre méthode synthétise de manière fiable les mouvements visibles de la langue, alors que les méthodes existantes n’en produisent souvent aucun. »

Quelques exemples marquants parmi les nombreux exemples qualitatifs présentés dans l’article d’origine. On voit ici des comparaisons entre la nouvelle approche et les cinq méthodes concurrentes précédentes, dont aucune n’est capable de générer une langue. Consultez l’article d’origine pour découvrir d’autres exemples et voir les images dans une meilleure résolution.

Bien que nous ne puissions pas en juger nous-mêmes, faute de matériel vidéo supplémentaire disponible actuellement, les auteurs ont également testé la cohérence temporelle du système à l’aide de T-LPIPS :

Résultats des tests de cohérence temporelle.

Les auteurs commentent ces résultats :

« Notre modèle complet réduit considérablement les saccades du flux (0,218543 contre 0,622901) et l’amplitude du flux (0,513165 contre 1,254073), ce qui confirme que le débruitage ancré sur la géométrie produit des mouvements de langue fluides et stables. »

« Le score T-LPIPS plus faible confirme également que la synthèse de la langue ne compromet pas la cohérence temporelle. »

Conclusion

L’effet de la vallée de l’étrange est progressivement surmonté par certains des modèles vidéo récents fondés sur la diffusion. Cependant, une nouvelle barrière psychologique semble émerger : les gens réagissent négativement aux contenus générés par l’IA pour des raisons autres que la qualité de ce qu’ils regardent.

Cela risque de compliquer l’évaluation qualitative, même si je pense que des indicateurs fondés sur des tests « à l’aveugle » (où l’utilisateur veut déprécier les résultats de l’IA, mais craint de déprécier les résultats réels) pourraient aider à élaborer une sorte d’échelle « fantôme » du réalisme de l’IA.

Ainsi, bien que des axes de recherche importants portent sur la reproduction par l’IA de caractéristiques secondaires de l’identité, comme les cheveux, la simulation des émotions, le regard et, désormais, les mouvements de la langue, ces pistes pourraient, pour l’instant, être sans objet.

* Ma conversion des citations intégrées des auteurs en hyperliens.

Première publication le mercredi 11 novembre 2026