Une avancée notable dans la vidéo IA guidée par l’humain

Remarque: La page du projet pour ce travail comprend 33 vidéos haute résolution en lecture automatique totalisant une demi-gigaoctet, ce qui a déstabilisé mon système lors du chargement. Pour cette raison, je ne vais pas la lier directement. Les lecteurs peuvent trouver l’URL dans le résumé ou le PDF de l’article s’ils le souhaitent.

L’un des objectifs principaux de la recherche actuelle sur la synthèse de vidéos est de générer une performance de vidéo entièrement guidée par l’IA à partir d’une seule image. Cette semaine, un nouvel article de Bytedance Intelligent Creation a présenté ce qui pourrait être le système le plus complet de ce type jusqu’à présent, capable de produire des animations à corps entier et à demi-corps qui combinent des détails faciaux expressifs avec des mouvements à grande échelle précis, tout en améliorant la cohérence d’identité – un domaine où même les systèmes commerciaux les plus avancés ont souvent des lacunes.

Dans l’exemple ci-dessous, nous voyons une performance guidée par un acteur (en haut à gauche) et dérivée d’une seule image (en haut à droite), qui fournit un rendu remarquablement flexible et agile, sans les problèmes habituels liés à la création de grands mouvements ou à la « devinette » sur les zones occultées (c’est-à-dire les parties de vêtements et les angles faciaux qui doivent être déduits ou inventés car ils ne sont pas visibles dans la seule photo source):

CONTENU AUDIO. Cliquez pour jouer. Une performance est née de deux sources, y compris la synchronisation labiale, qui est normalement le domaine de systèmes auxiliaires dédiés. Il s’agit d’une version réduite du site source (voir la note au début de l’article – s’applique à toutes les autres vidéos intégrées ici).

Bien que nous puissions voir certains défis résiduels concernant la persistance de l’identité à mesure que chaque clip progresse, ceci est le premier système que j’ai vu qui excelle généralement (bien que pas toujours) à maintenir l’identité sur une période prolongée sans utiliser de LoRAs:

CONTENU AUDIO. Cliquez pour jouer. Autres exemples du projet DreamActor.

Le nouveau système, intitulé DreamActor, utilise un système de contrôle hybride à trois parties qui accorde une attention particulière à l’expression faciale, à la rotation de la tête et à la conception du squelette central, permettant ainsi des performances guidées par l’IA où ni l’aspect facial ni le corps ne souffrent les uns des autres – une capacité rare, voire inconnue, parmi les systèmes similaires.

En bas, nous voyons l’un de ces aspects, la rotation de la tête, en action. La balle colorée dans le coin de chaque miniature vers la droite indique une sorte de cardan virtuel qui définit l’orientation de la tête de manière indépendante du mouvement et de l’expression faciale, qui est ici guidée par un acteur (en bas à gauche).

Cliquez pour jouer. La balle multicolore visualisée ici représente l’axe de rotation de la tête de l’avatar, tandis que l’expression est alimentée par un module distinct et informée par la performance d’un acteur (vue ici en bas à gauche).

L’une des fonctionnalités les plus intéressantes du projet, qui n’est même pas incluse correctement dans les tests de l’article, est sa capacité à dériver le mouvement de synchronisation labiale directement à partir de l’audio – une capacité qui fonctionne de manière inhabituelle, même sans vidéo d’acteur de référence.

Les chercheurs ont pris les meilleurs systèmes existants dans cette poursuite, notamment le très acclamé Runway Act-One et LivePortrait, et rapportent que DreamActor a pu obtenir de meilleurs résultats quantitatifs.

Étant donné que les chercheurs peuvent établir leurs propres critères, les résultats quantitatifs ne sont pas nécessairement une norme empirique; mais les tests qualitatifs qui les accompagnent semblent soutenir les conclusions des auteurs.

Malheureusement, ce système n’est pas destiné à une publication publique, et la seule valeur que la communauté peut potentiellement en tirer est dans la reproduction potentielle des méthodes décrites dans l’article (comme cela a été fait avec un effet notable pour l’équivalent Google Dreambooth en 2022 ).

L’article indique*:

‘L’animation d’images humaines comporte des risques sociaux possibles, comme être utilisée pour créer de fausses vidéos. La technologie proposée pourrait être utilisée pour créer de fausses vidéos de personnes, mais les outils de détection existants [Demamba, Dormant] peuvent détecter ces fausses vidéos.

‘Pour réduire ces risques, des règles éthiques claires et des lignes directrices d’utilisation responsables sont nécessaires. Nous allons restreindre strictement l’accès à nos modèles et codes de base pour prévenir les abus.’

Naturellement, des considérations éthiques de ce type sont pratiques d’un point de vue commercial, car elles fournissent une raison pour accéder à l’API uniquement au modèle, qui peut alors être monétisé. ByteDance a déjà fait cela une fois en 2025, en rendant le très acclamé OmniHuman disponible pour des crédits payants sur le site Dreamina. Par conséquent, puisque DreamActor est peut-être un produit encore plus solide, cela semble être le résultat probable. Ce qui reste à voir est dans quelle mesure ses principes, dans la mesure où ils sont expliqués dans l’article, peuvent aider la communauté open source.

Le nouvel article est intitulé DreamActor-M1: Animation d’image humaine holistique, expressive et robuste avec une guidance hybride, et provient de six chercheurs de Bytedance.

Méthode

Le système DreamActor proposé dans l’article vise à générer une animation humaine à partir d’une image de référence et d’une vidéo de conduite, en utilisant un Diffusion Transformer (DiT) adapté pour l’espace latent (apparemment une sorte de Stable Diffusion, bien que l’article ne cite que la publication phare de 2022).

Plutôt que de s’appuyer sur des modules externes pour gérer la condition de référence, les auteurs fusionnent les caractéristiques d’apparence et de mouvement directement à l’intérieur du squelette DiT, permettant l’interaction dans l’espace et le temps grâce à l’attention:

Schéma pour le nouveau système: DreamActor encode la pose, le mouvement facial et l’apparence en latents distincts, les combinant avec des latents vidéo bruyants produits par un 3D VAE. Ces signaux sont fusionnés dans un Diffusion Transformer en utilisant une auto-attention et une attention croisée, avec des poids partagés entre les branches. Le modèle est supervisé en comparant les sorties débruitées aux latents vidéo propres. Source: https://arxiv.org/pdf/2504.01724

Pour cela, le modèle utilise un autoencodeur variationnel 3D préentraîné pour encoder à la fois la vidéo d’entrée et l’image de référence. Ces latents sont patchifiés, concaténés et introduits dans le DiT, qui les traite conjointement.

Cette architecture s’écarte de la pratique courante consistant à attacher un réseau secondaire pour l’injection de référence, qui était l’approche pour les projets influents Animate Anyone et Animate Anyone 2.

Au lieu de cela, DreamActor intègre la fusion dans le modèle principal lui-même, simplifiant la conception tout en améliorant le flux d’informations entre les indices d’apparence et de mouvement. Le modèle est ensuite formé en utilisant l’appariement de flux plutôt que l’objectif de diffusion standard (l’appariement de flux forme des modèles de diffusion en prédissant directement les champs de vitesse entre les données et le bruit, en sautant l’estimation de score).

Guidage de mouvement hybride

La méthode de guidage de mouvement hybride qui informe les rendus neuronaux combine des jetons de pose dérivés de squelettes de corps 3D et de sphères de tête; des représentations faciales implicites extraites par un encodeur de visage préentraîné; et des jetons d’apparence de référence échantillonnés à partir de l’image source.

Ces éléments sont intégrés dans le Diffusion Transformer en utilisant des mécanismes d’attention distincts, permettant au système de coordonner le mouvement global, l’expression faciale et l’identité visuelle tout au long du processus de génération.

Pour le premier de ces éléments, plutôt que de s’appuyer sur des repères faciaux, DreamActor utilise des représentations faciales implicites pour guider la génération d’expression, apparemment permettant un contrôle plus fin des dynamiques faciales tout en dissociant l’identité et la pose de la tête de l’expression.

Pour créer ces représentations, le pipeline détecte et recadre la région du visage dans chaque trame de la vidéo de conduite, la redimensionnant à 224×224. Les visages recadrés sont traités par un encodeur de mouvement de visage préentraîné sur le PD-FGC, qui est ensuite conditionné par une couche MLP.

PD-FGC, employé dans DreamActor, génère une tête qui parle à partir d’une image de référence avec un contrôle disjoint de la synchronisation labiale (à partir de l’audio), de la pose de la tête, du mouvement des yeux et de l’expression (à partir de vidéos distinctes), permettant une manipulation précise et indépendante de chacun. Source: https://arxiv.org/pdf/2211.14506

Le résultat est une séquence de jetons de mouvement de visage, qui sont injectés dans le Diffusion Transformer à travers une couche d’attention croisée.

Le même cadre prend également en charge une version audio distincte, dans laquelle un encodeur distinct est formé qui mappe directement l’entrée audio à des jetons de mouvement de visage. Cela permet de générer une animation faciale synchronisée – y compris les mouvements des lèvres – sans vidéo de conduite.

CONTENU AUDIO. Cliquez pour jouer. Synchronisation labiale dérivée uniquement de l’audio, sans vidéo d’acteur de référence. La seule entrée de personnage est la photo statique visible en haut à droite.

Deuxièmement, pour contrôler la pose de la tête de manière indépendante de l’expression faciale, le système introduit une représentation de sphère de tête 3D (voir la vidéo intégrée plus tôt dans cet article), qui découple les dynamiques faciales du mouvement global de la tête, améliorant ainsi la précision et la flexibilité pendant l’animation.

Les sphères de tête sont générées en extrayant des paramètres faciaux 3D – tels que la rotation et la pose de la caméra – à partir de la vidéo de conduite en utilisant la méthode de suivi FaceVerse.

Schéma pour le projet FaceVerse. Source: https://www.liuyebin.com/faceverse/faceverse.html

Ces paramètres sont utilisés pour rendre une sphère de couleur projetée sur le plan d’image 2D, alignée spatialement avec la tête de conduite. La taille de la sphère correspond à la tête de référence, et sa couleur reflète l’orientation de la tête. Cette abstraction réduit la complexité de l’apprentissage du mouvement de la tête 3D, aidant ainsi à préserver des formes de tête stylisées ou exagérées dans les personnages dessinés à partir d’animations.

Visualisation de la sphère de contrôle influençant l’orientation de la tête.

Enfin, pour guider le mouvement du corps entier, le système utilise des squelettes de corps 3D avec une normalisation de longueur d’os adaptative. Les paramètres du corps et de la main sont estimés en utilisant 4DHumans et le HaMeR axé sur la main, qui fonctionnent tous deux sur le modèle de corps SMPL-X.

SMPL-X applique une maille paramétrique sur le corps humain entier dans une image, en alignant avec la pose et l’expression estimées pour permettre une manipulation sensible à la pose en utilisant la maille comme guide volumétrique. Source: https://arxiv.org/pdf/1904.05866

À partir de ces sorties, des articulations clés sont sélectionnées, projetées en 2D et connectées en cartes de squelette linéaires. Contrairement aux méthodes telles que Champ, qui rendent des maillages de corps entier, cette approche évite d’imposer des a priori de forme prédéfinis, et en s’appuyant uniquement sur la structure squelettique, le modèle est ainsi encouragé à déduire la forme et l’apparence du corps directement à partir des images de référence, réduisant ainsi les biais vers des types de corps fixes et améliorant la généralisation à travers une gamme de poses et de morphologies.

Pendant la formation, les squelettes de corps 3D sont concaténés avec les sphères de tête et passés à travers un encodeur de pose, qui produit des fonctions qui sont ensuite combinées avec des latents vidéo bruyants pour produire les jetons de bruit utilisés par le Diffusion Transformer.

À l’inférence, le système tient compte des différences squelettiques entre les sujets en normalisant les longueurs d’os. Le modèle d’édition d’image préformé SeedEdit transforme à la fois les images de référence et de conduite en une configuration canonique standard. RTMPose est ensuite utilisé pour extraire les proportions squelettiques, qui sont utilisées pour ajuster le squelette de conduite pour correspondre à l’anatomie du sujet de référence.

Vue d’ensemble du pipeline d’inférence. Des pseudo-références peuvent être générées pour enrichir les indices d’apparence, tandis que des signaux de contrôle hybrides – mouvement facial implicite et pose explicite à partir de sphères de tête et de squelettes de corps – sont extraits de la vidéo de conduite. Ces signaux sont ensuite introduits dans un modèle DiT pour produire une sortie animée, avec le mouvement facial dissocié de la pose du corps, permettant l’utilisation de l’audio comme conducteur.

Guidage d’apparence

Pour améliorer la fidélité d’apparence, en particulier dans les zones occultées ou rarement visibles, le système complète l’image de référence principale avec des pseudo-références échantillonnées à partir de la vidéo d’entrée.

Cliquez pour jouer. Le système anticipe la nécessité de rendre avec précision et cohérence les régions occultées. C’est à peu près aussi proche que j’ai vu, dans un projet de ce type, d’une approche de texture bitmap de type CGI.

Ces cadres supplémentaires sont choisis pour la diversité de pose en utilisant RTMPose, et filtrés en utilisant une similarité basée sur CLIP pour garantir qu’ils restent cohérents avec l’identité du sujet.

Toutes les trames de référence (principales et pseudo) sont encodées par le même encodeur visuel et fusionnées par un mécanisme d’auto-attention, permettant au modèle d’accéder à des indices d’apparence complémentaires. Cette configuration améliore la couverture de détails tels que les vues de profil ou les textures de membres. Les pseudo-références sont toujours utilisées pendant la formation et facultativement pendant l’inférence.

Formation

DreamActor a été formé en trois étapes pour introduire progressivement la complexité et améliorer la stabilité.

Dans la première étape, seuls les squelettes de corps 3D et les sphères de tête 3D ont été utilisés comme signaux de contrôle, en excluant les représentations faciales. Cela a permis au modèle de base de génération de vidéo, initialisé à partir de MMDiT, de s’adapter à l’animation humaine sans être submergé par des contrôles très fins.

Dans la deuxième étape, les représentations faciales implicites ont été ajoutées, mais tous les autres paramètres gelés. Seules les couches d’encodeur de mouvement de visage et d’attention de visage ont été formées à ce stade, permettant au modèle d’apprendre des détails expressifs de manière isolée.

Dans la dernière étape, tous les paramètres ont été dégelés pour une optimisation conjointe de l’apparence, de la pose et des dynamiques faciales.

Données et tests

Pour la phase de test, le modèle est initialisé à partir d’un point de repère DiT préformé pour l’image-vidéo et formé en trois étapes: 20 000 étapes pour chacune des deux premières étapes et 30 000 étapes pour la troisième.

Pour améliorer la généralisation à travers différentes durées et résolutions, des extraits de vidéos ont été échantillonnés aléatoirement avec des longueurs comprises entre 25 et 121 trames. Ces extraits ont ensuite été redimensionnés à 960x640px, en préservant le rapport d’aspect.

La formation a été effectuée sur huit (China-focused) GPU NVIDIA H20, chacun avec 96 Go de VRAM, en utilisant l’optimiseur AdamW avec un taux d’apprentissage (tolérablement élevé) de 5e−6.

À l’inférence, chaque segment de vidéo contenait 73 trames. Pour maintenir la cohérence entre les segments, le dernier latent d’un segment a été réutilisé comme le premier latent pour le segment suivant, ce qui contextualise la tâche comme une génération d’image-vidéo séquentielle.

Un guidage sans classeur a été appliqué avec un poids de 2,5 pour les images de référence et les signaux de contrôle de mouvement.

Les auteurs ont construit un jeu de données de formation (aucune source n’est indiquée dans l’article) comprenant 500 heures de vidéo issues de domaines divers, présentant des exemples de (entre autres) danse, sports, film et discours public. Le jeu de données a été conçu pour capturer un large spectre de mouvement et d’expression humaine, avec une répartition égale entre les plans de corps entier et de demi-corps.

Pour améliorer la qualité de synthèse faciale, Nersemble a été intégré dans le processus de préparation des données.

Exemples à partir du jeu de données Nersemble, utilisé pour augmenter les données pour DreamActor. Source: https://www.youtube.com/watch?v=a-OAWqBzldU

Pour l’évaluation, les chercheurs ont utilisé leur jeu de données comme référence pour évaluer la généralisation à travers divers scénarios.

Les performances du modèle ont été mesurées en utilisant des métriques standard issues de travaux antérieurs: Fréchet Inception Distance (FID); Indice de similarité structurelle (SSIM); Similarité d’image perçue apprise (LPIPS); et Rapport signal-bruit de pointe (PSNR) pour la qualité au niveau des trames. La distance de vidéo Fréchet (FVD) a été utilisée pour évaluer la cohérence temporelle et la fidélité vidéo globale.

Les auteurs ont mené des expériences sur les tâches d’animation de corps et de portrait, toutes employant une seule image de référence (cible).

Pour l’animation de corps, DreamActor-M1 a été comparé à Animate Anyone; Champ; MimicMotion; et DisPose.

Comparaisons quantitatives avec des cadres rivaux.

Bien que le PDF fournisse une image statique à titre de comparaison visuelle, l’une des vidéos du site du projet peut mettre en évidence les différences de manière plus claire:

CONTENU AUDIO. Cliquez pour jouer. Une comparaison visuelle entre les cadres concurrents. La vidéo de conduite est visible en haut à gauche, et la conclusion des auteurs selon laquelle DreamActor produit les meilleurs résultats semble raisonnable.

Pour les tests d’animation de portrait, le modèle a été évalué contre LivePortrait; X-Portrait; SkyReels-A1; et Act-One.

Comparaisons quantitatives pour l’animation de portrait.

Les auteurs notent que leur méthode l’emporte dans les tests quantitatifs et soutiennent qu’elle est également supérieure qualitativement.

CONTENU AUDIO. Cliquez pour jouer. Exemples de comparaisons d’animation de portrait.

Il est arguable que le troisième et dernier des extraits montrés dans la vidéo ci-dessus présente une synchronisation labiale moins convaincante par rapport à certains des cadres rivaux, bien que la qualité générale soit remarquablement élevée.

Conclusion

En anticipant la nécessité de textures qui sont impliquées mais pas réellement présentes dans l’image cible unique qui alimente ces reconstitutions, Bytedance a abordé l’un des plus grands défis auxquels est confrontée la génération de vidéos basée sur la diffusion – des textures cohérentes et persistantes. L’étape logique suivante après avoir perfectionné une telle approche serait de créer une sorte d’atlas de référence à partir de la première bande générée qui pourrait être appliquée à des générations ultérieures et différentes, pour maintenir l’apparence sans LoRAs.

Bien qu’une telle approche soit en réalité un référentiel externe, ce n’est pas différent de la texture-mapping dans les techniques CGI traditionnelles, et la qualité de réalisme et de plausibilité est bien supérieure à celle que ces anciennes méthodes peuvent obtenir.

Ceci étant dit, l’aspect le plus impressionnant de DreamActor est le système de guidage à trois parties combinées, qui relie de manière ingénieuse la frontière traditionnelle entre la synthèse humaine axée sur le visage et la synthèse humaine axée sur le corps.

Il ne reste plus qu’à voir si certains de ces principes fondamentaux peuvent être exploités dans des offres plus accessibles; tel qu’il est, DreamActor semble destiné à devenir une autre offre de synthèse en tant que service, sévèrement limitée par les restrictions d’utilisation et par l’impracticalité d’expérimenter de manière approfondie avec une architecture commerciale.

* Ma substitution de liens hypertexte pour les auteurs; citations intégrales

^† Comme mentionné plus tôt, il n’est pas clair avec quelle saveur de Stable Diffusion a été utilisée dans ce projet.

Publié pour la première fois vendredi 4 avril 2025