Vers la génération de vidéos de fausses images corporelles entières et en temps réel

Dans un domaine où la patience est requise, un nouveau système nous rapproche un peu plus de la simulation humaine en direct sans les rondes de rendu frustrantes.

L’état de l’art de la simulation humaine complète a parcouru un long chemin depuis que la possibilité de fausses images corporelles entières est apparue en 2022. Nous nous sommes maintenant habitués à la capacité formidable et souvent controversée des systèmes open source tels que Wan-Animate, et des systèmes fermés tels que Grok, pour convertir une ou plusieurs images en une performance vidéo cohérente et souvent transformatrice:

Cliquez pour jouer si nécessaire. Exemples de remplacement de personne avec WanAnimate-2.2. Veuillez vous référer à la source pour une meilleure résolution.  Source 

En outre, l’ancien cadre de fausses images faciales en temps réel basé sur auto-encodeur DeepFaceLive a depuis été dépassé par des cadres plus sophistiqués tels que Deep-Live-Cam, qui utilise une orchestration d’itérations LivePortrait, ainsi que des modules GAN et InsightFace hérités, pour créer un successeur efficace en temps réel du projet DFLive (maintenant abandonné):

Cliquez pour jouer: Elon Musk avec une fausse image en direct via Deep-Live-Cam. Veuillez vous référer à la source pour une meilleure résolution. Source 

Cependant, alors que des cadres tels que Deep-Live-Cam peuvent fonctionner indéfiniment et créer des fausses images indéfiniment, et qu’ils sont meilleurs pour générer des angles faciaux difficiles qu’auparavant, les résultats sont néanmoins limités en termes de résolution et de capacité: vous pouvez obtenir une face/identité particulière, et elle peut faire beaucoup de choses, telles que des expressions faciales convaincantes et une synchronisation labiale – mais c’est essentiellement un cheval de bataille:

BRB…

La plupart des systèmes actuels d’imitation humaine par IA sont également limités et/ou « spécialisés ». Une contrainte récurrente est que les meilleurs systèmes de simulation/imitation humaine sont hors ligne – c’est-à-dire qu’ils sont trop gourmands en ressources pour fonctionner en temps réel, et doivent s’exécuter, calculer la solution, puis présenter le résultat à l’utilisateur plus tard.

Il est évident que de tels systèmes sont inadaptés pour la transmutation en direct, telle que la transformation d’une gamme de mouvements corporels, comme la danse, dans un flux en direct.

Un exemple de cela ces dernières années est l’open-weights Wan2.2. Animate, qui a connu un succès auprès de la communauté des amateurs et des revendeurs professionnels – mais encore une fois, c’est un scénario « générer et attendre »:

Cliquez pour jouer. À partir de 2025, exemples des capacités impressionnantes de Wan2.2-Animate – si vous pouvez avoir un peu de patience. Veuillez vous référer à la source pour une meilleure résolution. Source 

Donc, comme les choses se présentent, vous pouvez avoir soit l’un, soit l’autre, soit les deux – choisissez-en deux.

LiveAnimate

Dans ce bras de fer mexicain, une nouvelle offre de Chine transforme efficacement Wan2.2 Animate en un cadre d’animation à conduite en direct fonctionnant actuellement à une vitesse respectable de près de 20 images par seconde, avec des résultats impressionnants dans une gamme de scénarios:

Cliquez pour jouer: À partir du site du projet, LiveAnimate transfère des poses de conduite à travers des scénarios de danse sur scène, de plein air et de portrait en gros plan, reproduisant les mouvements du corps entier, des mains et du visage. Veuillez vous référer à la source pour une meilleure résolution. Source 

Le nouveau travail étend le système d’origine en une version capable de fonctionner en direct en changeant comment la vidéo est générée: au lieu de traiter les frames passées et futures ensemble, LiveAnimate génère chaque nouveau segment à mesure que l’action se déroule, en utilisant seulement quelques étapes, tout en conservant des poses précédentes sélectionnées pour maintenir l’apparence du sujet cohérente sur de longues sessions.

En effet, le système conserve les frames précédentes comme une méthode de mémoire persistante pour puiser dans celle-ci à mesure que la vidéo se développe, de sorte que l’identité reste cohérente – pas tout à fait différent de la façon dont les anciens systèmes CGI font référence à des cartes de texture.

Bien qu’un LoRA soit impliqué au stade du traitement, LiveAnimate n’est pas juste un autre système LoRA – sa génération de diffusion, son système de pose/mémoire, ses trois étapes d’inférence et ses optimisations GPU représentent des mécanismes supplémentaires, en plus des diverses autres technologies (certaines étonnamment anciennes) dans son répertoire.

Le nouveau système peut faire face non seulement aux scénarios de conduite à corps complet, tels que ceux des exemples ci-dessus, mais également aux mouvements du corps supérieur, tels que dans les scénarios d’entretien:

Cliquez pour jouer. ‘Mouvement subtil de la tête et des mains sur un décor d’office statique’.

Pour être juste quant à ses limites, le nouveau document admet que deux des cadres de référence testés contre LiveAnimate ont pu préserver l’identité légèrement mieux dans certaines circonstances spécifiques ; cependant, aucun des concurrents n’est un système en ligne plutôt qu’hors ligne, et les auteurs du nouveau travail sont clairement en train de repousser les limites dans une direction plausible et optimiste.

En outre, il peut être utile de noter que l’inférence nécessite deux GPU H100 NVIDIA, pour un total de 160 Go de VRAM*.

Le document indique:

‘LiveAnimate maintient une qualité et une identité perçues presque constantes de la première à la dernière minute, tandis que les systèmes précédents se dégradent considérablement ou nécessitent des heures de calcul hors ligne pour la même diffusion.

‘Ces résultats établissent un nouveau point de fonctionnement en termes de qualité, de latence et de durée pour l’animation interactive à corps complet.’

Le nouveau document est intitulé LiveAnimate: Animation humaine à long terme stable en temps réel, et provient de neuf auteurs issus de l’Université chinoise de Hong Kong, du groupe d’entreprises Qwen Applications d’Alibaba et de Liblib AI. Un site de projet, regorgeant de vidéos également présentées dans cet article, est également disponible, tandis que le code est ‘à venir’, et les poids… qui sait?

Méthode

LiveAnimate constitue un processus d’entraînement en deux étapes conçu pour faire en sorte que Wan2.2-Animate génère en continu et rapidement, suivi d’un système de mémoire qui récupère des poses utiles précédentes à mesure que chaque nouvelle partie de la vidéo est produite:

Une vue d’ensemble du pipeline LiveAnimate, montrant son processus d’entraînement en deux étapes à gauche et la génération en direct à droite, où les poses entrantes sont comparées aux poses précédentes stockées et combinées avec des frames récentes pour générer chaque nouvelle partie de la vidéo en trois étapes. Source 

Le Wan2.2-Animate d’origine est conçu pour considérer une séquence entière plutôt que de générer une vidéo qui s’étend indéfiniment. Par conséquent, pour l’adapter, les auteurs ont divisé les vidéos d’entraînement en blocs successifs, chacun étant généré en utilisant les blocs précédents comme contexte/vérité de base. Cela enseigne initialement au modèle à continuer à partir de matériel précédent fiable, avant de devoir faire face aux erreurs accumulées à partir de sa propre sortie.

Oubliez-moi pas

Au cours de ce processus, l’image de référence d’origine est conservée en permanence via un ‘Ref Sink’, fournissant un rappel fixe de l’identité et de l’apparence de la personne. Une fois qu’un bloc a été terminé, une ‘Clean KV Update’ convertit les informations obtenues à partir de celui-ci en contexte historique pour les blocs suivants (bien que cela ne répare pas les erreurs existantes).

Cette première étape de formation nécessite toujours 50 étapes de débruitage par bloc, ce qui rend l’exploitation en direct impraticable. L’étape suivante réduit donc le processus à trois étapes, en exposant le modèle à son propre historique généré, puisque le déploiement nécessite que chaque nouveau segment dépende de la sortie précédente imparfaite:

Les deux étapes de formation† utilisées pour préparer LiveAnimate pour le déploiement, en premier lieu en apprenant à partir de blocs de vidéo précédents propres – puis en réduisant la génération à trois étapes, tout en formant sur la sortie imparfaite du modèle.

La formation contre ces séquences auto-générées présente un autre problème, car conserver l’histoire de calcul complète d’une vidéo serait prohibitivement coûteux. Au lieu de cela, une course d’entraînement complète est effectuée, puis révisée, un bloc à la fois, pour la formation. Chaque bloc peut donc recevoir une mise à jour sans garder la séquence entière computationnellement ‘active’.

Combiné avec LoRA adaptation, cela permet au modèle de 14 milliards de paramètres d’être distillé sur un nœud contenant huit GPU H100 de 80 Go (en notant que ce cluster est pour la formation, et non pour l’inférence en temps de fonctionnement).

N’arrêtez pas maintenant

Pour une génération indéfinie, LiveAnimate doit également décider de ce qui vaut la peine d’être retenu. Conserver tout ferait exploser les exigences de traitement ; mais conserver uniquement les frames récentes pourrait également jeter des vues précieuses plus anciennes.

Par conséquent Pose-Retrieval Sink Attention (PR-Sink) aborde cela, en conservant le premier bloc généré comme un ‘Static Sink’ permanent – une pose précédente pertinente, fonctionnant comme un ‘Dynamic Sink’ remplaçable, et une fenêtre déroulante contenant le bloc actuel et les deux blocs précédents. L’image de référence reste séparément disponible via le Ref Sink, tandis que des tailles de stockage fixes empêchent les coûts de croître à mesure que la durée de la vidéo augmente.

Guerres de blocs

Pour choisir des poses plus anciennes pour cette mémoire limitée, ViTPose réduit les positions du corps et des mains sur trois frames en une représentation compacte. La banque de mémoire contient cinq poses représentatives, et est peuplée pendant les 20 premiers blocs, en favorisant les poses variées par rapport aux quasi-duplicats.

Pendant la génération, la pose entrante est comparée avec ces représentants et la correspondance la plus proche est récupérée, fournissant des preuves antérieures de la façon dont la personne ressemblait dans une position similaire. Cependant, le bloc immédiatement précédent est exclu, car il existe déjà dans la fenêtre déroulante, laissant le Dynamic Sink libre de récupérer des informations de plus loin.

Enfin, le runtime lui-même est optimisé pour la vitesse en répartissant le traitement de l’attention sur deux GPU H100, en chevauchant la communication avec le calcul, et en réutilisant les informations mises en cache partout où cela est possible.

Données et tests

LiveAnimate a été formé sur 40 000 vidéos de discours à partir de AVSpeech, et 20 000 vidéos de mouvement humain à partir de TikTok dataset et HumanVid, avec une formation et une inférence prenant en charge des résolutions de 480×480 ; 384×672 ; et 672×384 pixels.

La formation a commencé à partir du point de départ Wan2.2-Animate-14B, en utilisant LoRA avec un rang de 128, et a procédé sur huit GPU NVIDIA H100 pendant 10 000 étapes dans la première étape, et 20 000 dans la deuxième.

La vidéo a été générée en blocs de trois frames latentes (la représentation interne compressée du modèle), correspondant à 12 frames RGB, tandis que l’inférence a été effectuée sur les deux H100.

L’évaluation a comparé LiveAnimate avec des méthodes d’animation humaine à conduite de pose existantes sur des séquences courtes et longues, en utilisant des images de référence et des poses de conduite dans des paramètres cohérents. Les tests de longue forme ont étendu la génération à trois minutes pour examiner si la qualité et l’identité restaient stables avec le temps.

Les cadres testés étaient EverAnimate ; One-to-All ; SCAIL^†† ; UniAnimate-DiT ; et Wan2.2-Animate.

Les métriques utilisées couvraient la qualité visuelle, la cohérence de l’identité, la qualité de distribution et l’erreur de représentation temporelle. Aesthetic Score (ASE) et no-reference Image-Quality Assessment (IQA) mesuraient la qualité visuelle au niveau du cadre ; DINO, la similarité (DINO-S), et la cohérence d’apparence avec l’identité de référence ; Fréchet Inception Distance (FID), la qualité de distribution ; et VideoMAE feature distance (V-MAE), à quel point la vidéo générée préservait le mouvement avec le temps:

Résultats de test relatifs à la qualité et à l’identité sur trois minutes de génération continue, avec LiveAnimate restant relativement stable sur les cinq métriques à mesure que la séquence progresse. Plusieurs méthodes concurrentes montrent une dégradation plus importante avec le temps. Les lectures plus élevées sont meilleures pour IQA, ASE et DINO-S, avec des lectures plus basses meilleures pour FID et V-MAE.

Comme le montre le graphique de résultats initial ci-dessus, LiveAnimate a atteint le ASE initial le plus élevé de 2,823, et un IQA de 4,047, sur les 30 premières secondes. Les auteurs soutiennent que cela indique que la distillation en trois étapes préserve la qualité perçue, malgré le budget d’inférence réduit.

Plus important encore, LiveAnimate a montré peu de dégradation pendant trois minutes de génération continue, avec des scores de qualité visuelle et de cohérence d’identité restant presque inchangés.

Inversement, One-to-All s’est dégradé de manière significative avec le temps, avec une qualité visuelle et une cohérence d’identité plus faibles et une erreur de distribution plus élevée ; et le Wan2.2-Animate de base a également montré une certaine perte de cohérence d’identité.

Les auteurs déclarent:

‘Ces tendances soutiennent notre affirmation centrale selon laquelle la gestion explicite du contexte à long terme est importante pour l’animation de diffusion.’

L’efficacité de mise à l’échelle de LiveAnimate a également été testée sur les GPU. Comme le montre ci-dessous, 12,41 images par seconde ont été atteintes avec un H100 ; 19,63 images par seconde avec deux ; et 22,13 images par seconde avec quatre, avec les gains devenant de plus en plus limités par la charge de communication. Deux H100 ont donc été sélectionnés comme configuration préférée:

Efficacité de mise à l’échelle sur un, deux et quatre GPU H100 à une résolution de 480×480, montrant la latence, le taux de frames, l’accélération et l’efficacité. Deux GPU ont atteint 19,63 images par seconde, tandis que la mise à l’échelle à quatre a produit une augmentation modeste à 22,13 images par seconde.

À 19,63 images par seconde, chaque bloc de 12 frames a été généré en 0,611 seconde. En comparaison, environ 2 à 5 heures étaient nécessaires aux systèmes concurrents pour générer la même séquence de trois minutes.

Les tests qualitatifs ont mis en évidence des différences similaires: dans le test de corps complet montré ci-dessous, une dégradation grave a été observée dans One-to-All ; des scintillements ont été produits par UniAnimate-DiT et SCAIL ; et un décalage de couleur ou d’arrière-plan plus tardif est devenu évident avec Wan-Animate et EverAnimate.

Résultats de test comparant l’animation de corps complet sur trois minutes. Des frames ont été échantillonnées toutes les 20 secondes, avec des annotations rouges mettant en évidence la dégradation à long terme des méthodes concurrentes. Les références ont nécessité environ 2 à 5 heures pour générer la séquence, par rapport à environ quatre minutes pour LiveAnimate. Veuillez vous référer au document source pour une meilleure résolution.

LiveAnimate a maintenu l’apparence du sujet et la scène environnante tout au long de la séquence de trois minutes. Dans le test de corps supérieur moins exigeant montré ci-dessous, une stabilité à long terme comparable a été atteinte par EverAnimate et LiveAnimate (bien que la génération en temps réel n’ait été fournie que par LiveAnimate):

Résultats de test comparant l’animation de corps supérieur sur trois minutes. Des frames échantillonnées toutes les 20 secondes montrent LiveAnimate maintenant l’identité, les vêtements et l’arrière-plan sombre plus cohérents que les méthodes concurrentes.

Les auteurs concluent:

‘Sur le benchmark de trois minutes, LiveAnimate maintient une qualité perçue et une identité presque constantes à 19,63 images par seconde sur deux GPU H100, avec une mémoire et une latence indépendantes de la durée du flux, tandis que les références hors ligne se dégradent visiblement ou nécessitent des heures de calcul.

‘Ces résultats amènent les modèles de diffusion vidéo à l’échelle du milliard dans la portée des applications interactives telles que la diffusion en direct, la téléprésence et les avatars virtuels.’

Conclusion

Il est encourageant de voir un cadre de génération à conduite prendre une approche novatrice des problèmes persistants de mémoire et d’identité qui affligent la vidéo générative. Il existe déjà de nombreux cadres génératifs qui peuvent référencer des images fixes fournies par l’utilisateur, sans avoir besoin de ‘coller’ l’image de référence dans le contenu image-vidéo essentiel.

Cependant, cela ne résout que certains des problèmes de génération d’une seule vidéo, tels que maintenir l’identité (y compris les vêtements et la coiffure) d’une personne qui réapparaît dans le cadre, ou qui est devenue momentanément obscure, puis est à nouveau visible. Jusqu’à présent, seule l’approche LoRA lourde et temporaire a fait des progrès sur ces questions, bien que limités et provisoires.

Pour la vidéo, et en fait pour l’ensemble de la révolution actuelle de l’IA, le développement d’une mémoire persistante efficace est une question critique et existentielle – qui va probablement définir la différence entre l’avènement de l’IA générale ou un troisième hiver de l’IA.

*  Est-ce toujours un ‘gotcha’ ? La pensée actuelle est que les modèles spécialisés plus petits pourraient éventuellement fonctionner localement, sans frais, tandis que les besoins de haute gamme sont servis par un marché de location de GPU concurrent et espérons-le balkanisé. Cela suppose que les entreprises de pointe échouent à EEE la concurrence, et que des capacités de calcul de GPU substantielles restent disponibles indépendamment. Sur cette base, je ne considère plus les exigences de GPU flagrantes comme un déméritement, mais j’espère que l’accès devienne de plus en plus démocratique, et que les optimisations ultérieures réduisent les exigences de ressources initiales.

^† généré et vérifié par moi-même.

^†† Pour les tests de vidéo longue, SCAIL et UniAnimate-DiT ont été étendus avec la même procédure de fenêtre glissante sans formation, car ni l’un ni l’autre ne prend en charge nativement la génération de longue forme. EverAnimate et One-to-All ont été évalués en utilisant leurs propres méthodes de génération de vidéo longue.

Publié pour la première fois jeudi 13 août 2026