Pourquoi l’IA vidéo parfois obtient-elle les choses à l’envers

Si 2022 a été l’année où l’IA générative a capturé l’imagination d’un public plus large, 2025 est l’année où la nouvelle génération de cadres de vidéo générative en provenance de Chine semble prête à faire de même.

Le Hunyuan Video de Tencent a eu un impact majeur sur la communauté des amateurs d’IA avec sa sortie open-source d’un modèle de diffusion vidéo complet que les utilisateurs peuvent personnaliser selon leurs besoins.

À ses trousses, on trouve le Wan 2.1 plus récent d’Alibaba, l’une des solutions de passage d’image à vidéo FOSS les plus puissantes de cette période – qui prend maintenant en charge la personnalisation via Wan LoRAs.

En plus de la disponibilité du modèle de fond humain récent SkyReels, au moment de la rédaction, nous attendons également la sortie de la suite de création et d’édition de vidéo complète d’Alibaba VACE:

Cliez pour jouer. La sortie prochaine de la suite d’édition d’IA multi-fonction VACE d’Alibaba a enthousiasmé la communauté des utilisateurs. Source: https://ali-vilab.github.io/VACE-Page/

Impact Soudain

La scène de recherche de l’IA vidéo générative elle-même n’est pas moins explosive; il s’agit encore de la première moitié de mars, et les soumissions de mardi à la section Vision par ordinateur d’Arxiv (un hub pour les documents d’IA générative) sont venues à près de 350 entrées – un chiffre plus associé au sommet de la saison des conférences.

Les deux années depuis le lancement de la diffusion stable en été 2022 (et le développement ultérieur de Dreambooth et LoRA méthodes de personnalisation) ont été caractérisées par le manque de développements majeurs supplémentaires, jusqu’aux dernières semaines, où les nouvelles sorties et innovations ont procedé à un rythme si frénétique qu’il est presque impossible de rester informé, pour ne pas dire de tout couvrir.

Les modèles de diffusion vidéo tels que Hunyuan et Wan 2.1 ont résolu, enfin, et après des années d’efforts infructueux de la part de centaines d’initiatives de recherche, le problème de cohérence temporelle en ce qui concerne la génération d’humains, et dans une large mesure également d’environnements et d’objets.

Il ne peut y avoir peu de doute que les studios VFX appliquent actuellement des effectifs et des ressources pour adapter les nouveaux modèles de vidéo chinois pour résoudre des défis immédiats tels que le remplacement de visage, malgré le manque actuel de mécanismes auxiliaires de type ControlNet pour ces systèmes.

Il doit être un tel soulagement que l’un de ces obstacles importants ait potentiellement été surmonté, même si ce n’est pas par les voies anticipées.

Parmi les problèmes qui restent, celui-ci, cependant, n’est pas insignifiant:

Cliez pour jouer. Basé sur la invite ‘Un petit rocher dégringole le long d’une pente raide et rocheuse, déplaçant de la terre et de petites pierres ‘, Wan 2.1, qui a obtenu les scores les plus élevés dans le nouveau document, commet une simple erreur. Source: https://videophy2.github.io/

À Rebours

Tous les systèmes de texte-vidéo et d’image-vidéo actuellement disponibles, y compris les modèles à code source fermé commerciaux, ont tendance à produire des erreurs de physique telles que celle ci-dessus, où la vidéo montre un rocher roulant à rebours, basé sur l’invite ‘Un petit rocher dégringole le long d’une pente raide et rocheuse, déplaçant de la terre et de petites pierres ‘.

Une théorie sur la raison pour laquelle cela se produit, récemment proposée dans une collaboration académique entre Alibaba et les Émirats arabes unis, est que les modèles s’entraînent toujours sur des images individuelles, en un certain sens, même lorsqu’ils s’entraînent sur des vidéos (qui sont écrites sous forme de séquences d’images individuelles pour les besoins de l’entraînement); et ils peuvent ne pas nécessairement apprendre l’ordre temporel correct de ‘avant’ et ‘après’ images.

Cependant, la solution la plus probable est que les modèles en question ont utilisé des routines d’augmentation de données qui impliquent d’exposer une vidéo source d’entraînement au modèle à la fois dans le sens avant et arrière, doublant efficacement les données d’entraînement.

Il a longtemps été connu que cela ne devrait pas être fait arbitrairement, car certains mouvements fonctionnent à l’envers, mais beaucoup ne le font pas. Une étude de 2019 de l’Université de Bristol au Royaume-Uni a cherché à développer une méthode qui pourrait distinguer équivariants, invariants et irréversibles clips vidéo source de données qui coexistent dans un ensemble de données unique (voir image ci-dessous), avec la notion que les clips source inappropriés pourraient être filtrés des routines d’augmentation de données.

Exemples de trois types de mouvement, dont un seul est librement réversible tout en maintenant une dynamique physique plausible. Source: https://arxiv.org/abs/1909.09422

Les auteurs de ce travail formulent clairement le problème:

‘Nous constatons que le réalisme des vidéos inversées est trahi par des artefacts d’inversion, des aspects de la scène qui ne seraient pas possibles dans un monde naturel. Certains artefacts sont subtils, tandis que d’autres sont faciles à repérer, comme une action de lancer inversée où l’objet lancé surgit spontanément du sol.

‘Nous observons deux types d’artefacts d’inversion, physiques, ceux qui violent les lois de la nature, et improbables, ceux qui dépeignent un scénario possible mais peu probable. Ceux-ci ne sont pas exclusifs, et de nombreuses actions inversées subissent les deux types d’artefacts, comme lorsqu’on défroisse un morceau de papier.

‘Des exemples d’artefacts physiques incluent: la gravité inversée (par exemple, ‘laisser tomber quelque chose’), des impulsions spontanées sur les objets (par exemple, ‘faire tourner un stylo’), et des changements d’état irréversibles (par exemple, ‘brûler une bougie’). Un exemple d’artefact improbable: prendre une assiette dans le placard, la sécher et la placer sur le porte-serviettes.

‘Ce type de réutilisation des données est très courant au moment de l’entraînement, et peut être bénéfique – par exemple, pour s’assurer que le modèle n’apprend pas une seule vue d’une image ou d’un objet qui peut être retourné ou rotatif sans perdre sa cohérence centrale et sa logique.

‘Cela ne fonctionne que pour les objets qui sont vraiment symétriques, bien sûr; et apprendre la physique à partir d’une vidéo ‘inversée’ ne fonctionne que si la version inversée a autant de sens que la version avant.

Revers Temporaires

Nous n’avons aucune preuve que des systèmes tels que Hunyuan Video et Wan 2.1 aient permis à des extraits ‘inversés’ d’être exposés au modèle pendant l’entraînement (aucun des groupes de chercheurs n’a été spécifique concernant les routines d’augmentation de données).

Cependant, la seule possibilité raisonnable serait que les ensembles de données hyperscale qui alimentent ces modèles puissent contenir des extraits qui montrent réellement des mouvements se produisant à rebours.

Le rocher de l’exemple de vidéo intégré ci-dessus a été généré à l’aide de Wan 2.1 et figure dans une nouvelle étude qui examine comment les modèles de diffusion vidéo gèrent la physique.

Dans les tests pour ce projet, Wan 2.1 a obtenu un score de seulement 22 % en termes de capacité à respecter de manière cohérente les lois physiques.

Cependant, c’est le meilleur score de tout système testé pour le travail, indiquant que nous pouvons avoir trouvé notre prochain obstacle pour l’IA vidéo:

Scores obtenus par les systèmes ouverts et fermés de pointe, avec la sortie des cadres évaluée par des annotateurs humains. Source: https://arxiv.org/pdf/2503.06800

Les auteurs de la nouvelle étude ont développé un système de benchmarking, maintenant en deuxième version, appelé VideoPhy, avec le code disponible sur GitHub.

Bien que la portée du travail soit au-delà de ce que nous pouvons couvrir de manière exhaustive ici, faisons un aperçu général de sa méthodologie et de son potentiel pour établir une métrique qui pourrait aider à orienter le cours des futures sessions d’entraînement de modèles loin de ces étranges cas d’inversion.

La étude, menée par six chercheurs de l’UCLA et de Google Research, s’intitule VideoPhy-2: Une évaluation de la prise en compte physique des actions dans la génération de vidéos. Un site de projet encombré est également disponible, ainsi que du code et des ensembles de données sur GitHub, et un visionneur de données sur Hugging Face.

Cliez pour jouer. Ici, le modèle OpenAI Sora échoue à comprendre les interactions entre les avirons et les reflets, et n’est pas en mesure de fournir un flux physique logique pour la personne dans le bateau ou la façon dont le bateau interagit avec elle.

Méthode

Les auteurs décrivent la dernière version de leur travail, VideoPhy-2, comme une ‘évaluation de la prise en compte physique des actions pour les actions du monde réel.’ La collection comprend 197 actions à travers une gamme d’activités physiques diverses telles que hula-hooping, gymnastique et tennis, ainsi que des interactions d’objets, telles que plier un objet jusqu’à ce qu’il se brise.

Un grand modèle de langage (LLM) est utilisé pour générer 3840 invites à partir de ces actions de base, et les invites sont ensuite utilisées pour synthétiser des vidéos via les différents cadres testés.

Tout au long du processus, les auteurs ont élaboré une liste de ‘candidats’ de règles et de lois physiques que les vidéos générées par l’IA devraient satisfaire, en utilisant des modèles de vision-langage pour l’évaluation.

Les auteurs déclarent:

‘Par exemple, dans une vidéo d’un sportif jouant au tennis, une règle physique serait que la balle de tennis devrait suivre une trajectoire parabolique sous la gravité. Pour les jugements de référence, nous demandons aux annotateurs humains de noter chaque vidéo en fonction de l’adérence sémantique globale et de la prise en compte physique, et de marquer sa conformité avec diverses règles physiques.’

Au-dessus: Une invite est générée à partir d’une action en utilisant un LLM et utilisée pour créer une vidéo avec un générateur de texte-vidéo. Un modèle de vision-langage légende la vidéo, en identifiant les règles physiques possibles en jeu. En bas: Les annotateurs humains évaluent le réalisme de la vidéo, confirment les violations de règles, ajoutent des règles manquantes et vérifient si la vidéo correspond à l’invite d’origine.

Initialement, les chercheurs ont curé un ensemble d’actions pour évaluer la prise en compte physique dans les vidéos générées par l’IA. Ils ont commencé avec plus de 600 actions provenant des ensembles de données Kinetics, UCF-101, et SSv2, en se concentrant sur les activités impliquant des sports, des interactions d’objets et de la physique du monde réel.

Deux groupes indépendants d’étudiants en STEM (avec un minimum de diplôme universitaire obtenu) ont examiné et filtré la liste, en sélectionnant des actions qui testent des principes tels que la gravité, l’élasticité et l’élasticité, tout en supprimant les tâches à faible mouvement telles que la frappe, le caressage d’un chat ou la mastication.

Après une affination supplémentaire avec Gemini-2.0-Flash-Exp pour éliminer les doublons, l’ensemble de données final comprenait 197 actions, avec 54 impliquant des interactions d’objets et 143 centrées sur des activités physiques et sportives:

Exemples d’actions distillées.

Dans la deuxième étape, les chercheurs ont utilisé Gemini-2.0-Flash-Exp pour générer 20 invites pour chaque action de l’ensemble de données, aboutissant à un total de 3 940 invites. Le processus de génération s’est concentré sur les interactions physiques visibles qui pourraient être clairement représentées dans une vidéo générée. Cela a exclu les éléments non visuels tels que les émotions, les détails sensoriels et le langage abstrait, mais a incorporé des personnages et des objets divers.

Par exemple, au lieu d’une invite simple comme ‘Un archer libère la flèche’, le modèle a été guidé pour produire une version plus détaillée telle que ‘Un archer tire la corde de l’arc jusqu’à la tension maximale, puis libère la flèche, qui vole droite et frappe une cible sur une cible en papier’.

Étant donné que les modèles vidéo modernes peuvent interpréter des descriptions plus longues, les chercheurs ont affiné les légendes en utilisant le Mistral-NeMo-12B-Instruct pour ajouter des détails visuels sans modifier le sens original.

Invites d’exemple de VideoPhy-2, catégorisées par activités physiques ou interactions d’objets. Chaque invite est jumelée avec son action correspondante et le principe physique pertinent qu’elle teste.

Pour la troisième étape, les règles physiques n’ont pas été dérivées des invites de texte mais des vidéos générées, car les modèles génératifs peuvent avoir du mal à adhérer aux invites de texte conditionnées.

Les vidéos ont été créées à l’aide des invites VideoPhy-2, puis ‘légendées’ avec Gemini-2.0-Flash-Exp pour extraire les détails clés. Le modèle a proposé trois règles physiques attendues par vidéo, que les annotateurs humains ont examinés et étendus en identifiant d’éventuelles violations supplémentaires.

Exemples des légendes sur-échantillonnées.

Ensuite, pour identifier les actions les plus difficiles, les chercheurs ont généré des vidéos en utilisant CogVideoX-5B avec des invites du jeu de données VideoPhy-2. Ils ont ensuite sélectionné 60 actions sur 197 où le modèle a systématiquement échoué à suivre à la fois les invites et le bon sens physique.

Ces actions impliquaient des interactions physiques riches telles que le transfert de quantité de mouvement dans le lancer de disque, les changements d’état tels que plier un objet jusqu’à ce qu’il se brise, les tâches d’équilibre telles que la marche sur une corde raide, et des mouvements complexes qui comprenaient des retournements arrière, des sauts à la perche et des lancers de pizza, entre autres. Au total, 1 200 invites ont été choisies pour augmenter la difficulté du sous-ensemble de données.

L’ensemble de données résultant comprenait 3 940 légendes – 5,72 fois plus que la version précédente de VideoPhy. La longueur moyenne des légendes d’origine est de 16 jetons, tandis que les légendes sur-échantillonnées atteignent 138 jetons – 1,88 fois et 16,2 fois plus longues, respectivement.

L’ensemble de données comporte également 102 000 annotations humaines couvrant l’adérence sémantique, la prise en compte physique et les violations de règles sur plusieurs modèles de génération de vidéos.

Évaluation

Les chercheurs ont ensuite défini des critères clairs pour évaluer les vidéos. L’objectif principal était d’évaluer à quel point chaque vidéo correspondait à son invite d’entrée et suivait les principes physiques de base.

Plutôt que de classer simplement les vidéos par ordre de préférence, ils ont utilisé des commentaires basés sur des notes pour capturer des réussites et des échecs spécifiques. Les annotateurs humains ont noté les vidéos sur une échelle de cinq points, permettant des jugements plus détaillés, tandis que l’évaluation a également vérifié si les vidéos suivaient diverses règles et lois physiques.

Pour l’évaluation humaine, un groupe de 12 annotateurs a été sélectionné à partir d’essais sur Amazon Mechanical Turk (AMT), et a fourni des notes après avoir reçu des instructions détaillées à distance. Pour la justice, l’adérence sémantique et la prise en compte physique ont été évaluées séparément (dans l’étude VideoPhy originale, elles ont été évaluées conjointement).

Les annotateurs ont d’abord noté à quel point les vidéos correspondaient à leurs invites d’entrée, puis ont séparément évalué la plausibilité physique, en notant les violations de règles et le réalisme global sur une échelle de cinq points. Seules les invites d’origine ont été affichées, pour maintenir une comparaison équitable entre les modèles.

L’interface présentée aux annotateurs AMT.

Bien que le jugement humain reste la norme de référence, il est coûteux et comporte un certain nombre de caveats. Par conséquent, l’évaluation automatisée est essentielle pour des évaluations de modèles plus rapides et plus évolutives.

Les auteurs du document ont testé plusieurs modèles de vision-langage, notamment Gemini-2.0-Flash-Exp et VideoScore, sur leur capacité à noter les vidéos pour l’exactitude sémantique et pour ‘le bon sens physique’.

Les modèles ont à nouveau noté chaque vidéo sur une échelle de cinq points, tandis qu’une tâche de classification distincte déterminait si les règles physiques étaient suivies, violées ou peu claires.

Les expériences ont montré que les modèles de vision-langage existants ont lutté pour correspondre aux jugements humains, principalement en raison d’une faible prise en compte physique et de la complexité des invites. Pour améliorer l’évaluation automatisée, les chercheurs ont développé VideoPhy-2-Autoeval, un modèle de 7 milliards de paramètres conçu pour fournir des prédictions plus précises dans trois catégories: l’adérence sémantique; le bon sens physique; et la conformité aux règles, affiné sur le modèle VideoCon-Physics en utilisant 50 000 annotations humaines*.

Données et Tests

Avec ces outils en place, les auteurs ont testé un certain nombre de systèmes de vidéo générative, à la fois par des installations locales et, lorsque nécessaire, par le biais d’API commerciales: CogVideoX-5B; VideoCrafter2; HunyuanVideo-13B; Cosmos-Diffusion; Wan2.1-14B; OpenAI Sora; et Luma Ray.

Les modèles ont été invités avec des légendes sur-échantillonnées lorsque cela était possible, à l’exception de Hunyuan Video et VideoCrafter2 qui fonctionnent sous des limitations de 77 jetons CLIP et ne peuvent pas accepter des invites de plus de une certaine longueur.

Les vidéos générées ont été limitées à moins de 6 secondes, car une sortie plus courte est plus facile à évaluer.

Les données de conduite provenaient de l’ensemble de données VideoPhy-2, qui a été divisé en un ensemble de référence et un ensemble d’entraînement. 590 vidéos ont été générées par modèle, à l’exception de Sora et Ray2; en raison du facteur de coût (un nombre équivalent plus faible de vidéos a été généré pour ceux-ci).

(Veuillez vous référer au document source pour plus de détails d’évaluation, qui sont chroniqués de manière exhaustive là-bas)

L’évaluation initiale portait sur les activités physiques/sports (PA) et les interactions d’objets (OI), et a testé à la fois l’ensemble de données général et le sous-ensemble ‘plus difficile’ mentionné précédemment:

Résultats du tour initial.

Ici, les auteurs commentent:

‘Même le modèle le mieux performant, Wan2.1-14B, n’obtient que 32,6 % et 21,9 % sur l’ensemble de données complet et les parties difficiles de notre ensemble de données, respectivement. Sa performance relativement forte par rapport aux autres modèles peut être attribuée à la diversité de ses données multimodales d’entraînement, ainsi qu’à un filtrage de mouvement robuste qui préserve des vidéos de haute qualité sur une large gamme d’actions.

‘De plus, nous observons que les modèles fermés, tels que Ray2, performe moins bien que les modèles ouverts comme Wan2.1-14B et CogVideoX-5B. Cela suggère que les modèles fermés ne sont pas nécessairement supérieurs aux modèles ouverts pour capturer le bon sens physique.

‘Notamment, Cosmos-Diffusion-7B obtient le deuxième meilleur score sur le sous-ensemble difficile, surpassant même le modèle HunyuanVideo-13B beaucoup plus grand. Cela peut être dû à la représentation élevée d’actions humaines dans ses données d’entraînement, ainsi qu’à des simulations rendues synthétiquement.’

Les résultats ont montré que les modèles de vidéo ont lutté davantage avec les activités physiques comme les sports qu’avec les interactions d’objets plus simples. Cela suggère qu’améliorer les vidéos générées par l’IA dans ce domaine nécessitera de meilleurs ensembles de données – en particulier des séquences de haute qualité de sports tels que le tennis, le disque, le baseball et le cricket.

L’étude a également examiné si la plausibilité physique d’un modèle était corrélée à d’autres métriques de qualité de vidéo, telles que l’esthétique et la fluidité du mouvement. Les résultats ont révélé qu’il n’y a pas de forte corrélation, ce qui signifie qu’un modèle ne peut pas améliorer ses performances sur VideoPhy-2 simplement en générant des mouvements visuellement attrayants ou fluides – il a besoin d’une compréhension plus profonde du bon sens physique.

Bien que le document fournisse de nombreux exemples qualitatifs, peu des exemples statiques fournis dans le PDF semblent être liés aux exemples de vidéo étendus que les auteurs fournissent sur le site du projet. Par conséquent, nous allons examiner une petite sélection d’exemples statiques, puis quelques exemples de vidéos du projet.

La rangée supérieure montre des vidéos générées par Wan2.1. (a) Dans Ray2, le jet-ski sur la gauche est en retard avant de se déplacer à rebours. (b) Dans Hunyuan-13B, le marteau de démolition se déforme en plein mouvement, et une planche de bois brisée apparaît de manière inattendue. (c) Dans Cosmos-7B, le javelot expulse du sable avant de toucher le sol.

En ce qui concerne l’examen qualitatif ci-dessus, les auteurs commentent:

‘[Nous] observons des violations du bon sens physique, telles que des jet-skis se déplaçant de manière anormale à rebours et la déformation d’un marteau de démolition solide, défiant les principes de l’élasticité. Cependant, même Wan souffre d’un manque de bon sens physique, comme le montre [la vidéo intégrée au début de cet article].

‘Dans ce cas, nous soulignons qu’un rocher commence à rouler et à accélérer à rebours, défiant la loi physique de la gravité.’

D’autres exemples du site du projet:

Cliez pour jouer. Ici, la légende était ‘Une personne tord vigoureusement une serviette mouillée, de l’eau jaillit en un arc visible’ – mais la source de l’eau résultante ressemble davantage à un tuyau d’arrosage qu’à une serviette.

Cliez pour jouer. Ici, la légende était ‘Un chimiste verse un liquide clair d’un bécher dans un tube à essai, en évitant soigneusement les déversements’, mais on peut voir que le volume d’eau ajouté au bécher n’est pas cohérent avec la quantité qui sort du pichet.

Comme je l’ai mentionné au début, le volume de matériel associé à ce projet dépasse largement ce qui peut être couvert ici. Par conséquent, veuillez vous référer au document source, au site du projet et aux sites liés mentionnés plus tôt, pour une présentation exhaustive des procédures des auteurs, et considérablement plus d’exemples de tests et de détails procéduraux.

* En ce qui concerne la provenance des annotations, le document ne spécifie que ‘acquises pour ces tâches’ – il semble beaucoup pour avoir été généré par 12 travailleurs AMT.

Publié pour la première fois jeudi 13 mars 2025