Le défi de la sous-titrage de vidéos à plus de 1 image par seconde

La capacité des systèmes d’apprentissage automatique à reconnaître les événements qui se produisent à l’intérieur d’une vidéo est cruciale pour l’avenir de la génération de vidéos basée sur l’IA – notamment parce que les jeux de données vidéo nécessitent des sous-titres précis pour produire des modèles qui respectent les demandes de l’utilisateur et qui n’exagèrent pas excessivement l’hallucination.

Un exemple de schéma de sous-titrage du projet VidReCap de Google. Source: https://sites.google.com/view/vidrecap

La sous-titrage manuel de la quantité de vidéos nécessaires pour des jeux de données de formation efficaces est une perspective inconcevable. Bien qu’il soit possible de former des systèmes d’IA pour sous-titrer automatiquement les vidéos, de nombreux exemples générés par l’homme sont encore nécessaires comme vérité de terrain, pour la variété et la couverture.

Plus important encore, presque tous les modèles de sous-titrage de vidéos basés sur l’IA opèrent à 1 image par seconde, ce qui n’est pas une fréquence d’acquisition dense enough pour discerner les variations dans de nombreuses situations: les changements micro-expressionnels soudains pour les systèmes de reconnaissance des émotions; les événements rapides dans les sports de haute vitesse tels que le basket-ball; les mouvements violents; les coupures rapides dans les films dramatiques, où des systèmes tels que PySceneDetect peuvent ne pas parvenir à les identifier (ou ne sont pas utilisés); et de nombreuses autres situations où la fenêtre d’attention doit clairement être plus intense.

Cliquez pour jouer. Action rapide mais à vie changeante dans ce qui peut être l’un des sports les plus lents du monde, alors qu’Alex Higgins remporte le championnat du monde contre Ray Reardon en 1982. Source: https://www.youtube.com/watch?v=_1PuqKno_Ok

Bougez vite et cassez la logique

Ce faible taux est la norme pour diverses raisons logistiques. Tout d’abord, le sous-titrage de vidéos est une activité gourmande en ressources, que le système étudie une trame séquentielle à la fois ou utilise diverses méthodes pour coherer sémantiquement une chaîne de trames en une séquence de sous-titres interprétable. Dans les deux cas, la fenêtre de contexte est inévitablement limitée par les contraintes matérielles.

Une autre raison pour laquelle 1 image par seconde est la norme actuelle est que les vidéos ne sont généralement pas remplies d’événements rapides; il est donc superflu de donner 300 trames d’une table de billard statique la même attention que la seconde où une boule noire gagnante remporte le championnat (voir exemple ci-dessus).

Il est possible d’utiliser des indices secondaires plus larges pour identifier les moments charnières dans une vidéo de sport, tels que la réaction prolongée du public à un dunk rapide dans un match de basket-ball. Cependant, de tels indices peuvent survenir pour d’autres raisons (comme des blessures de joueurs imprévues), et ne peuvent pas être considérés comme fiables. C’est un exemple de la manière dont un jeu de données de vidéos mal étiqueté peut conduire à un modèle de vidéos génératives qui hallucine ou interprète incorrectement les instructions, c’est-à-dire parce que le modèle peut afficher une blessure de joueur lorsqu’il a été demandé de générer un dunk (parce que l’indice secondaire de l’agitation du public n’était pas exclusif à un type d’événement spécifique).

Ceci est en grande partie un problème « budgétaire », et dans d’autres aspects, un problème procédural. Les cadres jusqu’à présent ont fonctionné sur le principe que des trames clés espacées peuvent capturer efficacement les informations essentielles, mais cela est plus efficace pour établir le genre et d’autres aspects de la matière d’une vidéo, puisque les preuves, dans ce cas, persistent sur plusieurs trames.

F-16

Un nouvel article de Chine propose une solution, sous la forme du premier modèle de langage multimodal (MLLM, ou simplement LLM) capable d’analyser des vidéos à 16 images par seconde au lieu de la norme de 1 image par seconde, tout en évitant les principaux pièges de l’augmentation du taux d’analyse.

Dans les tests, les auteurs affirment que le nouveau système, intitulé F-16, surpasse les modèles propriétaires d’état de l’art tels que GPT-4o et Google’s Gemini-1.5 pro. Alors que d’autres modèles actuels ont pu égaliser ou dépasser les résultats de F-16 dans les essais, les modèles concurrents étaient beaucoup plus grands et plus encombrants.

Bien que F-16 ait été formé sur un matériel sérieux (comme nous allons l’examiner plus en détail), l’inférence est généralement beaucoup moins exigeante que la formation. Nous pouvons donc espérer que le code (promis pour une publication prochaine) sera capable de fonctionner sur des GPU domestiques de niveau moyen ou élevé.

Ce qui est nécessaire pour la vitalité de la scène des amateurs (et qui inclut la scène professionnelle des effets visuels, la plupart du temps) est un modèle de sous-titrage de vidéos de ce type qui puisse fonctionner, peut-être quantifié, sur des systèmes grand public, afin que toute la scène de la vidéo générative ne migre pas vers des systèmes commerciaux basés sur les API, ou ne force pas les consommateurs à connecter des cadres locaux à des services de GPU en ligne commerciaux.

Au-delà de l’augmentation de l’échelle

Les auteurs observent que cette approche est une alternative pratique à l’augmentation des jeux de données. On peut également déduire que si l’on devait jeter plus de données sur le problème, ce serait toujours l’approche de ce type qui pourrait être préférable, car le nouveau système distingue les événements de manière plus granulaire.

Ils déclarent:

‘Un échantillonnage à faible taux d’images peut entraîner une perte d’informations visuelles critiques, en particulier dans les vidéos avec des scènes qui changent rapidement, des détails complexes ou des mouvements rapides. De plus, si les trames clés sont manquées, mais que le modèle est formé sur des étiquettes qui reposent sur des informations de trames clés, il peut avoir du mal à aligner ses prédictions avec le contenu attendu, ce qui peut entraîner des hallucinations et une performance dégradée…

‘… F-16 atteint une performance SOTA dans la compréhension générale de la vidéo parmi les modèles de taille similaire et démontre un avantage clair dans la compréhension de la vidéo à haute cadence, surpassant les modèles commerciaux tels que GPT-4o. Ce travail ouvre de nouvelles voies pour faire progresser la compréhension de la vidéo à haute cadence dans la recherche sur les MLLM.’

Le nouvel article est intitulé Améliorer la compréhension de la vidéo LLM avec 16 trames par seconde, et provient de huit auteurs de l’Université Tsinghua et de ByteDance.

Méthode

Puisque les trames consécutives contiennent souvent des informations redondantes, F-16 applique un aligneur à haute cadence pour compresser et encoder les détails de mouvement clés tout en conservant les sémantiques visuelles. Chaque trame est d’abord traitée par un encodeur d’images préformé, qui extrait les représentations de fonctionnalités avant d’être transmis à un aligneur basé sur les Gaussian Error Linear Units (GELUs).

L’architecture de F-16 traite les vidéos à 16 images par seconde, capturant plus de trames que les modèles à faible taux d’images traditionnels, et son aligneur à haute cadence préserve les sémantiques visuelles tout en encodant efficacement la dynamique de mouvement sans ajouter de tokens visuels supplémentaires. Source: https://arxiv.org/pdf/2503.13956

Pour gérer le nombre accru de trames de manière efficace, F-16 regroupe les trames en petites fenêtres de traitement, en fusionnant les fonctionnalités visuelles à l’aide d’un Perceptron multi-couches (MLP) à trois couches, aidant à conserver uniquement les détails de mouvement les plus pertinents, et en réduisant la duplication inutile, tout en préservant le flux temporel des actions. Une couche de max-pooling spatiale compressant davantage le nombre de tokens, en gardant les coûts de calcul dans les limites.

Les tokens de vidéo traités sont ensuite introduits dans le Qwen2-7B LLM, qui génère des réponses textuelles basées sur les fonctionnalités visuelles extraites et une invite utilisateur donnée.

En structurant les entrées vidéo de cette manière, F-16 permet, selon les auteurs, une reconnaissance d’événements plus précise dans les scènes dynamiques, tout en maintenant l’efficacité.

La version courte

F-16 étend un LLM d’images préformé, LLaVA-OneVision, pour traiter les vidéos en transformant son pipeline d’entrée visuelle. Alors que les LLM d’images standard traitent des trames isolées, l’aligneur à haute cadence de F-16 reformate plusieurs trames en un format que le modèle peut traiter de manière plus efficace; cela évite de submerger le système avec des informations redondantes tout en préservant les indices de mouvement clés nécessaires à une compréhension précise de la vidéo.

Pour assurer la compatibilité avec sa base d’images, F-16 réutilise les paramètres préformés en restructurant son aligneur en sous-matrices. Cette approche permet d’intégrer les connaissances des modèles à trame unique tout en s’adaptant à l’entrée de vidéo séquentielle.

L’aligneur comprime d’abord les séquences de trames en un format optimisé pour le LLM, en préservant les fonctionnalités les plus informatives tout en éliminant les détails inutiles. La conception de l’architecture permet au système de traiter des vidéos à haute cadence tout en gardant les exigences de calcul sous contrôle, ce que les auteurs posent comme preuve que l’augmentation de l’échelle n’est pas la seule (ou la meilleure) voie à suivre pour le sous-titrage de vidéos.

Varier le rythme

Puisque le traitement de vidéos à 16 images par seconde améliore la compréhension du mouvement mais augmente les coûts de calcul, en particulier pendant l’inférence, F-16 introduit une décodage à taux de trames variable, permettant d’ajuster dynamiquement le taux de trames sans réentraîner.

Les aligneurs à trame unique et à haute cadence disponibles pour F-16.

Cette flexibilité permet au modèle de fonctionner efficacement à des taux de trames inférieurs lorsque une grande précision n’est pas requise, et réduit les coûts de calcul.

Lors d’un test, lorsque un taux de trames inférieur est sélectionné, F-16 réutilise les paramètres d’aligneur formés précédemment en répétant les trames d’entrée pour correspondre aux dimensions attendues. Cela garantit que le modèle puisse toujours traiter les vidéos de manière efficace sans modifier son architecture.

Contrairement à un échantillonnage naïf (c’est-à-dire la simple suppression de trames), qui risque de perdre des détails de mouvement critiques, cette méthode préserve les représentations de mouvement apprises par l’aligneur, en maintenant ainsi la précision même à des taux de trames réduits. Pour une compréhension générale de la vidéo, un réglage de taux de trames inférieur peut accélérer l’inférence sans perte de performance significative, tandis que l’analyse de mouvement à haute vitesse peut toujours exploiter les capacités de 16 images par seconde.

Données et tests

Construit sur Qwen2-7B, FP-16 étend LLaVA-OneVision en utilisant SigLIP comme encodeur d’images. Avec des trames de vidéo échantillonnées à 16 images par seconde, jusqu’à 1 760 trames peuvent être obtenues à partir de chaque vidéo. Pour les clips de vidéo plus longs, les trames étaient échantillonnées de manière uniforme (c’est-à-dire plus espacée).

Pour la formation, F-16 a utilisé les mêmes jeux de données de vidéos générales que LLaVA-Video, notamment LLaVA-Video-178K, NExT-QA, ActivityNet-QA, et PerceptionTest.

F-16 a également été affiné sur les jeux de données de sports de haute vitesse FineGym, Diving48, et SoccerNet. Les auteurs ont également curé une collection de 276 matchs de la NBA joués entre le 13 et le 25 novembre 2024, se concentrant sur le mouvement de la balle et les actions des joueurs, et sur la capacité des modèles à déterminer correctement si un tir était réussi, en utilisant l’ensemble de test NSVA évalué avec le score F1.

Le modèle a été évalué en utilisant l’ensemble de test NSVA, avec des performances mesurées par le score F1.

Les modèles de gymnastique et de plongeon ont été évalués en fonction de l’exactitude de la reconnaissance d’événements, tandis que les modèles de football et de basket-ball ont suivi les passes et les résultats de tirs.

Le modèle a été formé pendant 1 époque en utilisant 128 GPU NVIDIA H100 (et à une mémoire vidéo standard de 80 Go par GPU, ce qui a nécessité l’utilisation de 10,24 To de mémoire GPU; même selon les normes récentes, il s’agit du cluster GPU le plus puissant que j’aie personnellement rencontré en suivant la littérature de recherche en vision par ordinateur). Un taux d’apprentissage de 2×10⁻⁵ a été utilisé pendant la formation.

En outre, un LoRA a été affiné sur des données de sports en utilisant des adaptateurs LoRA avec 64 GPU pendant 5 époques. Ici, seul le LLM a été formé, laissant l’encodeur d’images gelé.

Les cadres opposés testés dans le premier tour pour la « compréhension générale de la vidéo » étaient GPT-4o; Gemini-1.5-Pro; Qwen2-VL-7B; VideoLLaMA2-7B; VideoChat2-HD-7B; LLaVA-OV-7B; MiniCPM-V2.6-8B; LLaVA-Video-7B; et NVILA-7B;

Les modèles ont été évalués sur Video-MME; VideoVista; TemporalBench; MotionBench; Next-QA; MLVU; et LongVideoBench.

Comparaison des résultats de QA de vidéos entre modèles, montrant les limites de taux de trames et les performances sur plusieurs benchmarks. F-16 atteint le SOTA parmi les modèles de 7B sur Video-MME, NQA, TPB et MB, rivalisant avec les modèles propriétaires tels que GPT-4o et Gemini-1.5-Pro.

Sur ces résultats, les auteurs déclarent:

‘Sur les ensembles de données Video-MME Court, Moyen et NeXT-QA – chacun conçu pour la compréhension de courtes vidéos – notre modèle dépasse le modèle SOTA précédent de 7B de 3,2 %, 1,0 % et 0,9 % en termes de précision, mettant en évidence sa forte performance sur les courtes vidéos. ‘

‘Pour les benchmarks évaluant la compréhension de longues vidéos, tels que Video-MME Long, LongVideoBench et MLVU, le défi est plus important en raison d’un échantillonnage de trames plus espacé, ce qui fait que les trames dans la fenêtre de traitement présentent des variations plus importantes. ‘

‘Cela augmente la difficulté pour l’aligneur de modality à encoder efficacement les changements temporels dans la représentation de token limitée. Par conséquent, F-16 subit une légère baisse de performance par rapport à [LLaVA-Video-7B], qui est formé sur le même jeu de données de vidéos.’

Le traitement à haute cadence de F-16, poursuivent les auteurs, a également entraîné une amélioration de 13,5 % sur TemporalBench et un gain de 2,5 % sur MotionBench, par rapport aux modèles de 7B existants, et a performé à un niveau similaire à celui des modèles commerciaux tels que GPT-4o et Gemini-1.5-Pro.

Compréhension de vidéos de sports de haute vitesse

F-16 a été testé sur FineGym, Diving48, SoccerNet et les datasets de la NBA pour évaluer sa capacité à comprendre les actions de sports de haute vitesse.

En utilisant les 10 000 clips de la NBA annotés manuellement, la formation s’est concentrée sur le mouvement de la balle et les actions des joueurs, et sur la capacité des modèles à déterminer correctement si un tir était réussi, en utilisant l’ensemble de test NSVA évalué avec le score F1.

Résultats de l’analyse de vidéos de sports de haute vitesse. F-16 avec l’aligneur à haute cadence a performé mieux que son homologue à faible taux de trames sur toutes les tâches de sports. GPT-4o et Gemini-1.5-Pro ont également été évalués sur les tâches de QA de la NBA et de SoccerNet, où une formation dans le domaine n’était pas requise.

Sur FineGym, qui mesure la reconnaissance d’actions de gymnastique, F-16 a performé 13,8 % mieux que le modèle SOTA précédent de 7B, démontrant une meilleure compréhension fine du mouvement.

Diving48 a nécessité l’identification de séquences de mouvement complexes telles que la phase de départ, la vrille, la torsion et la phase de vol, et F-16 a montré une plus grande précision dans la reconnaissance de ces transitions.

Pour SoccerNet, le modèle a analysé des clips de 10 secondes, en identifiant les passes de balle, et les résultats ont montré une amélioration par rapport aux modèles de 7B existants, indiquant que des taux de trames plus élevés contribuent à la poursuite de petits et rapides mouvements.

Dans le dataset de la NBA, la capacité de F-16 à déterminer les résultats de tirs a approché la précision des modèles plus grands et propriétaires tels que GPT-4o et Gemini-1.5-Pro, suggérant encore que des taux de trames plus élevés améliorent sa capacité à traiter le mouvement dynamique.

Taux de trames variables

F-16 a été testé à différents taux de trames pour mesurer son adaptabilité. Au lieu de réentraîner, il a géré des taux de trames inférieurs en répétant les trames pour correspondre à la structure d’entrée de l’aligneur. Cette approche a préservé plus de performances que la simple suppression de trames (qui risque de causer une perte d’exactitude).

Les résultats indiquent que même si la réduction du taux de trames a eu un certain impact sur la reconnaissance du mouvement, F-16 a toujours surpassé les modèles à faible taux de trames et a maintenu de solides résultats, même en dessous de 16 images par seconde.

À gauche, la consommation de temps des différents modules de F-16 pendant l’inférence, mesurée sur 300 vidéos de l’ensemble Video-MME Long à différents taux de trames de test et longueurs de séquence. À droite, une comparaison entre les performances de Video-MME pour les modèles formés et testés à différents taux de trames. La ligne solide représente les modèles formés et testés au même taux de trames, tandis que la ligne pointillée montre les performances lorsque le modèle est formé à 16 images par seconde et testé à un taux de trames inférieur.

Le traitement à haute cadence de F-16 a augmenté les exigences de calcul, bien que son aligneur ait aidé à gérer ces coûts en compressant les tokens visuels redondants.

Le modèle a nécessité plus de FLOPs par vidéo que les modèles à faible taux de trames, mais a également atteint une meilleure précision par token, suggérant que ses stratégies de sélection et de compression de trames ont aidé à compenser le calcul supplémentaire.

Conclusion

Il est difficile de surestimer l’importance ou les défis de ce fil de recherche particulier – surtout cette année, qui devrait être l’année de percée pour la vidéo générative, mettant en évidence les lacunes de la curation des jeux de données de vidéos et de la qualité de sous-titrage en pleine lumière.

Il faut également souligner que les défis liés à l’obtention de descriptions précises des détails internes de la vidéo ne peuvent pas être résolus exclusivement en jetant de la VRAM, du temps ou de l’espace disque sur le problème. La méthode par laquelle les événements sont isolés / extraits de tracts de vidéo autrement longs et fastidieux (comme des clips de golf ou de billard, par exemple) bénéficierait d’une réflexion sur les approches sémantiques et les mécanismes actuellement dominants dans les solutions SOTA – car certaines de ces limites ont été établies à des moments où les ressources étaient plus pauvres.

(Incidentalement, même si 16 images par seconde peut sembler un taux de trames très bas pour 2025, il est intéressant de noter que c’est également la vitesse de formation native des clips de vidéos utilisés dans le modèle de vidéo générative très populaire Wan 2.1, et la vitesse à laquelle il opère donc avec le moins de problèmes. J’espère que la scène de la recherche gardera un œil sur les éventuelles « entropies de normes » ici; parfois, les contraintes obsolètes peuvent perpétuer les normes futures)

Publié pour la première fois le mercredi 19 mars 2025