Un codec vidéo pour les vidéos générées par l’IA

Alors que l’ère de l’IA à volonté touche à sa fin, une nouvelle approche économique de la génération de vidéos par l’IA promet des économies notables en termes de jetons et de temps.

Le coût réel de l’inférence par l’IA apporte une nouvelle note de sobriété au rythme effréné de la révolution actuelle de l’IA, avec un intérêt accru pour la rationalisation du coût de l’apprentissage automatique. Outre le potentiel de ramener l’IA en interne, et la montée générale de l’IA privée, les routines d’apprentissage automatique gourmandes en VRAM et en ressources vont clairement avoir besoin d’une optimisation.

La génération de vidéos est peut-être le plus grand contrevenant à cet égard. Si vous avez déjà recompressé un film ou exporté un film à partir d’un logiciel de montage vidéo, vous savez déjà l’impact que cette tâche particulière (non-IA) a sur votre matériel – en consommant la RAM et les cycles CPU, et en bloquant souvent la machine pour toute autre utilisation, à moins de prendre des mesures pour limiter l’impact de l’algorithme de compression sur l’ordinateur hôte.

Par conséquent, on n’a qu’à imaginer l’étendue à laquelle la montée en puissance de la vidéo par l’IA répète cette procédure « avide de puissance » dans les centres de données du monde entier. À cette échelle d’exploitation, les plus petits gains deviennent immédiatement significatifs dans le calcul global.

Dans le cadre

Avec cela en tête, une nouvelle offre de recherche de Shanghai, en collaboration avec JD.com (JD ), propose un codec vidéo destiné non au processus de rendu (le processus de compression de grandes images brutes en une taille de fichier vidéo plus petite), mais au processus réel de génération de vidéos par l’IA.

Un codec vidéo standard fonctionne en ne stockant pas chaque image comme une image complète, mais en créant un petit nombre d’images complètes, appelées images I, et en stockant les changements entre les images.

Par exemple, si une personne bouge légèrement dans une vidéo, le codec n’enregistre que les parties de l’image qui enregistrent ce changement, plutôt que de réécrire toute la scène. Ce sont les images P, qui sont dérivées des images précédentes, et les images B, qui peuvent également anticiper des informations dans les images futures:

Anatomie d’un codec vidéo: la rangée supérieure montre les images dans le temps étiquetées I, P et B, avec les images I stockées en pleine couleur et les images P et B représentées en dégradé pour indiquer la reconstruction; les flèches indiquent si les images utilisent des images précédentes, des images futures ou les deux; les panneaux inférieurs montrent une image entièrement stockée (image I, à gauche), une image construite à partir d’une image précédente (image P, deuxième à gauche), et une image construite à partir d’images précédentes et futures (image B, à droite).

Ceci est pourquoi les fichiers vidéo restent petits, avec la plupart des images fonctionnant non comme de nouvelles images, mais comme des instructions décrivant comment l’image précédente a changé. Par conséquent, les images I constituent des images « grasses », gourmandes en espace, non compressées (ou minimalement compressées), avec les images entre elles ne constituant que la différence entre les images I (et entre elles-mêmes).

Lorsque chaque image est une image non compressée, le film n’a essentiellement aucune compression. Enregistrer un film de cette façon, en tant que vidéo non compressée, nécessiterait un espace disque d’environ un téraoctet pour un film de 2 heures. Pourtant, c’est ainsi que l’IA crée des films^† – en consacrant des ressources et des jetons égaux à chaque image, lorsqu’il calcule comment formuler la vidéo.

Économie d’échelle

Le nouveau travail, intitulé AdaCodec: Un codec visuel prédictif pour les MLLM vidéo, dépense des jetons visuels complets exclusivement sur les images de référence (images I), avec toutes les images interstitielles rendues comme des « jetons P compacts » – un paradigme clairement pris de la compression traditionnelle employée par les codecs vidéo historiques.

Après que cette compression interne a eu lieu, la vidéo générée par l’IA peut alors être compressée normalement, et, en théorie, toutes les économies sont du côté du serveur:

Vue d’ensemble d’AdaCodec. À gauche, les vidéos sont divisées en groupes d’images adaptatifs, avec des images I complètes réservées pour les moments difficiles à prédire et des images P intermédiaires représentées à l’aide d’informations de mouvement et de résidus compacts. À droite, le système résultant correspond ou dépasse Qwen3-VL-8B sur onze références, maintient une précision de vidéo longue plus élevée sur les budgets de jetons et réduit la latence de réponse tout en traitant sensiblement moins de jetons vidéo. Source

Les économies, selon les résultats rapportés des tests pour AdaCodec, valent la peine d’être poursuivies; l’article indique que le système a surpassé le modèle Qwen3-VL-8B non modifié sur tous les benchmarks majeurs, tout en utilisant la même quantité de traitement; et a correspondu ou dépassé les performances de ce modèle après avoir réduit les jetons vidéo d’environ 86 %.

Les auteurs déclarent*:

‘Nous tirons notre inspiration de la codage prédictif, où un système transmet des erreurs d’une prédiction plutôt que le signal brut. Ce principe a un fondement biologique: le système visuel est censé encoder les erreurs de prédiction, la différence entre l’entrée attendue et observée, plutôt que l’entrée elle-même.

‘Les codecs vidéo modernes utilisent la même idée de codage résiduel en ingénierie: les images de référence contiennent le contenu complet, tandis que les images prédictives contiennent des signaux de mouvement et de résidus relatifs à une référence.

‘Ces systèmes ont des objectifs différents, mais ils partagent la même structure conditionnelle: lorsque les échantillons voisins sont redondants, le canal doit transporter ce que la prédiction ne parvient pas à expliquer.

‘Les codecs standard, cependant, sont optimisés pour les flux de bits et la reconstruction visible par l’homme, et non pour les jetons visuels consommés par un LLM. Nous réimaginons donc ce mécanisme comme une interface MLLM pour la compréhension vidéo.’

Le nouveau travail, écrit par 11 chercheurs de l’Université de Shanghai Jiao Tong, de l’Institut d’innovation de Shanghai et de JD.com, est accompagné d’une page de projet associée, avec la promesse de publier le code source.

Méthode

Comme discuté, au lieu de traiter chaque image comme une image complètement nouvelle, le système cherche ce qui a changé entre une image et la suivante. À gauche, dans l’image ci-dessous, nous voyons une petite région de l’image actuelle qui correspond à la région la plus similaire dans une image précédente:

Vue d’ensemble du schéma pour AdaCodec.

La distance entre les deux emplacements devient un vecteur de mouvement, tandis que les différences visuelles restantes deviennent un résidu, avec ces descriptions compactes remplaçant le besoin de stocker une image complète.

À droite, nous voyons les informations résultantes alimentées dans le modèle d’IA: les images de référence importantes sont toujours traitées comme des images complètes, mais les images interstitielles sont représentées par des jetons mouvement et résidu beaucoup plus petits – apparemment permettant au modèle de conserver suffisamment d’informations pour analyser la vidéo, tout en traitant nettement moins de données visuelles.

Un défi intéressant est de décider quelles images méritent d’être stockées en entier: les codecs vidéo traditionnels placent généralement des images de référence à des intervalles réguliers, qu’elles soient nécessaires ou non. AdaCodec, au lieu de cela, tente d’identifier les moments qui comptent le plus.

Par exemple, considérez une scène qui montre principalement une conversation statique entre deux personnes dans un appartement – et soudain, une équipe d’intervention fait irruption par la fenêtre. Immédiatement, les vues de la caméra et le nombre de coupes de montage augmenteront et nécessiteront beaucoup plus de données qu’un intervalle d’image de référence régularisé ne peut fournir:

Ceci est la logique derrière les méthodes de compression à débit variable (compression à débit variable) qui analysent la vidéo source pour de telles périodes « occupées » et attribuent plus de données là où elles sont nécessaires – au prix d’un coût en temps et en ressources.

Dans AdaCodec, si une image peut être prédite avec précision à partir d’images voisines, le système continue à utiliser des jetons de mouvement et de résidu compacts; si la scène change de manière significative (par exemple, l’exemple de l’équipe d’intervention ci-dessus, ou quelque chose de moins dramatique), une image de référence complète est insérée. Cela permet de consacrer plus du budget de traitement disponible à des informations visuelles importantes plutôt qu’à les répartir uniformément sur toute la vidéo.

Données et tests

Lors des tests, les chercheurs ont utilisé le modèle Qwen3-VL-8B comme modèle de base et ont évalué AdaCodec sur onze benchmarks couvrant trois domaines de la compréhension de la vidéo: la performance de la vidéo longue a été évaluée avec MLVU, LongVideoBench, et LVBench; la compréhension temporelle avec TempCompass, MotionBench, et TOMATO; et la compréhension générale de la vidéo avec Video-MME, MVBench, NExT-QA, PerceptionTest, et EgoSchema.

Les modèles open source testés étaient InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; et Molmo2-O-7B.

Les variations GPT-5, Gemini et Claude apparaissent dans le tableau ci-dessous uniquement comme références de comparaison. CoPE-VideoLM-7B et ReMoRa-7B sont des modèles de langage vidéo plus anciens qui réduisent l’utilisation des jetons visuels grâce à une compression inspirée des codecs, ce qui les rend les concurrents directs les plus proches d’AdaCodec:

Résultats principaux sur onze benchmarks couvrant la compréhension de la vidéo longue, la raisonnement temporel et la compréhension générale de la vidéo. Les scores plus élevés indiquent de meilleures performances. LVB = LongVideoBench; V-MME = Video-MME. Les valeurs en gras et soulignées indiquent les scores les plus élevés et les deuxième plus élevés parmi les modèles open source. Les scores des modèles fermés ont été pris à partir de rapports officiels lorsque disponibles, avec des résultats manquants provenant de Molmo2, ou évalués par les auteurs.

Pour garantir une comparaison équitable, le même nombre de jetons visuels a été alloué à AdaCodec et au système Qwen3-VL-8B standard, permettant aux résultats de refléter l’efficacité de l’approche de compression, plutôt que des différences dans les ressources de calcul.

À la réglage le plus agressif, AdaCodec a réduit l’utilisation des jetons visuels d’environ 86 % tout en correspondant ou en dépassant légèrement le système de base sur les tâches de compréhension de la vidéo longue, temporelle et générale.

Lorsque les jetons économisés ont été réinvestis dans le traitement de davantage d’images vidéo, les performances ont été améliorées sur tous les benchmarks de vidéo longue et tous les benchmarks temporels, avec des gains atteignant +5,4 points sur LongVideoBench et +4,3 points sur TOMATO, tout en produisant certains des résultats open source les plus forts de l’étude.

Conclusion

Bien que des projets de cette nature soient généralement destinés aux fournisseurs hyperscale, c’est le type d’effort qui sera d’intérêt pour les amateurs et les PME, dans le cadre d’un potentiel nouveau « ascétisme public » autour du déploiement local et rationalisé de l’IA.

Dans des communautés telles que r/stablediffusion, c’est une très vieille nouvelle, car chaque grande version open source qui arrive là-bas est régulièrement torturée dans une version hyper-optimisée (GGUF, poids quantifiés, etc.) capable de fonctionner, avec un peu de patience, sur des cartes graphiques de basse finition.

Si la « phase de performance » de cette troisième vague de l’IA est vraiment terminée, et en supposant que les entreprises seront repoussées par les vrais coûts de l’inférence, alors des initiatives telles qu’AdaCodec pourraient faire partie d’une future « grande optimisation ».

^† Ceci n’est pas la même chose que la rendu de la vidéo dans un format convivial pour l’utilisateur / une taille de fichier; plutôt, il s’agit de la génération et de la collecte internes de cadres qui ont lieu à l’intérieur du modèle d’IA au moment de l’inférence.

* Ma conversion, dans la mesure du possible, des citations en ligne des auteurs en hyperliens.

Publié pour la première fois jeudi 4 juin 2026