Un códec de video para metraje generado por IA

A medida que llega a su fin la era de la IA sin límites de consumo, un nuevo enfoque económico para generar video con IA promete ahorros notables de tokens y tiempo.

El costo real de la inferencia de IA aporta una nueva dosis de realismo al ritmo vertiginoso de la actual revolución de la IA, con un interés creciente por racionalizar el costo del aprendizaje automático. Además de la posibilidad de llevar la IA al entorno interno de la organización y del auge general de la IA privada, también será claramente necesario optimizar los procesos de aprendizaje automático que consumen grandes cantidades de VRAM y otros recursos.

La generación de video es quizá la mayor consumidora de recursos en este ámbito. Si alguna vez has recomprimido una película o la has exportado desde un programa de edición, ya conoces la carga que esa tarea, ajena a la IA, impone al hardware: consume RAM y ciclos de CPU y a menudo impide usar la computadora para otros fines, salvo que se limite el impacto del algoritmo de compresión en el equipo.

Basta imaginar, por tanto, en qué medida el auge del video con IA repite este proceso ávido de potencia de cómputo en centros de datos de todo el mundo. A esa escala, incluso las mejoras más pequeñas adquieren de inmediato importancia al sumarlas.

El fotograma en el centro

Con esta idea, un nuevo trabajo de investigación de Shanghái, realizado en colaboración con JD.com (JD ), propone un códec de video que no se dirige al renderizado de salida, es decir, a comprimir enormes fotogramas sin procesar en un archivo de video más pequeño, sino al propio proceso de generación de video con IA.

Un códec de video convencional no guarda todos los fotogramas como imágenes completas. En su lugar, crea un número menor de imágenes completas, llamadas fotogramas I, y después almacena los cambios entre fotogramas.

Por ejemplo, si una persona se mueve ligeramente en un video, el códec registra solo las partes del fotograma donde se produce ese cambio, en vez de reescribir toda la escena. Son los fotogramas P, derivados de fotogramas anteriores, y los fotogramas B, que también pueden aprovechar información de fotogramas posteriores:

Anatomía de un códec de video: la fila superior muestra fotogramas sucesivos etiquetados como I, P y B. Los fotogramas I se almacenan íntegramente y se muestran a todo color; los P y B aparecen atenuados para indicar su reconstrucción. Las flechas señalan si utilizan fotogramas anteriores, posteriores o ambos. Los paneles inferiores muestran un fotograma almacenado por completo (I, izquierda), otro construido a partir de un fotograma anterior (P, segundo desde la izquierda) y otro construido a partir de fotogramas anteriores y posteriores (B, derecha).

La reutilización de información cercana mantiene pequeños los archivos de video. La mayoría de los fotogramas no son imágenes nuevas, sino instrucciones que describen cómo ha cambiado el fotograma anterior. Los fotogramas I son, por tanto, imágenes completas que ocupan mucho espacio, sin comprimir o apenas comprimidas. Los intermedios contienen solo las diferencias respecto de los fotogramas I y entre ellos mismos.

Cuando cada fotograma individual es una imagen completa sin comprimir, la película prácticamente no tiene compresión. Guardada así, una película de dos horas necesitaría casi un terabyte de espacio en disco, o más. Sin embargo, así es como la IA crea películas^†: asigna los mismos recursos y tokens a todos los fotogramas mientras calcula cómo componer el video.

Ahorros a escala

El nuevo trabajo, titulado AdaCodec: A Predictive Visual Code for Video MLLMs, dedica en cambio los tokens visuales completos exclusivamente a los fotogramas de referencia (fotogramas I), y representa todos los intermedios mediante «tokens P compactos». Es un enfoque claramente tomado de la compresión tradicional de los códecs de video del mundo real.

Tras esta compresión interna, el video producido con IA generativa puede comprimirse normalmente. En teoría, todos los ahorros se producen del lado del servidor:

Visión general de AdaCodec. A la izquierda, los videos se dividen en grupos adaptativos de imágenes: los fotogramas I completos se reservan para momentos difíciles de predecir y los P intermedios se representan mediante información compacta de movimiento y residuo. A la derecha, el sistema iguala o supera a Qwen3-VL-8B en once pruebas de referencia, mantiene una precisión mayor en videos largos con distintos presupuestos de tokens y reduce la latencia de respuesta mientras procesa muchos menos tokens de video. Fuente

Los resultados publicados de las pruebas de AdaCodec indican que vale la pena buscar estos ahorros. Según el artículo, el sistema superó al modelo Qwen3-VL-8B sin modificar en todas las principales pruebas de referencia con la misma cantidad de procesamiento. Incluso tras reducir los tokens de video en aproximadamente un 86 %, siguió igualando o superando el rendimiento de ese modelo.

Los autores afirman*:

«Nos inspiramos en la codificación predictiva, en la que un sistema transmite los errores de una predicción en lugar de la señal sin procesar. Este principio tiene una base biológica: se cree que el sistema visual codifica errores de predicción, es decir, la discrepancia entre la entrada esperada y la observada, en lugar de la propia entrada.»

«Los códecs de video modernos emplean en ingeniería la misma idea de codificación residual: los fotogramas de referencia contienen todo el contenido, mientras que los predictivos contienen señales de movimiento y residuo relativas a un fotograma de referencia.»

«Estos sistemas tienen objetivos diferentes, pero comparten la misma estructura condicional: cuando las muestras cercanas son redundantes, el canal debe transportar lo que la predicción no consigue explicar.»

«Sin embargo, los códecs convencionales optimizan los flujos de bits y la reconstrucción destinada a la visión humana, no los tokens visuales que consume un LLM. Por eso rediseñamos este mecanismo como una interfaz de MLLM para comprender video.»

El nuevo trabajo, firmado por 11 investigadores de la Universidad Jiao Tong de Shanghái, el Shanghai Innovation Institute y JD.com, cuenta con una página del proyecto y la promesa de publicar el código fuente.

Método

Como se ha explicado, el sistema no trata cada fotograma como una imagen completamente nueva, sino que busca los cambios entre un fotograma y el siguiente. A la izquierda de la imagen inferior, una pequeña región del fotograma actual se compara con la región más similar de un fotograma anterior:

Esquema general de AdaCodec.

La distancia entre las dos posiciones se convierte en un vector de movimiento, mientras que las diferencias visuales restantes constituyen un residuo. Estas descripciones compactas sustituyen la necesidad de almacenar una imagen completa.

A la derecha, la información obtenida se introduce en el modelo de IA. Los fotogramas de referencia importantes siguen procesándose como imágenes completas, pero los intermedios se representan con tokens de movimiento y residuo mucho más pequeños. Al parecer, esto permite al modelo conservar información suficiente para interpretar el video mientras procesa muchos menos datos visuales.

Un reto interesante consiste en decidir qué fotogramas merecen almacenarse por completo. Los códecs tradicionales suelen situar fotogramas de referencia a intervalos regulares, sean necesarios o no. AdaCodec intenta identificar los momentos más importantes.

Imaginemos una escena en la que dos personas conversan casi sin moverse en un apartamento. De pronto, un equipo SWAT irrumpe por la ventana. Inmediatamente aumentan las perspectivas de cámara y los cortes de montaje, lo que exige muchos más datos de los que puede proporcionar un intervalo regular de fotogramas de referencia:

Esta es la lógica de los métodos de compresión variable, como la tasa de bits variable. Analizan el video original en busca de estos pasajes muy activos y asignan más datos donde hacen falta, con un costo considerable de tiempo y recursos.

En AdaCodec, si un fotograma puede predecirse con precisión a partir de los cercanos, el sistema sigue usando tokens compactos de movimiento y residuo. Si la escena cambia sustancialmente, como en el ejemplo del equipo SWAT o de forma menos dramática, se inserta un fotograma de referencia completo. Esto permite dedicar una mayor parte del presupuesto de procesamiento a la información visual importante, en vez de distribuirlo por igual por todo el video.

Datos y pruebas

Los investigadores usaron el mencionado Qwen3-VL-8B como modelo base y evaluaron AdaCodec en once pruebas de referencia que abarcan tres áreas de comprensión de video: el rendimiento en videos largos se evaluó con MLVU, LongVideoBench y LVBench; la comprensión temporal con TempCompass, MotionBench y TOMATO; y la comprensión general de video con Video-MME, MVBench, NExT-QA, PerceptionTest y EgoSchema.

Los modelos de código abierto probados fueron InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; y Molmo2-O-7B.

Las variantes de GPT-5, Gemini y Claude aparecen en la tabla siguiente únicamente como referencias de comparación. CoPE-VideoLM-7B y ReMoRa-7B son modelos anteriores de lenguaje de video que reducen el consumo de tokens visuales mediante una compresión inspirada en los códecs. Por ello, son los competidores directos más cercanos a AdaCodec:

Resultados principales en once pruebas de referencia sobre comprensión de videos largos, razonamiento temporal y comprensión general de video. Una puntuación mayor indica un rendimiento mejor. LVB = LongVideoBench; V-MME = Video-MME. La negrita y el subrayado indican las mejores y las segundas mejores puntuaciones entre los modelos de código abierto. Las puntuaciones de los modelos cerrados proceden de informes oficiales cuando están disponibles; los resultados ausentes se obtuvieron de Molmo2 o fueron evaluados por los autores.

Para garantizar una comparación justa, AdaCodec y el sistema Qwen3-VL-8B estándar recibieron el mismo número de tokens visuales. Así, los resultados reflejan la eficacia del método de compresión y no diferencias de recursos computacionales.

Con la configuración de compresión más intensa, AdaCodec redujo el uso de tokens visuales en aproximadamente un 86 % e igualó o superó ligeramente al sistema base en tareas de comprensión de videos largos, comprensión temporal y comprensión general de video.

Al reinvertir los tokens ahorrados en procesar más fotogramas, el rendimiento mejoró en todas las pruebas de videos largos y todas las pruebas temporales. Los incrementos alcanzaron +5,4 puntos en LongVideoBench y +4,3 puntos en TOMATO, con algunos de los resultados de código abierto más sólidos del estudio.

Conclusión

Aunque estos proyectos suelen dirigirse a proveedores de hiperescala, este tipo de esfuerzo también interesará a los aficionados y a las pymes. Podría formar parte de una nueva austeridad pública en torno al despliegue local y racionalizado de la IA.

En comunidades como r/stablediffusion, esto es una práctica de sobra conocida: cada gran lanzamiento de un modelo de código abierto se lleva regularmente al extremo de la optimización (GGUF, pesos cuantizados, etc.), para obtener una versión capaz de funcionar en tarjetas gráficas de gama baja, con algo de paciencia.

Si la fase centrada en el espectáculo de esta tercera oleada de IA realmente ha terminado y se parte de que las empresas se verán disuadidas por los costos reales de la inferencia, iniciativas como AdaCodec podrían formar parte de una próxima «gran optimización».

^† Esto no equivale a exportar el video a un formato y tamaño de archivo adecuados para el usuario. Se refiere a la generación y composición internas de los fotogramas que se realizan dentro del modelo de IA durante la inferencia.

* He convertido las referencias de los autores dentro del texto en enlaces, dentro de lo razonable.

Publicado por primera vez el jueves 4 de junio de 2026