Devolverle al video con IA algo de memoria del pasado

En marzo analizamos la dificultad que tiene el video generativo con IA para recordar cosas y lugares que ha visto, de modo que pueda reproducirlos una segunda vez y ofrecer coherencia visual.

El efecto práctico del problema es que puedes cruzar una puerta en un modelo de mundo con IA, darte la vuelta diez segundos después y descubrir que la puerta por la que entraste ya no está.

No es un fallo trivial de corregir: como el video generativo con IA inventa constantemente «lo siguiente» a lo que debe enfrentarse, no puede recordar realmente nada de lo que haya ocurrido mucho antes ni nada que haya quedado fuera de su estrecha ventana de contexto.

Esto significa que explorar un modelo de mundo entrenado con IA no es como explorar un entorno CGI modelado, donde las texturas y la geometría son fijas y se guardan como datos vectoriales y mapas de bits; es más bien como caminar por un sueño de probabilidades aproximadas: quizá encuentres exactamente lo mismo dos veces, pero solo porque se evocó de nuevo desde el espacio latente mediante el contexto, no porque el modelo recuerde realmente haberlo creado o haberlo visto.

Así, el modelo promedio de mundo de video generativo con IA se parece a alguien con amnesia anterógrada, que conserva recuerdos completos de todo lo anterior a un episodio cerebral —como un derrame cerebral o una lesión—, pero no puede formar recuerdos nuevos desde el incidente (una afección que se hizo conocida gracias al personaje de Guy Pearce que la padece en Memento [2000], que aparece en la imagen principal del artículo).

De este modo, los modelos de video conservan una comprensión profunda y muy arraigada de muchos ámbitos, pero carecen de la capacidad de recordar algo nuevo.

Un rastro de migas de pan

La solución HyDRA que analizamos en marzo se basaba en usar un «banco de memoria» de tokens visuales comprimidos, que permitiría a los personajes generados por IA salir de la pantalla y regresar con el mismo aspecto que tenían cuando se los vio por primera vez.

Hay varios métodos más que recurren a este enfoque de «migas de pan»; sin embargo, generar y dejar atrás geometría 3D compleja resuelve el problema a costa del tamaño de los archivos, así como de la capacidad de respuesta, la latencia y otros posibles cuellos de botella.

Entre estos «modelos de mundo con fundamentos 3D» se encuentra Gen3C, liderado por NVIDIA, cuyo enfoque HyDRA emplea el método más habitual para resolver este problema concreto: convertir lo que «ve» en nubes de puntos, que son, en esencia, geometría 3D simplificada:

Haz clic para reproducir. El enfoque HyDRA utiliza una caché persistente de nubes de puntos 3D para guiar la generación de video, preservar la coherencia de la escena mientras se mueve la cámara y hacer que vuelvan a aparecer las zonas vistas anteriormente. Fuente

Hay otros enfoques similares, como VMEM, de la Universidad de Oxford, presentado en 2025, y la colaboración SPMem, liderada por Stanford y realizada en el mismo periodo:

Haz clic para reproducir. De la colaboración SPMem, liderada por Stanford, que combina un mapa 3D persistente del escenario estático con fotogramas de video recientes para representar el movimiento y algunos fotogramas anteriores seleccionados para aportar detalles visuales; esto ayuda al modelo a recordar lugares cuando vuelve a visitarlos. Fuente 

Pero toda geometría 3D requiere mucho trabajo y exige bastante capacidad de inferencia. No es fácil recorrer un entorno y estar «construyéndolo» constantemente, como lo haría un artista de gráficos por computadora. Además, otros clips, puntos de vista o tomas tendrán que poder hacer referencia más adelante a la geometría creada, lo cual plantea un desafío.

Apuntes más ligeros

La incorporación más reciente al campo de la «memoria de video con IA» es una nueva colaboración liderada por la Universidad de Tsinghua, titulada Memoria planar persistente para modelos de mundo de video:

Haz clic para reproducir. En el sitio web del proyecto de la iniciativa PPMem, liderada por Tsinghua, se muestra el sistema en funcionamiento. PPMem sustituye la memoria 3D volumétrica del proyecto anterior SPMem por un conjunto más compacto de superficies planas, que actualiza y reutiliza a medida que se mueve la cámara para mantener la coherencia de los entornos vistos anteriormente. Fuente 

Como se muestra en el segmento de video anterior*, PPMem mejora los enfoques anteriores mediante una representación más compacta del entorno 3D. En lugar de almacenar millones de puntos individuales para reconstruir entornos vistos anteriormente, el sistema identifica superficies planas, como paredes, suelos y muebles, y las guarda como planos geométricos reutilizables, llamados primitivas planas; estas se incorporan continuamente a una memoria local persistente a medida que se generan nuevas partes del entorno:

Dos ejemplos de PPMem generando video mientras construye una memoria 3D persistente. Cada ejemplo comienza con una imagen de entrada a la izquierda y, debajo, la ruta prevista de la cámara. Al leer los fotogramas numerados de izquierda a derecha en la primera fila y luego en la segunda, se ve cómo la cámara explora una tienda o un jardín. Los pequeños recuadros de colores muestran cómo se acumulan las superficies 3D almacenadas a medida que avanza el recorrido, conservando los escenarios explorados previamente. Fuente

Cuando la cámara vuelve a un lugar anterior, los planos almacenados se proyectan de nuevo en su campo de visión, lo que guía la generación de nuevos fotogramas y reduce la cantidad de información espacial que debe conservarse y procesarse. Esto también ayuda a evitar que los objetos y el entorno conocidos cambien o desaparezcan entre visitas.

El uso de primitivas planas —objetos paramétricos definidos mediante vectores matemáticos— permite una solución más ágil y eficaz al «enfoque del rastro», sostienen los autores:

«Un modelo que genera mundos enteros, y no solo clips breves, necesita una memoria compacta y estructurada análoga de lo que ha producido. Las primitivas planas son una opción natural para esta función.

«Cada primitiva se define mediante solo 7 números (una profundidad central, dos dimensiones rectangulares y un cuaternión de rotación), que representan explícitamente la estructura geométrica 3D y son varios órdenes de magnitud más compactos que las representaciones por píxel».

Haz clic para reproducir si es necesario. Las estructuras ligeras de primitivas planas generadas por PPMem pueden captar y conservar tanto los detalles como la geometría general a medida que la cámara recorre el modelo del mundo. Las secciones verdes que se muestran arriba se conservan en la memoria a medida que se trazan de oscuro>verde.

La capacidad de estos planos para representar un mundo explorado está naturalmente limitada por la memoria y otros cuellos de botella previsibles. Esto significa que no sería posible recorrer el mundo durante horas y regresar para encontrarlo todo tal como se dejó; sin embargo, los aficionados a los videojuegos conocerán bien este tipo de restricción «por niveles», ya que sus potentes pero finitos recursos locales suelen ofrecer los mejores resultados en condiciones más acotadas:

Haz clic para reproducir. En PPMem, mientras la cámara recorre un entorno, deja «planos» ligeros (representados por las zonas verdes) que representan lo que ha visto y que seguirán allí si la cámara vuelve a pasar por ese lugar.

Por lo tanto, arriba podemos ver cómo se «mapea» un nivel, habitación por habitación, hasta que toda la planta queda verde y se puede explorar libremente, con menos necesidad —aunque no nula— de generar más planos.

Método

PPMem se desarrolló a partir de Wan2.2-TI2V-5B (en lugar de Wan2.1-T2V-1.3B, que es el modelo utilizado por HyDRA), un modelo de difusión de video con cinco mil millones de parámetros, al que se añadió un sistema de predicción geométrica adaptado de Plana3R. Se conservó la arquitectura de video existente y se incorporó una vía de procesamiento independiente para extraer información geométrica de sus representaciones internas:

Esquema del sistema de generación de video y memoria 3D de PPMem. La vía superior produce el video, mientras que la inferior registra las formas y posiciones de las superficies visibles. Estas se añaden a la memoria almacenada a la derecha, que luego se utiliza para guiar la siguiente sección del video. Las flechas de la parte inferior muestran cómo se devuelve esta información al sistema.

En la primera de las dos etapas de entrenamiento, Wan 2.2 se ajustó para generar videos con control de cámara, utilizando vistas proyectadas de la imagen de origen y de fotogramas anteriores para establecer el movimiento previsto de la cámara. Luego se congeló la arquitectura de video y se entrenaron de forma independiente los nuevos componentes geométricos.

Para el entrenamiento, se utilizaron más de 80.000 clips de DL3DV y RealEstate10K con una resolución de 576×1024. La información de profundidad de referencia se obtuvo de MoGe-2, y las distancias estimadas se alinearon con reconstrucciones 3D generadas por VGGT.

Así, el sistema de predicción de planos de PPMem se entrenó para estimar la profundidad y la orientación de las superficies, y sus resultados se verificaron con la geometría de referencia. También se aplicó entrenamiento adicional a las superficies renderizadas para mejorar su correspondencia con las escenas reconstruidas.

Se utilizó la adaptación de bajo rango (LoRA) para incorporar un procesamiento específico para la geometría sin modificar el modelo de video subyacente.

Durante la inferencia, el proceso habitual de generación de video se completa con estas adaptaciones desactivadas y, a continuación, se realiza una pasada de procesamiento independiente para extraer la geometría, lo que permite que ambas operaciones sigan siendo esencialmente independientes.

A continuación, el video se genera en segmentos de aproximadamente 25 fotogramas, utilizando los movimientos de cámara previstos para preparar la información visual y espacial necesaria para cada nueva secuencia. Esto incluye vistas proyectadas de escenarios generados previamente, máscaras que indican qué áreas son visibles e información de profundidad derivada de la geometría acumulada.

Para mejorar la predicción de nuevas superficies, la información de profundidad almacenada se combina con el conocimiento que el modelo ya tiene de la escena, mediante un transformador visual basado en DINOv2-Base.

Durante el entrenamiento, se ocultaron partes de los mapas de profundidad mediante máscaras selectivas, lo que obligó al modelo a predecir la geometría de las superficies a partir de datos espaciales incompletos y mejoró la capacidad de generalización.

Una vez generada la nueva geometría, el conjunto de planos se depura mediante comprobaciones para detectar superficies superpuestas u ocultas; las estimaciones menos fiables se eliminan cuando se dispone de observaciones mejores. Esto permite que la representación almacenada se corrija progresivamente a medida que se mueve la cámara, en lugar de limitarse a acumular indefinidamente todas las predicciones de superficies.

Resultados

Para las pruebas, el método se evaluó frente a Gen3C, Voyager, VMEM y SPMem, utilizando en todos los casos el código y los parámetros predeterminados de sus respectivos repositorios.

Las métricas utilizadas fueron la relación señal-ruido máxima (PSNR), las métricas de similitud perceptual aprendidas (LPIPS), la similitud de CLIP y la similitud de DINOv2 (véase el artículo para conocer las excepciones detalladas).

En la primera prueba, se comparó PPMem con los modelos competidores en los conjuntos de datos DL3DV y RealEstate10K, y se evaluó la calidad del video en secuencias de 49 y 121 fotogramas:

Comparación de la calidad de video de PPMem, Gen3C, Voyager, VMem y SPMem en DL3DV y RealEstate10K, en secuencias de 49 y 121 fotogramas. PPMem obtuvo las mejores puntuaciones, o empató en el primer puesto, en las cuatro métricas; su ventaja tendió a aumentar en las secuencias más largas.

Sobre estos resultados, los autores afirman:

‘PPMem obtiene los mejores resultados en todas las métricas, en ambos conjuntos de datos y con ambos presupuestos de fotogramas, pese a utilizar un modelo base más pequeño (Wan 2.2 5B) que Gen3C (Cosmos 7B) y Voyager (HunyuanVideo ∼13B). T’

PPMem también se puso a prueba para evaluar su capacidad de estimar la distancia entre los objetos y las superficies y la cámara. Según señalan los autores, en 121 fotogramas de DL3DV se obtuvieron estimaciones de profundidad más precisas que con Voyager, el único modelo competidor capaz de generar video e información de profundidad a la vez.

En la segunda prueba, de carácter cualitativo, se comparó la capacidad de los modelos competidores para mantener la coherencia de los escenarios mientras la cámara se desplazaba por escenas de DL3DV a lo largo de secuencias de 300–400 fotogramas. PPMem conservó la apariencia y la estructura de los entornos vistos anteriormente mejor que los modelos competidores, y su ventaja aumentó a medida que avanzaban las secuencias:

Haz clic para reproducir. Aunque solo podemos reproducir los resultados con una resolución inferior a la del original, nos pareció que el video ilustraba mejor los resultados que las imágenes estáticas del artículo; por ello, remitimos al lector a la versión de mayor calidad disponible en el sitio web del proyecto PPMem.

Los autores afirman lo siguiente:

‘PPMem mantiene la mayor fidelidad perceptual durante toda la secuencia, y la diferencia aumenta con el tiempo; esto se aprecia sobre todo en DINOv2, donde PPMem aventaja en ∼0.27 al siguiente método con mejor resultado en el fotograma 300.’

Comparación de fotogramas de video generados por Gen3C, VMem, SPMem, Voyager y PPMem en seis momentos de una secuencia de 288 fotogramas, junto con el metraje original (Ground Truth). PPMem conserva de manera más uniforme la apariencia del parterre y del entorno mientras se mueve la cámara, mientras que los métodos competidores distorsionan cada vez más la imagen o pierden detalles.

El artículo señala que, tras unos 400 fotogramas de video, PPMem puede representar una escena explorada por completo mediante aproximadamente 100.000 primitivas planas, que ocupan apenas 5 MB de memoria.

Dado que esta representación es aproximadamente mil veces más compacta que almacenar el mismo escenario como puntos individuales en una nube de puntos 3D densa, un artículo que podría haberse considerado un avance incremental dentro de una línea de investigación ya consolidada parece ofrecer una mejora sustancial en los requisitos operativos de esta arquitectura.

Conclusión

Aunque el nuevo artículo es un avance emocionante dentro de los límites y parámetros del problema objetivo, seguimos trabajando en un paradigma en el que la exploración aleatoria del espacio latente de un modelo del mundo dispersa geometría por todas partes como espuma persistente; una geometría que quizá haya que recuperar en escenas posteriores o para contextos futuros.

Esa operación de recuperación es mucho más engorrosa que incorporar mallas CGI tradicionales y texturas aplicadas. Podría decirse que todo este enfoque es «algo retrógrado»: lo ideal sería que los modelos de IA pudieran recuperar y consultar recursos fijos mediante algún tipo de sistema RAG o de búsqueda, sin perder la flexibilidad y la libertad creativa de moverse por el espacio latente.

Es mucho pedir, pero, a mi parecer, el método de las «miguitas de pan» parece equivalente a las soluciones extravagantes que precedieron a los hermanos Wright.

* Consulta el sitio del proyecto para ver el video completo.

Publicado por primera vez el martes 20 de octubre de 2026