Fuera de la vista, fuera de la mente: Abordando el mayor problema en los videos de IA

El mayor problema con incluso los mejores generadores de video de IA es que tienen amnesia crónica – un desafío que una nueva investigación de China está abordando ahora.

El mayor problema con incluso los mejores y más avanzados sistemas de generación de video de IA es que todos tienen amnesia crónica: si la cámara se aleja de lo que está enfocada y luego vuelve a enfocar, nunca encontrará lo que estaba allí al principio – los personajes habrán desaparecido, cambiado de apariencia y/o tipo de movimiento, y el fondo también habrá cambiado.

Esto se debe a que el sistema de generación basado en difusión tiene una ventana de atención limitada y en movimiento, y porque siempre se ocupa de lo que puede ver en ese momento; en una verdadera representación del solipsismo, lo que está fuera del marco es inexistente para la IA generativa – se convierte literalmente en un desperdicio de memoria.

Esto nunca ha sido un problema en la CGI tradicional, que siempre puede referirse y recrear con precisión un sujeto, incluyendo apariencia y movimiento, en cualquier punto de un video renderizado donde puedan ser necesarios nuevamente:

Las mallas y texturas de mapa de bits de la CGI tradicional siempre se pueden dibujar en un render, proporcionando una apariencia coherente – un truco que es mucho más difícil de lograr en los enfoques de IA, porque no hay un archivo de referencia ‘plano’ o una colección de archivos relacionados.

Esto se debe a que los elementos componentes de la CGI, como la malla y las texturas (ver imagen arriba), así como los archivos de movimiento y otros comportamientos dinámicos, pueden vivir discretamente en el disco y ser dibujados en una composición en cualquier momento.

No hay tal ‘repositorio plano’ en la IA de video generativa; lo más cercano que puede llegar a esta funcionalidad es LoRAs – archivos adjuntos especialmente entrenados que se pueden entrenar en equipo de consumidor, lo que permite a los personajes y la ropa específica ser ‘forzados’ en el video:

Haga clic para reproducir. El problema de solipsismo de la IA de video se puede mitigar en cierta medida mediante el uso de LoRAs – pero los resultados pueden ser abrumadores.

Esto no es una solución ideal, sin embargo. Por un lado, LoRAs están vinculados a una versión específica exacta de un modelo base (como Wan2+ o Hunyuan Video), y necesitan ser recreados cada vez que el modelo base cambia. Por otro lado, LoRAs tienen tendencia a distorsionar los pesos del modelo base, de modo que la identidad entrenada de LoRA se impone en todos los personajes de una escena. Además, los métodos de ajuste fino de este tipo son muy sensibles a los conjuntos de datos mal curados.

Encores precisos

Ahora, una nueva colaboración académica-industrial de China está ofreciendo el primer remedio significativo que ha llegado a mi atención en más de tres años de informar sobre este problema. El método utiliza lo que los investigadores llaman memoria híbrida para mantener al personaje fuera de la pantalla y su entorno directo activo y preciso en el espacio latente del modelo, de modo que cuando nuestra perspectiva vuelve a ellos, el efecto es coherente:

Haga clic para reproducir. Del sitio del proyecto para el nuevo artículo, dos ejemplos de personajes generados por IA (WAN) que salen del marco y vuelven a entrar con precisión. Fuente 

Debería enfatizarse que esto no es lo mismo que lograr coherencia de personaje en diferentes tomas – algo que se afirmó haber sido logrado hace un año en la versión Gen 4 de Runway, y que sigue siendo un objetivo en curso en la literatura de investigación.

Más bien, lo que se resuelve aquí es algo que ningún marco comercial o experimental que haya visto ha podido lograr – la reaparición visualmente coherente de la apariencia, movimiento y entorno de un personaje fuera de la pantalla:

Haga clic para reproducir. Los otros dos ejemplos principales dados en el sitio del proyecto.

Obviamente, los principios que funcionan aquí se pueden aplicar igualmente a otros dominios, como la exploración urbana, la conducción en primera persona o otros tipos de renderizados no de personajes.

Debería enfatizarse también que este nuevo enfoque no resuelve ni aborda el problema que Runway Gen4 y otras plataformas de código cerrado afirman haber abordado, recreando personajes en diferentes tomas; en cambio, hace lo que none de ellos ha logrado aún – persistir un personaje y entorno en la memoria, sin necesidad de que permanezcan visibles para el espectador en todo momento.

El nuevo trabajo comprende un conjunto de datos dedicado generado a través de Unreal Engine, así como métricas personalizadas para el problema de solipsismo*, y un marco generativo personalizado construido sobre WAN. En pruebas contra los pocos sistemas análogos disponibles, los autores afirman resultados de vanguardia, y comentan:

‘[Los mecanismos de memoria] han surgido como un frente crítico en el avance de los modelos del mundo, ya que la capacidad de memoria dicta la coherencia espacial y temporal del contenido generado.

‘En particular, es el ancla cognitiva que permite al modelo retener el contexto histórico durante los cambios de perspectiva o la extrapolación a largo plazo.

‘Sin una memoria robusta, un mundo simulado se desmorona rápidamente en fotogramas desconectados y caóticos.’

El nuevo artículo se titula Fuera de la vista pero no fuera de la mente: Memoria híbrida para modelos de mundo de video dinámicos, y proviene de siete investigadores de la Universidad de Ciencia y Tecnología de Huazhong y el equipo Kling de Kuaishou Technology.

Método

El pilar central del nuevo trabajo es memoria híbrida, que facilita la ‘extrapolación fuera de la vista’ – la retención de personajes y sus contextos mientras el espectador ‘mira hacia otro lado’ (o mientras el personaje mismo sale de la vista). En este escenario, el marco debe realizar desacoplamiento espaciotemporal, en el que se enfoca simultáneamente en la generación visible para el espectador y la existencia fuera de la pantalla del personaje que ya no está en vista.

Ejemplos de movimiento de cámara de entrada y salida. En estos casos, es el movimiento de la cámara lo que hace que el personaje salga del marco, pero en muestras diversas también podemos observar que el personaje mismo se propulsa temporalmente fuera de la pantalla. Fuente

Los autores señalan que en las representaciones latentes de difusión, las características que necesitan ser extraídas y utilizadas están fuertemente entrelazadas con otras características y propiedades; y que intentar extraerlas a menudo hace que el sujeto se ‘congele’ en el fondo. Por lo tanto, diseñaron y curaron el conjunto de datos HM-World**, específicamente destinado a entrenar la memoria híbrida:

Del artículo, muestras de las cuatro categorías contenidas en el conjunto de datos HM-World.

La colección se construye a lo largo de cuatro dimensiones: trayectorias de sujeto, trayectorias de cámara, escenas y sujetos.

Los datos sintéticos en HM-World presentan 17 escenas y 49 sujetos, incluyendo personas de apariencia diversa, así como animales de múltiples especies. Combinaciones de estos se colocan proceduralmente en una escena a través de Unreal Engine, cada uno con una animación de movimiento distinta, y luego se establecen en una trayectoria seleccionada aleatoriamente.

Los autores afirman que un conjunto variado de eventos de entrada-salida se representan en el conjunto de datos, con 28 trayectorias de cámara diferentes incluidas, cada una con múltiples puntos de partida.

La colección final llega a 59,225 videoclips, cada uno anotado por el MiniCPM-V Multimodal Large Language Model (MLLM).

Los investigadores señalan las ventajas estadísticas de su colección frente a conjuntos de datos anteriores WorldScore; Context-As-Memory; Multi-Cam Video; y 360° Motion:

Comparación entre conjuntos de datos existentes y el conjunto de datos HM-World, donde ‘Sujeto dinámico’ indica la presencia de entidades en movimiento, ‘Sujeto entrada-salida’ denota clips que contienen sujetos que salen y vuelven a entrar en el marco, y ‘Posición del sujeto’ se refiere a la inclusión de poses 3D anotadas.

El camino menos transitado

Dado varios fotogramas anteriores y un camino de cámara conocido, la tarea es predecir vistas futuras a medida que la perspectiva del espectador cambia, teniendo en cuenta a los sujetos que se mueven de forma independiente y pueden salir del marco antes de regresar. Esto requiere más que preservar un fondo estable, ya que el modelo también debe retener un registro interno coherente de cómo cada sujeto en movimiento se ve y se comporta, incluso durante los períodos en que no es visible.

El método Hybrid Dynamic Retrieval Attention (HyDRA) de los autores aborda esto al introducir una vía de memoria dedicada que separa a los sujetos dinámicos de la representación de la escena estática, permitiéndoles persistir en el tiempo y reaparecer con una apariencia y movimiento coherentes:

Esquema conceptual para el modelo HyDRA.

HyDRA se construye sobre Wan2.1-T2V-1.3B, con el núcleo de la tubería de difusión dejado en gran medida intacto, mientras se introduce un bloque de transformador modificado que incorpora la atención de recuperación dinámica. Esto permite al modelo recordar selectivamente pistas de movimiento y apariencia de fotogramas anteriores, en lugar de confiar en un contexto fijo o local.

Este proceso utiliza un objetivo de entrenamiento de Flow Matching adaptado en lugar de la pérdida de difusión estándar.

Para mantener las escenas alineadas con el movimiento de la cámara, las trayectorias de la cámara se inyectan como una señal de acondicionamiento explícita, con cada fotograma definido por rotación y traducción, y luego se convierte en una representación compacta que captura cómo la perspectiva evoluciona con el tiempo.

En línea con la iniciativa anterior (Kling) ReCamMaster, el resultado se analiza entonces con un codificador de cámara, implementado como un Multi-Layer Perceptron, luego se difunde y se suma a las características de la Transformador de Difusión, lo que permite al modelo mantener la colocación de objetos coherente a medida que la cámara se mueve.

Tokenización

Los latentes de difusión crudos mezclan el movimiento del sujeto, la apariencia y el fondo en una representación entrelazada, y tratar de recuperar directamente de este espacio arriesga introducir un contexto irrelevante o hacer que los sujetos en movimiento se ‘mezclen’ con el fondo.

HyDRA aborda esto con un Tokenizador de Memoria basado en convolución 3D que procesa el espacio y el tiempo juntos – en lugar de avanzar en las historias latentes completas, las comprime en tokens de memoria compactos y conscientes del movimiento que preservan cómo se ven y se mueven los sujetos:

Visión general de HyDRA. Izquierda, el Tokenizador de Memoria convierte los fotogramas anteriores en tokens de memoria compactos y conscientes del movimiento; derecha, la Atención de Recuperación Dinámica evalúa la consulta actual contra estos tokens, recupera los más relevantes y los utiliza para restaurar una apariencia y movimiento coherentes en el fotograma generado.

Estos tokens forman una memoria híbrida estructurada que filtra el ruido mientras retiene la dinámica a largo plazo. Pasados al módulo de Atención de Recuperación Dinámica, estos permiten al modelo recordar selectivamente a los sujetos fuera de la pantalla, de modo que reaparezcan con una apariencia, movimiento y contexto coherentes.

Atención de Recuperación Dinámica

El mecanismo de memoria dual de HyDRA también utiliza la atención de recuperación dinámica en un papel distinto pero complementario dentro del marco.

La tokenización de memoria comprime las representaciones latentes anteriores en tokens estructurados y conscientes del movimiento que separan a los sujetos dinámicos del contenido de la escena estática, reduciendo el entrelazamiento que a menudo hace que los sujetos se mezclen con el fondo. Estos tokens forman un banco de memoria persistente en lugar de una historia de fotogramas completa.

La Atención de Recuperación Dinámica opera sobre este banco durante la generación, evaluando la consulta actual contra los tokens almacenados y recordando selectivamente los más relevantes para la evolución del fotograma. Esto permite a los sujetos fuera de la pantalla continuar su evolución latente (es decir, seguir caminando, corriendo, cuando no se les ve), y reaparecer con una apariencia y movimiento coherentes cuando regresan a la vista, en lugar de reiniciar o degradarse.

Datos y pruebas

En las pruebas, el sistema HyDRA basado en Wan codificó y redujo 77 fotogramas de contexto antes de analizarlos con un Autoencoder 3D Variacional (VAE), mientras que el tokenizador de memoria mencionado utilizó convolución 3D con un tamaño de núcleo de 2x4x4.

El modelo se entrenó en HW-World durante 10,000 iteraciones en 32 (no especificados) GPUs, con un tamaño de lote de 32.

Un número inusualmente alto de métricas se utilizó en las pruebas: además de la relación señal a ruido pico (PSNR) habitual, el Índice de Similitud Estructural (SSIM) y las Métricas de Similitud Perceptiva Aprendidas (LPIPS), los autores también utilizaron coherencia de sujeto y coherencia de fondo del conjunto de pruebas VBench, para evaluar la coherencia a nivel de fotograma.

Además, diseñaron una métrica personalizada titulada Coherencia de Sujeto Dinámico (DSC), que utiliza cuadros delimitadores de YOLO V11, para crear regiones recortadas que presentan sujetos en movimiento, de las cuales se extrajeron características semánticas y se calcularon sus similitudes.

HyDRA se comparó con Diffusion Forcing Transformer (DFoT) y Context-As-Memory, sobre un modelo base Wan2.1-T2V-1.3B con un codificador de cámara (para representar la perspectiva subjetiva común a todos los clips). Todos los modelos se entrenaron en HW-World, y WorldPlay también se utilizó como una colección de pruebas secundaria de disparo cero:

En las comparaciones cuantitativas iniciales, HyDRA superó a todas las líneas base, aumentando la PSNR de 18.696 a 20.357, y la SSIM de 0.517 a 0.606. También logró las puntuaciones de Dice más altas, 0.827 y 0.849, con Coherencia de Sujeto y Coherencia de Fondo alcanzando 0.926 y 0.932:

Resultados de la comparación cuantitativa inicial contra enfoques anteriores.

DFoT alcanzó una PSNR de 17.693 y Context as Memory 18.921, con los aumentos atribuidos a la tokenización de memoria combinada con la atención de recuperación dinámica:

Comparación cuantitativa que enfrenta a HyDRA contra el estado actual de la técnica.

En cuanto a las pruebas contra WorldPlay, los autores afirman:

‘Nuestro método supera a WorldPlay en todas las métricas, con una brecha de PSNR notable de 5.502. Aunque WorldPlay exhibe un rendimiento más bajo en las métricas de referencia GT (por ejemplo, PSNR de 14.855, DSCGT de 0.832) debido a la brecha de distribución de dominio y la falta de ajuste fino específico, demuestra una notable robustez en las métricas de referencia de contexto al lograr un DSCctx de 0.822.

‘Esta observación no solo confirma que los modelos entrenados extensivamente poseen una coherencia híbrida justa, sino que también valida indirectamente la racionalidad de nuestras métricas DSC propuestas para reflejar la coherencia de sujeto dinámico.

‘En última instancia, estos resultados impresionantes destacan las capacidades excepcionales de nuestro modelo, demostrando su superioridad incluso sobre modelos comerciales establecidos.’

El artículo ofrece una representación estática de las comparaciones cualitativas realizadas para las pruebas:

Comparación cualitativa de la salida y reentrada bajo el movimiento de la cámara. Los autores afirman que HyDRA preserva la identidad del sujeto, la pose y la continuidad del movimiento después de salir y regresar al marco, coincidiendo estrechamente con la verdad de referencia, mientras que los métodos competidores exhiben deriva, movimiento incoherente o degradación del sujeto, resaltados en rojo (las recuperaciones coherentes se marcan en verde).

De estos resultados, los autores comentan:

‘En el caso de eventos de salida y reentrada complejos, la línea base y Context-as-Memory exhiben una distorsión severa del sujeto y una incoherencia del movimiento. DFoT no logra mantener la integridad del sujeto, lo que lleva a una desaparición completa. Mientras que WorldPlay logra preservar la coherencia de la apariencia del sujeto, sufre de movimientos entrecortados y acciones poco naturales.

‘En cambio, nuestro método mantiene con éxito la coherencia híbrida, preservando tanto la identidad del sujeto como la coherencia del movimiento después de que el sujeto reingresa en el marco.’

Más resultados se pueden ver en formato de video en el sitio suplementario, de los cuales los primeros cuatro ejemplos han sido ensamblados (por nosotros) en el video a continuación:

Haga clic para reproducir. Cuatro de los seis resultados de las pruebas presentados en el sitio del proyecto. Fuente 

Conclusión

Mientras que cualquier intento de abordar uno de los mayores problemas de la generación de video de IA es bienvenido, parece inevitable que la solución óptima para problemas de salida/entrada de este tipo resultará ser, como lo fue con la CGI, en la forma de materiales de referencia distintos que puedan ser editados y traídos a un espacio de compositor de forma discreta.

Este asunto de tratar de mantener una representación latente viva de manera ad hoc y sobre la marcha parece agotador, y también no ofrece una forma clara de avanzar hacia la coherencia intra-toma ahora disponible en varios portales de caja negra como Runway. Si resulta que una toma de seguimiento requerirá acceso al espacio latente de la toma anterior, ¿por qué no hacer que ambas instancias coloquen una incrustación de personaje discreta y separada?

* Nadie más lo ha nombrado, y la discusión es difícil sin términos comunes.

** Actualmente se informa que está ‘próximamente’, en la página del proyecto.

Publicado por primera vez el viernes 27 de marzo de 2026