Visión por computadora es uno de los campos más emocionantes y mejor investigados dentro de la comunidad de inteligencia artificial hoy en día, y a pesar del rápido mejoramiento de los modelos de visión por computadora, un desafío persistente que todavía preocupa a los desarrolladores es la animación de imágenes. Incluso hoy en día, los marcos de animación de imágenes luchan por convertir imágenes estáticas en sus respectivas contrapartes de video que muestran dinámicas naturales mientras preservan la apariencia original de las imágenes. Tradicionalmente, los marcos de animación de imágenes se centran principalmente en animar escenas naturales con movimientos específicos de dominio o estocásticos como el cabello humano o los movimientos del cuerpo, o dinámicas estocásticas como fluidos y nubes. Aunque este enfoque funciona hasta cierto punto, limita la aplicabilidad de estos marcos de animación a contenido visual más genérico.

Además, los enfoques convencionales de animación de imágenes se centran principalmente en sintetizar movimientos oscilantes y estocásticos, o en personalizar para categorías de objetos específicas. Sin embargo, un defecto notable de este enfoque es que se imponen fuertes suposiciones en estos métodos que, en última instancia, limitan su aplicabilidad, especialmente en escenarios generales como la animación de imágenes de dominio abierto. En los últimos años, los modelos de texto a video o T2V han demostrado un éxito notable en la generación de videos vívidos y diversos utilizando prompts textuales, y esta demostración de los modelos T2V es lo que forma la base del marco DynamiCrafter.

El marco DynamiCrafter es un intento de superar las limitaciones actuales de los modelos de animación de imágenes y ampliar su aplicabilidad a escenarios genéricos que involucran imágenes de dominio abierto. El marco DynamiCrafter intenta sintetizar contenido dinámico para imágenes de dominio abierto, convirtiéndolas en videos animados. La idea clave detrás de DynamiCrafter es incorporar la imagen como guía en el proceso generativo en un intento de utilizar el prior de movimiento de los modelos de difusión de video a texto existentes. Para una imagen dada, el modelo DynamiCrafter primero implementa un transformador de consulta que proyecta la imagen en un espacio de representación de contexto rico y alineado con el texto, facilitando que el modelo de video digiera el contenido de la imagen de una manera compatible. Sin embargo, el modelo DynamiCrafter todavía lucha por preservar algunos detalles visuales en los videos resultantes, un problema que el modelo DynamiCrafter supera alimentando la imagen completa al modelo de difusión mediante la concatenación de la imagen con los ruidos iniciales, suplementando así el modelo con información de imagen más precisa.

Este artículo tiene como objetivo cubrir el marco DynamiCrafter en profundidad, y exploramos el mecanismo, la metodología, la arquitectura del marco junto con su comparación con los marcos de generación de imágenes y video de estado del arte. Así que comencemos.

DynamiCrafter: Animación de Imágenes de Dominio Abierto

Animar una imagen estática a menudo ofrece una experiencia visual atractiva para la audiencia, ya que parece dar vida a la imagen estática. A lo largo de los años, numerosos marcos han explorado varios métodos de animar imágenes estáticas. Los marcos de animación iniciales implementaron enfoques basados en simulación física que se centraban en simular el movimiento de objetos específicos. Sin embargo, debido a la modelización independiente de cada categoría de objetos, estos enfoques no fueron efectivos ni tuvieron generalizabilidad. Para replicar movimientos más realistas, surgieron métodos basados en referencias que transfirieron información de movimiento o apariencia de señales de referencia como videos a el proceso de síntesis. Aunque los enfoques basados en referencias entregaron mejores resultados con mejor coherencia temporal en comparación con los enfoques basados en simulación, necesitaban orientación adicional que limitó sus aplicaciones prácticas.

En los últimos años, la mayoría de los marcos de animación se centran principalmente en animar escenas naturales con movimientos estocásticos, específicos de dominio u oscilantes. Aunque el enfoque implementado por estos marcos funciona hasta cierto punto, los resultados que estos marcos generan no son satisfactorios, con un margen significativo para la mejora. Los resultados notables logrados por los modelos generativos de texto a video en los últimos años han inspirado a los desarrolladores del marco DynamiCrafter a aprovechar las poderosas capacidades generativas de los modelos de texto a video para la animación de imágenes.

La base fundamental del marco DynamiCrafter es incorporar una imagen condicional en un intento de gobernar el proceso de generación de video de los modelos de difusión de video a texto. Sin embargo, el objetivo final de la animación de imágenes todavía sigue siendo no trivial, ya que la animación de imágenes requiere la preservación de detalles, así como la comprensión de contextos visuales esenciales para crear dinámicas. Sin embargo, los modelos de difusión de video controlables multimodales como VideoComposer han intentado habilitar la generación de video con orientación visual desde una imagen. Sin embargo, estos enfoques no son adecuados para la animación de imágenes, ya que resultan en cambios temporales abruptos o baja conformidad visual con la imagen de entrada, debido a sus mecanismos de inyección de imagen menos comprehensivos. Para contrarrestar este obstáculo, el marco DynamiCrafter propone un enfoque de inyección de doble flujo, que consiste en orientación de detalles visuales y representación de contexto alineada con el texto. El enfoque de inyección de doble flujo permite que el marco DynamiCrafter garantice que el modelo de difusión de video sintetice contenido dinámico preservado de detalles de una manera complementaria.

Para una imagen dada, el marco DynamiCrafter primero proyecta la imagen en el espacio de representación de contexto alineado con el texto utilizando una red de aprendizaje de contexto especialmente diseñada. Para ser más específicos, el espacio de representación de contexto consiste en un transformador de consulta aprendible para promover aún más su adaptación a los modelos de difusión, y un codificador de imagen CLIP preentrenado para extraer características de imagen alineadas con el texto. El modelo utiliza las características de contexto ricas mediante capas de atención cruzada, y el modelo utiliza una fusión con compuerta para combinar estas características de texto con las capas de atención cruzada. Sin embargo, este enfoque intercambia las representaciones de contexto aprendidas con detalles visuales alineados con el texto, lo que facilita la comprensión semántica del contexto de la imagen, permitiendo así síntesis de dinámicas razonables y vívidas. Además, en un intento de suplementar detalles visuales adicionales, el marco concatena la imagen completa con el ruido inicial al modelo de difusión. Como resultado, el enfoque de inyección de doble flujo implementado por el marco DynamiCrafter garantiza la conformidad visual, así como contenido dinámico plausible, con la imagen de entrada.

Continuando, los modelos de difusión o DM han demostrado un rendimiento notable y una capacidad generativa en la generación de imagen a texto o T2I. Para replicar el éxito de los modelos T2I en la generación de video, se proponen los Modelos de Difusión de Video o VDM, que utilizan una arquitectura U-Net factorizada en el espacio y el tiempo en el espacio de píxeles para modelar videos de baja resolución. Transferir los conocimientos de los marcos T2I a los marcos T2V ayudará a reducir los costos de entrenamiento. Aunque los VDM pueden generar videos de alta calidad, solo aceptan prompts de texto como la única guía semántica, lo que puede no reflejar las intenciones reales del usuario o puede ser vago. Sin embargo, los resultados de la mayoría de los modelos VDM rara vez se adhieren a la imagen de entrada y sufren del problema de variación temporal irrealista. El enfoque DynamiCrafter se basa en modelos de difusión de video condicionados por texto que aprovechan su rico prior dinámico para animar imágenes de dominio abierto. Lo hace mediante diseños personalizados para una mejor comprensión semántica y conformidad con la imagen de entrada.

DynamiCrafter: Método y Arquitectura

Para una imagen estática dada, el marco DynamiCrafter intenta animar la imagen a video, es decir, producir un clip de video corto. El clip de video hereda el contenido visual de la imagen y exhibe dinámicas naturales. Sin embargo, es posible que la imagen aparezca en una ubicación arbitraria de la secuencia de frames resultante. La aparición de una imagen en una ubicación arbitraria es un desafío especial observado en tareas de generación de video condicionadas por imagen con requisitos de conformidad visual alta. El marco DynamiCrafter supera este desafío utilizando los priores generativos de los modelos de difusión de video preentrenados.

Dinámica de Imágenes a partir de Prior de Difusión de Video

Normalmente, los modelos de difusión de video a texto de dominio abierto son conocidos por mostrar contenido visual dinámico condicionado en descripciones de texto. Para animar una imagen estática con priores generativos de texto a video, los marcos deben inyectar la información visual en el proceso de generación de video de una manera comprehensiva. Además, para la síntesis dinámica, el modelo de texto a video debe digerir la imagen para la comprensión del contexto, mientras que también debe ser capaz de preservar los detalles visuales en los videos generados.

Representación de Contexto Alineada con el Texto

Para guiar la generación de video con contexto de imagen, el marco DynamiCrafter intenta proyectar la imagen en un espacio de incrustación alineado, permitiendo que el modelo de video utilice la información de la imagen de una manera compatible. Siguiendo esto, el marco DynamiCrafter emplea el codificador de imagen para extraer características de imagen de la imagen de entrada, ya que las incrustaciones de texto se generan utilizando un codificador de texto CLIP preentrenado. Ahora, aunque los tokens semánticos globales del codificador de imagen CLIP están alineados con las leyendas de la imagen, principalmente representan el contenido visual a nivel semántico, por lo que no capturan la extensión completa de la imagen. El marco DynamiCrafter implementa tokens visuales completos de la última capa del codificador CLIP para extraer información más completa, ya que estos tokens visuales demuestran alta fidelidad en tareas de generación de imagen condicional. Además, el marco emplea las incrustaciones de contexto y texto para interactuar con las características intermedias de la arquitectura U-Net utilizando las capas de atención cruzada dual. El diseño de este componente facilita la capacidad del modelo para absorber condiciones de imagen de una manera dependiente de la capa. Además, ya que las capas intermedias de la arquitectura U-Net se asocian más con las posiciones o formas de los objetos, se espera que las características de la imagen influyan en la apariencia de los videos predominantemente, especialmente ya que las capas de los dos extremos están más vinculadas a la apariencia.

Orientación de Detalles Visuales

El marco DynamiCrafter emplea una representación de contexto informativa que permite que el modelo de difusión de video en su arquitectura produzca videos que se asemejan a la imagen de entrada de cerca. Sin embargo, como se demuestra en la siguiente imagen, el contenido generado puede mostrar algunas discrepancias debido a la capacidad limitada del codificador CLIP preentrenado para preservar la información de entrada completa, ya que ha sido diseñado para alinear características de lenguaje y visuales.

Para mejorar la conformidad visual, el marco DynamiCrafter propone proporcionar al modelo de difusión de video detalles visuales adicionales extraídos de la imagen de entrada. Para lograr esto, el modelo DynamiCrafter concatena la imagen condicional con el ruido inicial por frame y los alimenta al componente U-Net de desenoise como orientación.

Paradigma de Entrenamiento

El marco DynamiCrafter integra la imagen condicional a través de dos flujos complementarios que desempeñan un papel significativo en la orientación de detalles y el control de contexto. Para facilitar esto, el modelo DynamiCrafter emplea un proceso de entrenamiento de tres pasos

1. En el primer paso, el modelo entrena la red de representación de contexto de la imagen.
2. En el segundo paso, el modelo adapta la red de representación de contexto de la imagen al modelo de texto a video.
3. En el tercer y último paso, el modelo ajusta finamente la red de representación de contexto de la imagen junto con el componente de Orientación de Detalles Visuales.

Para adaptar la información de la imagen para su compatibilidad con el modelo de texto a video, el marco DynamiCrafter sugiere desarrollar una red de representación de contexto, P, diseñada para capturar detalles visuales alineados con el texto a partir de la imagen dada. Reconociendo que P requiere muchos pasos de optimización para converger, el enfoque del marco implica entrenar inicialmente P utilizando un modelo de texto a imagen más simple. Esta estrategia permite que la red de representación de contexto se centre en aprender sobre el contexto de la imagen antes de integrarlo con el modelo de texto a video a través del entrenamiento conjunto con P y las capas espaciales, en lugar de las capas temporales, del modelo de texto a video.

Para garantizar la compatibilidad con el modelo de texto a video, el marco DynamiCrafter combina la imagen de entrada con el ruido por frame, procediendo a ajustar finamente tanto P como las capas espaciales del Modelo de Discriminación Visual. Este método se elige para mantener la integridad de los conocimientos temporales existentes del modelo de texto a video sin los efectos adversos de la fusión densa de la imagen, lo que podría comprometer el rendimiento y desviarse de nuestro objetivo principal. Además, el marco emplea una estrategia de selección aleatoria de un frame de video como la condición de la imagen para lograr dos objetivos: (i) evitar que la red desarrolle un patrón predecible que asocie directamente la imagen fusionada con una ubicación de frame específica, y (ii) fomentar una representación de contexto más adaptable al evitar proporcionar información demasiado rígida para cualquier frame en particular.

DynamiCrafter: Experimentos y Resultados

El marco DynamiCrafter primero entrena la red de representación de contexto y las capas de atención cruzada de la imagen en la Difusión Estable. El marco luego reemplaza el componente de Difusión Estable con VideoCrafter y ajusta finamente la red de representación de contexto y las capas espaciales para la adaptación, y con la concatenación de la imagen. En la inferencia, el marco adopta el muestreador DDIM con orientación de clasificador libre multi-condición. Además, para evaluar la coherencia temporal y la calidad de los videos sintetizados en ambos dominios temporales y espaciales, el marco informa la Distancia de Video de Fréchet o FVD, así como la Distancia de Video de Kernel o KVD, y evalúa el rendimiento de disparo cero en todas las métodos de las benchmarks MSR-VTT y UCF-101. Para investigar la conformidad perceptual entre los resultados generados y la imagen de entrada, el marco introduce la Conformidad de Entrada Perceptual o PIC, y adopta la métrica de distancia perceptual DreamSim como la función de distancia.

La siguiente figura demuestra la comparación visual del contenido animado generado con diferentes estilos y contenido.

Como se puede observar, entre los diferentes métodos, el marco DynamiCrafter se adhiere bien a la condición de la imagen de entrada y genera videos temporalmente coherentes. La siguiente tabla contiene las estadísticas de un estudio de usuario con 49 participantes de la tasa de preferencia para Coherencia Temporal (T.C), y Calidad de Movimiento (M.C) junto con la tasa de selección para la conformidad visual con la imagen de entrada. (I.C). Como se puede observar, el marco DynamiCrafter es capaz de superar a los métodos existentes por un margen considerable.

La siguiente figura demuestra los resultados logrados utilizando el método de inyección de doble flujo y el paradigma de entrenamiento.

Pensamientos Finales

En este artículo, hemos hablado sobre DynamiCrafter, un intento de superar las limitaciones actuales de los modelos de animación de imágenes y ampliar su aplicabilidad a escenarios genéricos que involucran imágenes de dominio abierto. El marco DynamiCrafter intenta sintetizar contenido dinámico para imágenes de dominio abierto, convirtiéndolas en videos animados. La idea clave detrás de DynamiCrafter es incorporar la imagen como guía en el proceso generativo en un intento de utilizar el prior de movimiento de los modelos de difusión de video a texto existentes. Para una imagen dada, el modelo DynamiCrafter primero implementa un transformador de consulta que proyecta la imagen en un espacio de representación de contexto rico y alineado con el texto, facilitando que el modelo de video digiera el contenido de la imagen de una manera compatible. Sin embargo, el modelo DynamiCrafter todavía lucha por preservar algunos detalles visuales en los videos resultantes, un problema que el modelo DynamiCrafter supera alimentando la imagen completa al modelo de difusión mediante la concatenación de la imagen con los ruidos iniciales, suplementando así el modelo con información de imagen más precisa.