Un Nuevo Sistema para Personajes de Video de Difusión Estable Temporalmente Coherentes

Una nueva iniciativa del Grupo Alibaba ofrece uno de los mejores métodos que he visto para generar avatares humanos completos a partir de un modelo de base de Difusión Estable.

Titulado MIMO (MIMicking con Object Interactions), el sistema utiliza una serie de tecnologías y módulos populares, incluidos modelos humanos basados en CGI y AnimateDiff, para permitir el reemplazo de personajes temporalmente coherentes en videos o para conducir a un personaje con una pose esquelética definida por el usuario.

Aquí vemos personajes interpolados a partir de una sola fuente de imagen y conducidos por una moción predefinida:

[Haga clic en el video a continuación para reproducir]

Desde imágenes de una sola fuente, tres personajes diversos son conducidos por una secuencia de pose 3D (lejos a la izquierda) utilizando el sistema MIMO. Consulte el sitio web del proyecto y el video de YouTube acompañante (incrustado al final de este artículo) para más ejemplos y una resolución superior. Fuente: https://menyifang.github.io/projects/MIMO/index.html

Los personajes generados, que también pueden ser obtenidos a partir de fotogramas de videos y de diversas otras maneras, se pueden integrar en metrajes del mundo real.

MIMO ofrece un sistema novedoso que genera tres codificaciones discretas, cada una para personaje, escena y occlusión (es decir, matting, cuando algún objeto o persona pasa delante del personaje que se está representando). Estas codificaciones se integran en el momento de la inferencia.

[Haga clic en el video a continuación para reproducir]

MIMO puede reemplazar a los personajes originales con personajes fotorealistas o estilizados que siguen la moción del video objetivo. Consulte el sitio web del proyecto y el video de YouTube acompañante (incrustado al final de este artículo) para más ejemplos y una resolución superior.

El sistema se entrena sobre el modelo de Difusión Estable V1.5, utilizando un conjunto de datos personalizado curado por los investigadores, y compuesto igualmente de videos del mundo real y simulados.

El gran problema de la difusión de video es la estabilidad temporal, donde el contenido del video parpadea o “evoluciona” de maneras no deseadas para la representación de personajes coherentes.

MIMO, en cambio, utiliza efectivamente una sola imagen como mapa para una guía coherente, que puede ser orquestada y restringida por el modelo de CGI de SMPL intersticial.

Dado que la referencia de origen es coherente, y el modelo base sobre el que se entrena el sistema ha sido mejorado con ejemplos de movimiento representativos adecuados, las capacidades del sistema para la salida temporalmente coherente están muy por encima del estándar general para los avatares de difusión.

[Haga clic en el video a continuación para reproducir]

Más ejemplos de personajes de MIMO conducidos por la pose. Consulte el sitio web del proyecto y el video de YouTube acompañante (incrustado al final de este artículo) para más ejemplos y una resolución superior.

Está volviéndose más común que las imágenes individuales se utilicen como fuente para representaciones neuronales efectivas, ya sea por sí solas o de manera multimodal, combinadas con textos de prompts. Por ejemplo, el popular sistema de transferencia facial LivePortrait también puede generar caras de deepfakes muy plausibles a partir de imágenes de caras individuales.

Los investigadores creen que los principios utilizados en el sistema MIMO se pueden extender a otros y nuevos tipos de sistemas y marcos generativos.

El nuevo artículo se titula MIMO: Síntesis de video de personajes controlable con modelado descompuesto espacial, y proviene de cuatro investigadores del Instituto de Computación Inteligente del Grupo Alibaba. El trabajo tiene una página del proyecto con videos y un video de YouTube acompañante, que también se incrusta al final de este artículo.

Método

MIMO logra la separación automática y no supervisada de los tres componentes espaciales mencionados, en una arquitectura de extremo a extremo (es decir, todos los subprocesos están integrados en el sistema, y el usuario solo necesita proporcionar el material de entrada).

El esquema conceptual para MIMO. Fuente: https://arxiv.org/pdf/2409.16160

Los objetos en los videos de origen se traducen de 2D a 3D, inicialmente utilizando el estimador de profundidad monocular Depth Anything. El elemento humano en cualquier cuadro se extrae con métodos adaptados del proyecto Tune-A-Video.

Estos características se traducen luego en facetas volumétricas de video a través de la arquitectura Segment Anything 2 de Facebook Research.

La capa de la escena en sí se obtiene eliminando los objetos detectados en las otras dos capas, proporcionando efectivamente una máscara de rotoscopio automática.

Para la moción, un conjunto de códigos latentes extraídos para el elemento humano se anclan a un modelo de CGI de SMPL humano por defecto, cuyos movimientos proporcionan el contexto para el contenido humano renderizado.

Un mapa de características 2D para el contenido humano se obtiene mediante un rasterizador diferenciable derivado de una iniciativa de 2020 de NVIDIA (NVDA ). Combinando los datos 3D obtenidos de SMPL con los datos 2D obtenidos por el método de NVIDIA, los códigos latentes que representan la “persona neural” tienen una correspondencia sólida con su contexto eventual.

En este punto, es necesario establecer una referencia comúnmente necesaria en arquitecturas que utilizan SMPL: una pose canónica. Esto es ampliamente similar al “hombre vitruviano” de Da Vinci, en el sentido de que representa una plantilla de pose cero que puede aceptar contenido y luego deformarse, trayendo el contenido (efectivamente) mapeado de texturas con él.

Estas deformaciones, o “desviaciones de la norma”, representan el movimiento humano, mientras que el modelo de SMPL conserva los códigos latentes que constituyen la identidad humana que se ha extraído, y así representa al avatar resultante correctamente en términos de pose y textura.

Un ejemplo de una pose canónica en una figura de SMPL. Fuente: https://www.researchgate.net/figure/Layout-of-23-joints-in-the-SMPL-models_fig2_351179264

En cuanto al problema de entrelazamiento (el grado en que los datos entrenados pueden resultar inflexibles cuando se estiran más allá de sus confines y asociaciones entrenadas), los autores afirman*:

‘Para desvincular completamente la apariencia de los fotogramas de video con pose, una solución ideal es aprender la representación humana dinámica a partir del video monocular y transformarla desde el espacio con pose al espacio canónico.

‘Considerando la eficiencia, empleamos un método simplificado que transforma directamente la imagen humana con pose en el resultado canónico en la pose estándar A utilizando un modelo de repose humano preentrenado. La imagen de apariencia canónica sintetizada se alimenta a los codificadores de ID para obtener el código de identidad.

‘Este diseño simple permite una desvinculación completa de los atributos de identidad y movimiento. Siguiendo [Animate Anyone], los codificadores de ID incluyen un codificador de imagen CLIP y una arquitectura de red de referencia para incrustar las características globales y locales, [respectivamente].’

Para los aspectos de la escena y la occlusión, se utiliza un Autoencoder Variacional (VAE) compartido y fijo (en este caso derivado de una publicación de 2013) para incrustar los elementos de la escena y la occlusión en el espacio latente. Las incongruencias se manejan mediante un método de pintura del proyecto ProPainter de 2023.

Una vez ensamblado y retocado de esta manera, tanto el fondo como cualquier objeto que oculte en el video proporcionarán una máscara para el avatar humano en movimiento.

Estos atributos descompuestos se alimentan luego a una arquitectura de backbone U-Net basada en la arquitectura de Difusión Estable V1.5. El código de escena completo se concatena con el ruido latente nativo del sistema. El componente humano se integra a través de capas de autoatención y atención cruzada, respectivamente.

Luego, el resultado desenoizado se produce a través del decodificador VAE.

Datos y Pruebas

Para el entrenamiento, los investigadores crearon un conjunto de datos de video humano titulado HUD-7K, que consistía en 5.000 videos de personajes reales y 2.000 animaciones sintéticas creadas por el sistema En3D. Los videos reales no requirieron anotación, debido a la naturaleza no semántica de los procedimientos de extracción de figuras en la arquitectura de MIMO. Los datos sintéticos estaban completamente anotados.

El modelo se entrenó en ocho GPUs NVIDIA A100 (aunque el artículo no especifica si eran modelos de 40GB o 80GB de VRAM), durante 50 iteraciones, utilizando 24 fotogramas de video y un tamaño de lote de cuatro, hasta convergencia.

El módulo de movimiento para el sistema se entrenó sobre los pesos de AnimateDiff. Durante el proceso de entrenamiento, los pesos del codificador y decodificador VAE, y el codificador de imagen CLIP se congelaron (en contraste con el ajuste fino completo, que tendría un efecto mucho más amplio en un modelo de base).

Aunque MIMO no se probó contra sistemas análogos, los investigadores lo probaron en secuencias de movimiento de distribución difícil fuera del conjunto de datos, obtenidas de AMASS y Mixamo. Estos movimientos incluyeron trepar, jugar y bailar.

También probaron el sistema en videos humanos del mundo real. En ambos casos, el artículo informa de “alta robustez” para estos movimientos 3D no vistos, desde diferentes puntos de vista.

Aunque el artículo ofrece múltiples resultados de imágenes estáticas que demuestran la eficacia del sistema, el rendimiento real de MIMO se evalúa mejor con los resultados de video extensos proporcionados en la página del proyecto y en el video de YouTube incrustado a continuación (del que se derivan los videos al comienzo de este artículo).

Los autores concluyen:

‘Los resultados experimentales [demuestran] que nuestro método permite no solo un control flexible de personajes, movimiento y escena, sino también una escalabilidad avanzada a personajes arbitrarios, generalidad a movimientos 3D nuevos y aplicabilidad a escenas interactivas.

‘También [creemos] que nuestra solución, que considera la naturaleza 3D inherente y codifica automáticamente el video 2D en componentes espaciales jerárquicos, podría inspirar investigaciones futuras sobre síntesis de video 3D consciente.

‘Además, nuestro marco no solo es adecuado para generar videos de personajes, sino que también se puede adaptar potencialmente a otras tareas de síntesis de video controlable.’

Conclusión

Es refrescante ver un sistema de avatares basado en Difusión Estable que parece capaz de tal estabilidad temporal – no menos porque los Avatares Gaussianos parecen estar ganando terreno en este sector de investigación en particular.

Los avatares estilizados representados en los resultados son efectivos, y aunque el nivel de realismo fotográfico que MIMO puede producir no es actualmente igual al que es capaz de lograr el Gaussian Splatting, las ventajas diversas de crear humanos temporalmente coherentes en una Red de Difusión Latente semántica (LDM) son considerables.

* Mi conversión de las citas en línea de los autores a hipervínculos, y cuando es necesario, hipervínculos explicativos externos.

Publicado por primera vez el miércoles 25 de septiembre de 2024