Un avance notable en el video de IA impulsado por humanos

Nota: La página del proyecto de este trabajo incluye 33 videos de alta resolución que se reproducen automáticamente, que totalizan medio gigabyte, lo que destabilizó mi sistema al cargar. Por esta razón, no enlazaré directamente a ella. Los lectores pueden encontrar la URL en el resumen o PDF del documento si lo desean.

Uno de los objetivos principales en la investigación actual de síntesis de video es generar un rendimiento de video completo impulsado por IA a partir de una sola imagen. Esta semana, un nuevo documento de Bytedance Intelligent Creation presentó lo que puede ser el sistema más completo de este tipo hasta ahora, capaz de producir animaciones de cuerpo completo y semi-cuerpo que combinan detalles faciales expresivos con movimiento a gran escala preciso, mientras también logra una mejor consistencia de identidad, un área en la que incluso los sistemas comerciales líderes a menudo fallen.

En el ejemplo a continuación, vemos un rendimiento impulsado por un actor (arriba a la izquierda) y derivado de una sola imagen (arriba a la derecha), que proporciona una representación notablemente flexible y diestra, sin none de los problemas habituales alrededor de la creación de movimientos grandes o ‘adivinar’ sobre áreas ocultas (es decir, partes de la ropa y ángulos faciales que deben ser inferidos o inventados porque no son visibles en la única foto de origen):

CONTENIDO DE AUDIO. Haga clic para reproducir. Un rendimiento nace de dos fuentes, incluyendo lip-sync, que normalmente es el dominio de sistemas auxiliares dedicados. Esta es una versión reducida del sitio de origen (ver nota al comienzo del artículo – se aplica a todos los videos incrustados aquí).

Aunque podemos ver algunos desafíos residuales con respecto a la persistencia de la identidad a medida que avanza cada clip, este es el primer sistema que he visto que sobresale en general (aunque no siempre) al mantener la identidad durante un período sostenido sin el uso de LoRAs:

CONTENIDO DE AUDIO. Haga clic para reproducir. Más ejemplos del proyecto DreamActor.

El nuevo sistema, titulado DreamActor, utiliza un sistema de control híbrido de tres partes que da una atención dedicada a la expresión facial, la rotación de la cabeza y el diseño del esqueleto central, lo que permite rendimientos impulsados por IA donde ni la expresión facial ni el cuerpo sufren a expensas del otro, una capacidad rara, posiblemente desconocida entre sistemas similares.

A continuación, vemos una de estas facetas, rotación de la cabeza, en acción. La pelota de colores en la esquina de cada miniatura hacia la derecha indica una especie de cardán virtual que define la orientación de la cabeza de forma independiente del movimiento y la expresión facial, que aquí está impulsada por un actor (abajo a la izquierda).

Haga clic para reproducir. La pelota multicolor visualizada aquí representa el eje de rotación de la cabeza del avatar, mientras que la expresión está impulsada por un módulo separado e informada por el rendimiento de un actor (visto aquí abajo a la izquierda).

Una de las funcionalidades más interesantes del proyecto, que no se incluye adecuadamente en las pruebas del documento, es su capacidad para derivar el movimiento de lip-sync directamente del audio, una capacidad que funciona de manera inusual incluso sin un video de actor de conducción.

Los investigadores han tomado a los mejores incumbentes en esta búsqueda, incluyendo el muy elogiado Runway Act-One y LivePortrait, y informan que DreamActor logró mejores resultados cuantitativos.

Dado que los investigadores pueden establecer sus propios criterios, los resultados cuantitativos no son necesariamente un estándar empírico, pero las pruebas cualitativas acompañantes parecen apoyar las conclusiones de los autores.

Desafortunadamente, este sistema no está destinado a ser lanzado al público, y el único valor que la comunidad puede derivar del trabajo es en potencialmente reproducir las metodologías descritas en el documento (como se hizo con un efecto notable para el igualmente código cerrado Google Dreambooth en 2022 ).

El documento establece*:

‘La animación de la imagen humana tiene posibles riesgos sociales, como ser utilizada para crear videos falsos. La tecnología propuesta podría usarse para crear videos falsos de personas, pero las herramientas de detección existentes [Demamba, Dormant] pueden detectar estos falsos.

‘Para reducir estos riesgos, se necesitan reglas éticas claras y directrices de uso responsable. Restringiremos estrictamente el acceso a nuestros modelos y códigos principales para prevenir el mal uso.’

Naturalmente, consideraciones éticas de este tipo son convenientes desde un punto de vista comercial, ya que proporcionan una justificación para el acceso a la API solo, que luego se puede monetizar. ByteDance ya ha hecho esto una vez en 2025, al hacer que el muy elogiado OmniHuman estuviera disponible para créditos pagados en el sitio web Dreamina. Por lo tanto, dado que DreamActor es posiblemente un producto aún más fuerte, esto parece el resultado probable. Lo que queda por ver es hasta qué punto sus principios, en la medida en que se explican en el documento, pueden ayudar a la comunidad de código abierto.

El nuevo documento se titula DreamActor-M1: Animación de imagen humana holística, expresiva y robusta con orientación híbrida, y proviene de seis investigadores de Bytedance.

Método

El sistema DreamActor propuesto en el documento tiene como objetivo generar animación humana a partir de una imagen de referencia y un video de conducción, utilizando un marco de Diffusion Transformer (DiT) adaptado para espacio latente (aparentemente algún sabor de Stable Diffusion, aunque el documento solo cita la publicación de lanzamiento de 2022).

En lugar de confiar en módulos externos para manejar la condición de referencia, los autores fusionan las características de apariencia y movimiento directamente dentro del esqueleto de DiT, lo que permite la interacción a través del espacio y el tiempo a través de la atención:

Esquema para el nuevo sistema: DreamActor codifica la pose, el movimiento facial y la apariencia en latentes separados, combinándolos con latentes de video ruidosos producidos por un VAE 3D. Estas señales se fusionan dentro de un Diffusion Transformer utilizando autoatención y cross-atención, con pesos compartidos en las ramas. El modelo está supervisado comparando salidas desruidas con latentes de video limpios. Fuente: https://arxiv.org/pdf/2504.01724

Para hacer esto, el modelo utiliza un autoencoder variacional 3D preentrenado para codificar tanto la imagen de entrada como la imagen de referencia. Estos latentes se patchifican, concatenan y alimentan al DiT, que los procesa conjuntamente.

Esta arquitectura se aparta de la práctica común de adjuntar una red secundaria para la inyección de referencia, que fue el enfoque para los influyentes proyectos Animate Anyone y Animate Anyone 2.

En lugar de eso, DreamActor construye la fusión en el modelo principal, simplificando el diseño mientras mejora el flujo de información entre las pistas de apariencia y movimiento. El modelo se entrena utilizando coincidencia de flujo en lugar del objetivo de difusión estándar (la coincidencia de flujo entrena modelos de difusión prediciendo directamente campos de velocidad entre los datos y el ruido, saltándose la estimación de puntuación).

Orientación de movimiento híbrida

El método de Orientación de movimiento híbrida que informa los renderizados neuronales combina tokens de pose derivados de esqueletos de cuerpo 3D y esferas de cabeza; representaciones faciales implícitas extraídas por un codificador de cara preentrenado; y tokens de apariencia de referencia muestreados de la imagen de origen.

Estos elementos se integran dentro del Diffusion Transformer utilizando mecanismos de atención distintos, lo que permite al sistema coordinar el movimiento global, la expresión facial y la identidad visual a lo largo del proceso de generación.

Para el primero de estos, en lugar de confiar en puntos de referencia faciales, DreamActor utiliza representaciones faciales implícitas para guiar la generación de expresiones, aparentemente permitiendo un control más fino sobre la dinámica facial mientras desacopla la identidad y la pose de la cabeza de la expresión.

Para crear estas representaciones, la tubería primero detecta y recorta la región de la cara en cada cuadro del video de conducción, redimensionándola a 224×224. Las caras recortadas se procesan por un codificador de movimiento facial preentrenado en el conjunto de datos PD-FGC, que luego se condiciona por una capa MLP.

PD-FGC, empleado en DreamActor, genera una cabeza que habla a partir de una imagen de referencia con control desacoplado de lip-sync (desde el audio), pose de la cabeza, movimiento de los ojos y expresión (desde videos separados), lo que permite una manipulación precisa e independiente de cada uno. Fuente: https://arxiv.org/pdf/2211.14506

El resultado es una secuencia de tokens de movimiento facial, que se inyectan en el Diffusion Transformer a través de una capa de atención cruzada.

El mismo marco también admite una variante impulsada por audio, en la que un codificador separado se entrena que asigna directamente la entrada de habla a tokens de movimiento facial. Esto permite generar animación facial sincronizada, incluyendo movimientos de labios, sin un video de conducción.

CONTENIDO DE AUDIO. Haga clic para reproducir. Lip-sync derivado puramente del audio, sin un video de actor de conducción. La única entrada de personaje es la foto estática que se ve arriba a la derecha.

En segundo lugar, para controlar la pose de la cabeza de forma independiente de la expresión facial, el sistema introduce una representación de esfera de cabeza 3D (ver video incrustado anteriormente en este artículo), que desacopla la dinámica facial del movimiento global de la cabeza, mejorando la precisión y la flexibilidad durante la animación.

Las esferas de la cabeza se generan extrayendo parámetros faciales 3D, como la rotación y la pose de la cámara, del video de conducción utilizando el método de seguimiento FaceVerse.

Esquema del proyecto FaceVerse. Fuente: https://www.liuyebin.com/faceverse/faceverse.html

Estos parámetros se utilizan para renderizar una esfera de color proyectada en el plano de imagen 2D, alineada espacialmente con la cabeza de conducción. El tamaño de la esfera coincide con la cabeza de referencia, y su color refleja la orientación de la cabeza. Esta abstracción reduce la complejidad de aprender el movimiento de la cabeza 3D, lo que ayuda a preservar formas de cabeza estilizada o exagerada en personajes dibujados de animación.

Visualización de la esfera de control que influye en la orientación de la cabeza.

Finalmente, para guiar el movimiento del cuerpo completo, el sistema utiliza esqueletos de cuerpo 3D con normalización de longitud de hueso adaptable. Los parámetros del cuerpo y la mano se estiman utilizando 4DHumans y el enfoque en mano HaMeR, ambos de los cuales operan en el modelo de cuerpo SMPL-X.

SMPL-X aplica una malla paramétrica sobre el cuerpo humano completo en una imagen, alineándose con la pose y la expresión estimadas para permitir la manipulación de la pose utilizando la malla como guía volumétrica. Fuente: https://arxiv.org/pdf/1904.05866

De estas salidas, se seleccionan las articulaciones clave, se proyectan en 2D y se conectan en mapas de esqueleto basados en líneas. A diferencia de métodos como Champ, que renderizan mallas de cuerpo completo, este enfoque evita imponer priores de forma predefinidos, y al confiar únicamente en la estructura esquelética, el modelo se ve animado a inferir la forma y la apariencia del cuerpo directamente a partir de las imágenes de referencia, reduciendo el sesgo hacia tipos de cuerpo fijos y mejorando la generalización a lo largo de una variedad de poses y constituciones.

Durante el entrenamiento, los esqueletos de cuerpo 3D se concatenan con las esferas de la cabeza y se pasan a través de un codificador de pose, que produce características que luego se combinan con latentes de video ruidosos para producir los tokens de ruido utilizados por el Diffusion Transformer.

En el momento de la inferencia, el sistema tiene en cuenta las diferencias esqueléticas entre sujetos al normalizar las longitudes de los huesos. El modelo de edición de imagen preentrenado SeedEdit transforma tanto las imágenes de referencia como las de conducción en una configuración canónica estándar. RTMPose se utiliza para extraer las proporciones esqueléticas, que se utilizan para ajustar el esqueleto de conducción para que coincida con la anatomía del sujeto de referencia.

Visión general de la tubería de inferencia. Las referencias pseudo pueden generarse para enriquecer las pistas de apariencia, mientras que las señales de control híbridas – movimiento facial implícito y pose explícita de las esferas de la cabeza y los esqueletos del cuerpo – se extraen del video de conducción. Estos se alimentan luego a un modelo DiT para producir una salida animada, con el movimiento facial desacoplado de la pose del cuerpo, lo que permite el uso del audio como controlador.

Orientación de apariencia

Para mejorar la fidelidad de la apariencia, particularmente en áreas ocultas o raramente visibles, el sistema complementa la imagen de referencia principal con referencias pseudo muestreadas de la entrada de video.

Haga clic para reproducir. El sistema anticipa la necesidad de renderizar áreas ocultas de manera precisa y consistente. Esto es lo más cercano que he visto, en un proyecto de este tipo, a un enfoque de textura de mapa de bits similar al de la CGI.

Estos marcos adicionales se eligen por diversidad de pose utilizando RTMPose, y se filtran utilizando similitud basada en CLIP para garantizar que permanezcan consistentes con la identidad del sujeto.

Todas las marcos de referencia (principal y pseudo) se codifican con el mismo codificador visual y se fusionan a través de un mecanismo de autoatención, lo que permite al modelo acceder a pistas de apariencia complementarias. Esta configuración mejora la cobertura de detalles como vistas de perfil o texturas de extremidades. Las referencias pseudo siempre se utilizan durante el entrenamiento y opcionalmente durante la inferencia.

Entrenamiento

DreamActor se entrenó en tres etapas para introducir gradualmente la complejidad y mejorar la estabilidad.

En la primera etapa, solo se utilizaron esqueletos de cuerpo 3D y esferas de cabeza 3D como señales de control, excluyendo las representaciones faciales. Esto permitió que el modelo de generación de video base, inicializado desde MMDiT, se adaptara a la animación humana sin ser abrumado por controles de granularidad fina.

En la segunda etapa, se agregaron representaciones faciales implícitas, pero todos los demás parámetros congelados. Solo se entrenaron la capa de codificador de movimiento facial y las capas de atención facial en este punto, lo que permitió al modelo aprender detalles expresivos de manera aislada.

En la etapa final, todos los parámetros se descongelaron para la optimización conjunta a través de la apariencia, la pose y la dinámica facial.

Datos y pruebas

Para la fase de prueba, el modelo se inicializa a partir de un punto de partida preentrenado de DiT de imagen a video y se entrena en tres etapas: 20.000 pasos para cada una de las dos primeras etapas y 30.000 pasos para la tercera.

Para mejorar la generalización a través de diferentes duraciones y resoluciones, se muestrearon al azar clips de video con longitudes entre 25 y 121 cuadros. Estos se redimensionaron a 960x640px, preservando la relación de aspecto.

El entrenamiento se realizó en ocho (GPU H20 de NVIDIA enfocadas en China ) con 96GB de VRAM cada uno, utilizando el optimizador AdamW con una tasa de aprendizaje (tolerablemente alta) de 5e−6.

En la inferencia, cada segmento de video contenía 73 cuadros. Para mantener la consistencia a través de los segmentos, el latente final de un segmento se reutilizó como el latente inicial para el siguiente, lo que contextualiza la tarea como generación de imagen a video secuencial.

Se aplicó orientación de clasificador libre con un peso de 2,5 para ambas imágenes de referencia y señales de control de movimiento.

Los autores construyeron un conjunto de datos de entrenamiento (no se mencionan fuentes en el documento) que comprende 500 horas de video procedentes de diversos dominios, que presentan instancias de (entre otros) baile, deportes, cine y discursos públicos. El conjunto de datos se diseñó para capturar un amplio espectro de movimiento y expresión humana, con una distribución equitativa entre tomas de cuerpo completo y medio cuerpo.

Para mejorar la calidad de síntesis facial, Nersemble se incorporó en el proceso de preparación de datos.

Ejemplos del conjunto de datos Nersemble, utilizado para aumentar los datos para DreamActor. Fuente: https://www.youtube.com/watch?v=a-OAWqBzldU

Para la evaluación, los investigadores utilizaron su conjunto de datos también como una referencia para evaluar la generalización a través de varios escenarios.

El rendimiento del modelo se midió utilizando métricas estándar de trabajos anteriores: Fréchet Inception Distance (FID); Índice de similitud estructural (SSIM); Similitud de parches de imagen aprendida (LPIPS); y Relación de señal a ruido pico (PSNR) para la calidad de cuadro. Fréchet Video Distance (FVD) se utilizó para evaluar la coherencia temporal y la fidelidad general del video.

Los autores realizaron experimentos en tareas de animación de cuerpo y retrato, todas empleando una sola imagen de referencia (objetivo).

Para la animación de cuerpo, DreamActor-M1 se comparó con Animate Anyone; Champ; MimicMotion, y DisPose.

Comparaciones cuantitativas con marcos rivales.

Aunque el PDF proporciona una imagen estática como una comparación visual, uno de los videos del sitio del proyecto puede resaltar las diferencias de manera más clara:

CONTENIDO DE AUDIO. Haga clic para reproducir. Una comparación visual a través de los marcos desafiantes. El video de conducción se ve arriba a la izquierda, y la conclusión de los autores de que DreamActor produce los mejores resultados parece razonable.

Para las pruebas de animación de retrato, el modelo se evaluó contra LivePortrait; X-Portrait; SkyReels-A1; y Act-One.

Comparaciones cuantitativas para la animación de retrato.

Los autores señalan que su método gana en pruebas cuantitativas, y sostienen que también es superior cualitativamente.

CONTENIDO DE AUDIO. Haga clic para reproducir. Ejemplos de comparaciones de animación de retrato.

Arguablemente, el tercer y último de los clips mostrados en el video anterior exhibe un lip-sync menos convincente en comparación con algunos de los marcos rivales, aunque la calidad general es notablemente alta.

Conclusión

Al anticipar la necesidad de texturas que se implican pero no están realmente presentes en la imagen de referencia única que alimenta estas recreaciones, Bytedance ha abordado uno de los desafíos más grandes que enfrenta la generación de video basada en difusión – texturas consistentes y persistentes. El siguiente paso lógico después de perfeccionar este enfoque sería crear de alguna manera un atlas de referencia a partir del clip generado inicial que se podría aplicar a generaciones posteriores y diferentes, para mantener la apariencia sin LoRAs.

Aunque tal enfoque sería efectivamente una referencia externa, esto no es diferente a la texturización en técnicas de CGI tradicionales, y la calidad de realismo y plausibilidad es mucho mayor que la que pueden obtener esos métodos antiguos.

Dicho esto, el aspecto más impresionante de DreamActor es el sistema de orientación híbrida de tres partes, que conecta la división tradicional entre síntesis humana enfocada en la cara y enfocada en el cuerpo de una manera ingeniosa.

Solo queda por ver si algunos de estos principios fundamentales pueden aprovecharse en ofertas más accesibles; como está, DreamActor parece destinado a convertirse en otra oferta de síntesis como servicio, severamente limitado por restricciones de uso y por la impracticabilidad de experimentar extensivamente con una arquitectura comercial.

* Mi sustitución de hipervínculos por los autores; citas en línea

^† Como se mencionó anteriormente, no está claro qué sabor de Stable Diffusion se utilizó en este proyecto.

Publicado por primera vez el viernes 4 de abril de 2025