Un Avanzamento Notabile nell’AI Video Guidata dall’Uomo

Nota: La pagina del progetto per questo lavoro include 33 video ad alta risoluzione che si avviano automaticamente, per un totale di mezzo gigabyte, che hanno destabilizzato il mio sistema al caricamento. Per questo motivo, non linkerò direttamente a essa. I lettori possono trovare l’URL nell’abstract o nel PDF del paper se lo desiderano.

Uno degli obiettivi principali nella ricerca sulla sintesi video attuale è generare una performance video completa guidata dall’AI a partire da una singola immagine. Questa settimana, un nuovo paper di Bytedance Intelligent Creation ha delineato ciò che potrebbe essere il sistema più completo di questo tipo fino ad ora, in grado di produrre animazioni a corpo intero e semicorpo che combinano dettagli espressivi facciali con movimenti di larga scala accurati, migliorando anche la coerenza dell’identità – un’area in cui anche i sistemi commerciali leader spesso falliscono.

Nell’esempio seguente, vediamo una performance guidata da un attore (in alto a sinistra) e derivata da una singola immagine (in alto a destra), che fornisce una resa notevolmente flessibile e agile, senza alcuno dei soliti problemi relativi alla creazione di movimenti di larga scala o alla “supposizione” di aree occluse (ad esempio, parti di abbigliamento e angoli facciali che devono essere dedotti o inventati perché non sono visibili nella sola foto di origine):

CONTENUTO AUDIO. Clicca per riprodurre. Una performance nasce da due fonti, compresa la sincronizzazione labiale, che è normalmente appannaggio di sistemi ausiliari dedicati. Questa è una versione ridotta dal sito di origine (vedi nota all’inizio dell’articolo – si applica a tutti gli altri video incorporati qui).

Sebbene possiamo vedere alcune sfide residue relative alla persistenza dell’identità man mano che ogni clip procede, questo è il primo sistema che ho visto che eccelle nel mantenere generalmente (anche se non sempre) l’identità su un periodo prolungato senza l’uso di LoRAs:

CONTENUTO AUDIO. Clicca per riprodurre. Ulteriori esempi dal progetto DreamActor.

Il nuovo sistema, intitolato DreamActor, utilizza un sistema di controllo ibrido a tre parti che dedica un’attenzione specifica all’espressione facciale, alla rotazione della testa e alla progettazione dello scheletro centrale, consentendo così performance guidate dall’AI in cui né l’aspetto facciale né quello corporeo soffrono a scapito dell’altro – una capacità rara, forse sconosciuta tra sistemi simili.

In basso, vediamo una di queste facce, rotazione della testa, in azione. La palla colorata nell’angolo destro di ogni miniatura indica una sorta di gimbal virtuale che definisce l’orientamento della testa in modo indipendente dal movimento e dall’espressione facciale, che qui è guidata da un attore (in basso a sinistra).

Clicca per riprodurre. La palla multicolore visualizzata qui rappresenta l’asse di rotazione della testa dell’avatara, mentre l’espressione è alimentata da un modulo separato e informato dalle prestazioni di un attore (visibile qui in basso a sinistra).

Una delle funzionalità più interessanti del progetto, che non è nemmeno inclusa correttamente nei test del paper, è la sua capacità di derivare il movimento di sincronizzazione labiale direttamente dall’audio – una capacità che funziona in modo insolitamente efficace anche senza un video di attore guida.

I ricercatori hanno sfidato i migliori sistemi esistenti in questo campo, tra cui il molto acclamato Runway Act-One e LivePortrait, e riportano che DreamActor è stato in grado di ottenere risultati quantitativi migliori.

Dal momento che i ricercatori possono stabilire i propri criteri, i risultati quantitativi non sono necessariamente uno standard empirico; ma i test qualitativi che li accompagnano sembrano supportare le conclusioni degli autori.

Purtroppo, questo sistema non è destinato alla release pubblica, e l’unico valore che la comunità può potenzialmente trarre da questo lavoro è nel riprodurre le metodologie descritte nel paper (come è stato fatto con effetti notevoli per l’equivalente sistema closed-source Google Dreambooth nel 2022 ).

Il paper afferma*:

‘L’animazione dell’immagine umana ha possibili rischi sociali, come essere utilizzata per creare video falsi. La tecnologia proposta potrebbe essere utilizzata per creare video falsi di persone, ma gli strumenti di rilevamento esistenti [Demamba, Dormant] possono rilevare questi falsi.

‘Per ridurre questi rischi, sono necessarie regole etiche chiare e linee guida per l’uso responsabile. Limiteremo strettamente l’accesso ai nostri modelli e codici principali per prevenire abusi.’

Naturalmente, considerazioni etiche di questo tipo sono comode da un punto di vista commerciale, poiché forniscono una giustificazione per l’accesso API-only al modello, che può quindi essere monetizzato. ByteDance ha già fatto questo una volta nel 2025, rendendo disponibile l’acclamato OmniHuman per crediti pagati sul sito Dreamina. Pertanto, poiché DreamActor è probabilmente un prodotto ancora più forte, questo sembra il risultato più probabile. Ciò che rimane da vedere è fino a che punto i suoi principi, per quanto spiegati nel paper, possano aiutare la comunità open source.

Il nuovo paper è intitolato DreamActor-M1: Animazione dell’Immagine Umana Olistica, Espressiva e Robusta con Guida Ibrida, e proviene da sei ricercatori di Bytedance.

Metodo

Il sistema DreamActor proposto nel paper mira a generare animazione umana da un’immagine di riferimento e un video di guida, utilizzando un Diffusion Transformer (DiT) adattato per spazio latente (apparentemente una sorta di Stable Diffusion, anche se il paper cita solo la pubblicazione di rilascio del 2022).

Invece di affidarsi a moduli esterni per gestire la condizionamento di riferimento, gli autori fondono direttamente le caratteristiche di aspetto e movimento all’interno del DiT, consentendo l’interazione nello spazio e nel tempo attraverso l’attenzione:

Schema per il nuovo sistema: DreamActor codifica la posa, il movimento facciale e l’aspetto in latenti separati, combinandoli con latenti video rumorosi prodotti da un 3D VAE. Questi segnali vengono fusi all’interno di un Diffusion Transformer utilizzando auto- e cross-attenzione, con pesi condivisi tra i rami. Il modello è supervisionato confrontando output denoised con latenti video puliti. Fonte: https://arxiv.org/pdf/2504.01724

Per fare questo, il modello utilizza un 3D variational autoencoder pre-addestrato per codificare sia l’immagine di input che l’immagine di riferimento. Questi latenti vengono patchificati, concatenati e alimentati nel DiT, che li elabora congiuntamente.

Questa architettura si discosta dalla pratica comune di allegare una rete secondaria per l’iniezione di riferimento, che era l’approccio utilizzato per i progetti influenti Animate Anyone e Animate Anyone 2.

Invece, DreamActor costruisce la fusione all’interno del modello principale stesso, semplificando la progettazione e migliorando il flusso di informazioni tra i suggerimenti di aspetto e movimento. Il modello viene quindi addestrato utilizzando flow matching anziché l’obiettivo di diffusione standard (Flow matching addestra i modelli di diffusione prevedendo direttamente i campi di velocità tra dati e rumore, saltando stima del punteggio).

Guida del Movimento Ibrido

Il metodo di Guida del Movimento Ibrido che informa le rendering neurali combina token di posa derivati da scheletri del corpo 3D e sfere della testa; rappresentazioni facciali implicite estratte da un encoder facciale pre-addestrato; e token di aspetto di riferimento campionati dall’immagine di origine.

Questi elementi vengono integrati all’interno del Diffusion Transformer utilizzando meccanismi di attenzione distinti, consentendo al sistema di coordinare il movimento globale, l’espressione facciale e l’identità visiva durante tutto il processo di generazione.

Per il primo di questi, anziché affidarsi a landmark facciali, DreamActor utilizza rappresentazioni facciali implicite per guidare la generazione dell’espressione, apparentemente consentendo un controllo più fine sulla dinamica facciale e disaccoppiando l’identità e la posizione della testa dall’espressione.

Per creare queste rappresentazioni, la pipeline rileva e ritaglia l’area del viso in ogni frame del video di guida, ridimensionandola a 224×224. I volti ritagliati vengono elaborati da un encoder di movimento facciale pre-addestrato sul dataset PD-FGC, che viene poi condizionato da un MLP layer.

PD-FGC, utilizzato in DreamActor, genera una testa parlante da un’immagine di riferimento con controllo disaccoppiato della sincronizzazione labiale (dall’audio), della posizione della testa, del movimento degli occhi e dell’espressione (da video separati), consentendo la manipolazione precisa e indipendente di ciascuno. Fonte: https://arxiv.org/pdf/2211.14506

Il risultato è una sequenza di token di movimento facciale, che vengono iniettati nel Diffusion Transformer attraverso un layer di cross-attenzione.

La stessa struttura supporta anche una versione guidata dall’audio, in cui un encoder separato viene addestrato per mappare direttamente l’input vocale in token di movimento facciale. Ciò consente la generazione di animazione facciale sincronizzata – compresi i movimenti labiali – senza un video di guida.

CONTENUTO AUDIO. Clicca per riprodurre. Sincronizzazione labiale derivata puramente dall’audio, senza un video di attore guida. L’unico input del personaggio è la foto statica visibile in alto a destra.

In secondo luogo, per controllare la posizione della testa in modo indipendente dall’espressione facciale, il sistema introduce una rappresentazione sferica della testa 3D (vedi video incorporato in precedenza in questo articolo), che disaccoppia la dinamica facciale dal movimento globale della testa, migliorando la precisione e la flessibilità durante l’animazione.

Le sfere della testa vengono generate estraendo parametri facciali 3D – come rotazione e posizione della camera – dal video di guida utilizzando il metodo di tracciamento FaceVerse.

Schema per il progetto FaceVerse. Fonte: https://www.liuyebin.com/faceverse/faceverse.html

Questi parametri vengono utilizzati per renderizzare una sfera colorata proiettata sul piano dell’immagine 2D, allineata spazialmente con la testa di guida. La dimensione della sfera corrisponde alla testa di riferimento, e il suo colore riflette l’orientamento della testa. Questa astrazione riduce la complessità dell’apprendimento del movimento della testa 3D, aiutando a preservare forme di testa stilizzate o esagerate in personaggi tratti dall’animazione.

Visualizzazione della sfera di controllo che influenza l’orientamento della testa.

Infine, per guidare il movimento del corpo intero, il sistema utilizza scheletri del corpo 3D con normalizzazione della lunghezza delle ossa adattiva. I parametri del corpo e della mano vengono stimati utilizzando 4DHumans e il modello HaMeR focalizzato sulla mano, entrambi operanti sul modello del corpo SMPL-X.

SMPL-X applica una mesh parametrica su tutto il corpo umano in un’immagine, allineandosi con la posa e l’espressione stimata per abilitare la manipolazione consapevole della posa utilizzando la mesh come guida volumetrica. Fonte: https://arxiv.org/pdf/1904.05866

Dai loro output, vengono selezionati punti chiave e proiettati in 2D, e collegati in mappe scheletriche a base di linee. A differenza di metodi come Champ, che rendono mesh del corpo intero, questo approccio evita di imporre priori di forma predefiniti, e affidandosi solo alla struttura scheletrica, il modello è così incoraggiato a dedurre la forma e l’aspetto del corpo direttamente dalle immagini di riferimento, riducendo il bias verso tipi di corpo fissi e migliorando la generalizzazione su una gamma di pose e corporature.

Durante l’addestramento, gli scheletri del corpo 3D vengono concatenati con le sfere della testa e passati attraverso un encoder di posa, che produce caratteristiche che vengono poi combinate con latenti video rumorosi per produrre i token di rumore utilizzati dal Diffusion Transformer.

Al momento dell’inferenza, il sistema tiene conto delle differenze scheletriche tra i soggetti normalizzando le lunghezze delle ossa. Il modello di editing di immagini SeedEdit pre-addestrato trasforma sia le immagini di riferimento che quelle di guida in una configurazione canonica standard. RTMPose viene poi utilizzato per estrarre le proporzioni scheletriche, che vengono utilizzate per adattare lo scheletro di guida per farlo corrispondere all’anatomia del soggetto di riferimento.

Panoramica della pipeline di inferenza. Pseudo-riferimenti possono essere generati per arricchire i suggerimenti di aspetto, mentre segnali di controllo ibridi – moto facciale implicito e posa esplicita da sfere della testa e scheletri del corpo – vengono estratti dal video di guida. Questi vengono quindi alimentati in un modello DiT per produrre output animati, con il moto facciale disaccoppiato dalla posa del corpo, consentendo l’uso dell’audio come guida.

Guida dell’Aspetto

Per migliorare la fedeltà dell’aspetto, in particolare nelle aree occluse o raramente visibili, il sistema integra l’immagine di riferimento principale con pseudo-riferimenti campionati dal video di input.

Clicca per riprodurre. Il sistema anticipa la necessità di rendere in modo accurato e coerente le aree occluse. Questo è probabilmente il più vicino a un approccio di texture bitmap CGI che abbia visto in un progetto di questo tipo.

Questi frame aggiuntivi vengono selezionati per la diversità di posa utilizzando RTMPose e filtrati utilizzando la similarità basata su CLIP per assicurarsi che rimangano coerenti con l’identità del soggetto.

Tutte le immagini di riferimento (principali e pseudo) vengono codificate dallo stesso encoder visivo e fuse attraverso un meccanismo di auto-attenzione, consentendo al modello di accedere a suggerimenti di aspetto complementari. Questa impostazione migliora la copertura di dettagli come viste del profilo o texture degli arti. I pseudo-riferimenti vengono sempre utilizzati durante l’addestramento e opzionalmente durante l’inferenza.

Addestramento

DreamActor è stato addestrato in tre fasi per introdurre gradualmente la complessità e migliorare la stabilità.

Nella prima fase, solo gli scheletri del corpo 3D e le sfere della testa 3D sono stati utilizzati come segnali di controllo, escludendo le rappresentazioni facciali. Ciò ha consentito al modello di base di generazione video, inizializzato da MMDiT, di adattarsi all’animazione umana senza essere sopraffatto da controlli fini.

Nella seconda fase, sono state aggiunte rappresentazioni facciali implicite, ma tutti gli altri parametri congelati. Solo l’encoder di movimento facciale e i layer di attenzione facciale sono stati addestrati in questo punto, consentendo al modello di apprendere dettagli espressivi in isolamento.

Nell’ultima fase, tutti i parametri sono stati sbloccati per l’ottimizzazione congiunta dell’aspetto, della posa e della dinamica facciale.

Dati e Test

Per la fase di testing, il modello è stato inizializzato da un checkpoint DiT pre-addestrato per immagine-video e addestrato in tre fasi: 20.000 passi per ciascuna delle prime due fasi e 30.000 passi per la terza.

Per migliorare la generalizzazione su diverse durate e risoluzioni, i clip video sono stati campionati casualmente con lunghezze tra 25 e 121 frame. Questi sono stati quindi ridimensionati a 960x640px, preservando il rapporto di aspetto.

L’addestramento è stato eseguito su otto (GPU H20 di NVIDIA per il mercato cinese ) con 96GB di VRAM, utilizzando l’ottimizzatore AdamW con un tasso di apprendimento (sopportabilmente alto) di 5e−6.

Al momento dell’inferenza, ogni segmento di video conteneva 73 frame. Per mantenere la coerenza tra i segmenti, l’ultimo latente di un segmento è stato riutilizzato come latente iniziale per il segmento successivo, contestualizzando il compito come generazione sequenziale di immagine-video.

È stata applicata la guida senza classificatore con un peso di 2,5 per entrambe le immagini di riferimento e i segnali di controllo del movimento.

Gli autori hanno costruito un set di dati di addestramento (nessuna fonte è menzionata nel paper) composto da 500 ore di video provenienti da domini diversi, che presentano istanze di (tra gli altri) danza, sport, film e discorsi pubblici. Il set di dati è stato progettato per catturare un ampio spettro di movimento e espressione umana, con una distribuzione uniforme tra riprese a corpo intero e a mezzo corpo.

Per migliorare la qualità della sintesi facciale, Nersemble è stato incorporato nel processo di preparazione dei dati.

Esempi dal set di dati Nersemble, utilizzato per arricchire i dati per DreamActor. Fonte: https://www.youtube.com/watch?v=a-OAWqBzldU

Per la valutazione, i ricercatori hanno utilizzato il loro set di dati anche come benchmark per valutare la generalizzazione in vari scenari.

Le prestazioni del modello sono state misurate utilizzando metriche standard del lavoro precedente: Fréchet Inception Distance (FID); Indice di Similarità Strutturale (SSIM); Similarità di Patch di Immagine Perceptiva Appresa (LPIPS); e Rapporto di Segnale-Rumore di Picco (PSNR) per la qualità a livello di frame. Fréchet Video Distance (FVD) è stato utilizzato per valutare la coerenza temporale e la fedeltà video complessiva.

Gli autori hanno condotto esperimenti su compiti di animazione del corpo e di ritratto, tutti che impiegano un’unica immagine di riferimento (bersaglio).

Per l’animazione del corpo, DreamActor-M1 è stato confrontato con Animate Anyone; Champ; MimicMotion, e DisPose.

Confronti quantitativi con framework rivali.

Sebbene il PDF fornisca un’immagine statica come confronto visivo, uno dei video dal sito del progetto potrebbe evidenziare le differenze in modo più chiaro:

CONTENUTO AUDIO. Clicca per riprodurre. Un confronto visivo tra i framework sfidanti. Il video di guida è visibile in alto a sinistra, e la conclusione degli autori che DreamActor produce i migliori risultati sembra ragionevole.

Per i test di animazione del ritratto, il modello è stato valutato contro LivePortrait; X-Portrait; SkyReels-A1; e Act-One.

Confronti quantitativi per l’animazione del ritratto.

Gli autori notano che il loro metodo vince nei test quantitativi e sostengono che sia anche superiore qualitativamente.

CONTENUTO AUDIO. Clicca per riprodurre. Esempi di confronti di animazione del ritratto.

Argomentabilmente, il terzo e ultimo dei clip mostrati nel video sopra esibisce una sincronizzazione labiale meno convincente rispetto a uno dei framework rivali, anche se la qualità generale è notevolmente alta.

Conclusione

Nell’anticipare la necessità di texture che sono implicite ma non effettivamente presenti nell’immagine di riferimento che alimenta queste ricreazioni, Bytedance ha affrontato una delle più grandi sfide che si pongono di fronte alla generazione video basata sulla diffusione – texture coerenti e persistenti. Il prossimo passo logico dopo aver perfezionato un tale approccio sarebbe quello di creare in qualche modo un atlante di riferimento dalla clip generata iniziale che potrebbe essere applicato a generazioni successive e diverse, per mantenere l’aspetto senza LoRAs.

Sebbene un tale approccio sia effettivamente ancora un riferimento esterno, ciò non è diverso dalla texture mapping nelle tecniche CGI tradizionali, e la qualità di realismo e plausibilità è molto più alta di quanto possano ottenere quei metodi più vecchi.

Detto questo, l’aspetto più impressionante di DreamActor è il sistema di guida a tre parti combinato, che collega in modo ingegnoso la tradizionale divisione tra sintesi umana focalizzata sul viso e sul corpo.

Non rimane che vedere se alcuni di questi principi fondamentali possano essere sfruttati in offerte più accessibili; come si presenta, DreamActor sembra destinato a diventare un’offerta di sintesi come servizio, gravemente limitata dalle restrizioni sull’uso e dall’impraticabilità di sperimentare ampiamente con un’architettura commerciale.

* La mia sostituzione di collegamenti ipertestuali per gli autori; citazioni in linea

^† Come menzionato in precedenza, non è chiaro quale sapore di Stable Diffusion sia stato utilizzato in questo progetto.

Pubblicato per la prima volta venerdì, 4 aprile 2025