Verso la generazione di video deepfake a corpo intero perpetua

In un campo in cui la pazienza è richiesta, un nuovo sistema ci porta un po’ più vicini alla simulazione umana in streaming senza round di rendering frustranti.

Lo stato dell’arte nella simulazione umana a corpo intero è migliorato notevolmente dal momento in cui la possibilità di deepfake a corpo intero è apparsa per la prima volta nel 2022. Adesso ci siamo abituati alla formidabile e spesso controversa capacità di sistemi open source come Wan-Animate e sistemi closed-source come Grok, di convertire singole o multiple immagini in una performance video coerente e spesso trasformativa:

Click to play if necessary. Esempi di sostituzione di persona con WanAnimate-2.2. Si prega di fare riferimento alla fonte per una risoluzione migliore.  Fonte 

Inoltre, il vecchio framework di deepfake facciale in tempo reale basato su autoencoder DeepFaceLive è stato superato da framework più sofisticati come Deep-Live-Cam, che sfrutta un’orchestrazione di LivePortrait e moduli legacy GAN e InsightFace per creare un efficace successore in tempo reale al progetto (abbandonato) DFLive:

Click to play: Elon Musk deepfaked in una sessione video live tramite Deep-Live-Cam. Si prega di fare riferimento alla fonte per una risoluzione migliore. Fonte 

Tuttavia, mentre framework come Deep-Live-Cam possono funzionare all’infinito e generare all’infinito, e sebbene siano migliori nel generare angoli facciali difficili di quanto non fossero in passato, i risultati sono comunque limitati in termini di risoluzione e capacità: è possibile ottenere una particolare faccia/identità, e può fare molte cose, come espressioni facciali convincenti e lip-sync – ma è essenzialmente un one-trick pony.

BRB…

La maggior parte dei sistemi di impersonazione umana attuali sono altrettanto limitati e/o “specializzati”. Una particolare limitazione ricorrente è che i migliori sistemi di simulazione/impersonazione umana sono offline – cioè, sono troppo intensivi in termini di risorse per funzionare in tempo reale, e invece devono andare via, calcolare la soluzione e presentare il risultato all’utente in seguito.

È ovvio che tali sistemi non sono adatti per la trasmutazione AI in tempo reale, come la trasformazione di un’intera gamma di movimenti del corpo, come la danza, in un flusso live.

Un esempio di ciò negli ultimi anni è il sistema open-weights Wan2.2. Animate, che è stato un successo tra la comunità di hobbyisti e rivenditori professionali – ma ancora una volta, si tratta di uno scenario “genera e aspetta”:

Click to play. Dal 2025, esempi delle impressionanti capacità di Wan2.2-Animate – se si può avere un po’ di pazienza. Si prega di fare riferimento alla fonte per una risoluzione migliore. Fonte 

Quindi, come stanno le cose, è possibile avere qualcosa di grande, versatile o immediato – scegliere due opzioni.

LiveAnimate

In questo stallo messicano arriva una nuova offerta dalla Cina, che trasforma efficacemente Wan2.2 Animate in un framework di animazione live-driven che funziona, attualmente, a una rispettabile velocità di quasi 20 fps, con risultati impressionanti in una gamma di scenari:

Click to play: Dal sito del progetto, LiveAnimate trasferisce pose di guida attraverso scenari di danza, corpo intero all’aperto e ritratto da vicino, riproducendo movimenti del corpo intero, mano e facciale. Si prega di fare riferimento alla fonte per una risoluzione migliore. Fonte 

Il nuovo lavoro estende il sistema originale in una versione live-capable cambiando come il video viene generato: invece di elaborare frame passati e futuri insieme, LiveAnimate genera ogni nuovo segmento man mano che l’azione si svolge, utilizzando solo pochi passaggi, mantenendo pose selezionate in precedenza per mantenere l’aspetto del soggetto coerente durante lunghe sessioni.

Effettivamente, il sistema mantiene i frame precedenti come un metodo di memoria persistente per attingervi man mano che il video si sviluppa, in modo che l’identità rimanga coerente – non del tutto dissimile dal modo in cui i vecchi sistemi CGI fanno riferimento a mappe di texture.

Sebbene un LoRA sia coinvolto nella fase di elaborazione, LiveAnimate non è solo un altro sistema LoRA – la sua generazione di flusso, il sistema di pose/memory/cache, l’inferenza a tre passaggi e le ottimizzazioni GPU rappresentano meccanismi aggiuntivi, oltre alle diverse altre tecnologie (alcune sorprendentemente vecchie) nel suo repertorio.

Il nuovo sistema può gestire non solo scenari di guida a corpo intero come quelli negli esempi sopra, ma anche movimenti del corpo superiore, come in scenari di intervista:

Click to play. ‘Sottile movimento della testa e della mano su uno scenario di ufficio statico’.

Per essere giusti riguardo alle sue limitazioni, il nuovo paper ammette che due dei framework rivali testati contro LiveAnimate sono stati in grado di preservare l’identità leggermente meglio in determinate circostanze specifiche; detto questo, nessuno dei contendenti è un sistema online piuttosto che offline, e gli autori del nuovo lavoro stanno chiaramente spingendo l’envelope in una direzione plausibile e ottimistica.

Inoltre, potrebbe essere utile notare che l’inferenza richiede due GPU H100 NVIDIA, per un totale di 160 GB di VRAM*.

Il paper afferma:

‘LiveAnimate mantiene una qualità percettiva e un’identità quasi costanti dal primo 30 secondi all’ultimo [minuto], mentre i sistemi precedenti si deteriorano notevolmente o richiedono ore di calcolo offline per lo stesso rollout.

‘Questi risultati stabiliscono un nuovo punto di operazione in termini di qualità, latenza e durata per l’animazione interattiva a corpo intero.’

Il nuovo paper è intitolato LiveAnimate: Stable Long-Form Streaming Human Animation in Real-Time e proviene da nove autori di The Chinese University of Hong Kong, Qwen Applications Business Group of Alibaba e Liblib AI. Un sito del progetto, completo dei video anche presenti in questo articolo, è disponibile, mentre il codice è ‘in arrivo’ e i pesi… chi lo sa?

Method

LiveAnimate costituisce un processo di formazione a due fasi progettato per far generare Wan2.2-Animate in modo continuo e veloce, seguito da un sistema di memoria che recupera pose utili precedenti man mano che ogni nuovo blocco di video viene prodotto:

Un’overview della pipeline di LiveAnimate, che mostra il suo processo di formazione a due fasi a sinistra e la generazione live a destra, dove le pose in entrata vengono abbinate con pose precedenti memorizzate e combinate con frame recenti per generare ogni nuovo blocco di video in tre passaggi. Fonte 

Il Wan2.2-Animate originale è progettato per considerare una sequenza intera piuttosto che generare un video che si estende all’infinito. Pertanto, per adattarlo, gli autori hanno diviso i video di formazione in blocchi successivi, con ogni blocco generato utilizzando blocchi precedenti come contesto/verità di base. Ciò insegna inizialmente al modello a continuare da materiale precedente affidabile, prima di dover affrontare errori accumulati dal proprio output.

Forget Me Not

Durante questo processo, l’immagine di riferimento originale viene mantenuta permanentemente disponibile attraverso un ‘Ref Sink’, fornendo un promemoria fisso dell’identità e dell’aspetto della persona. Una volta completato un blocco, un ‘Clean KV Update’ converte le informazioni ottenute da esso in contesto storico per blocchi successivi (anche se ciò non ripara errori esistenti).

La prima fase di formazione richiede ancora 50 passaggi di denoising per blocco, rendendo l’operazione live impraticabile. La seconda fase riduce quindi il processo a tre passaggi, esponendo il modello alla sua stessa storia generata, poiché la distribuzione richiede che ogni nuovo segmento dipenda da output precedente imperfetto:

Le due fasi di formazione† utilizzate per preparare LiveAnimate alla distribuzione, prima imparando da blocchi video precedenti puliti – poi riducendo la generazione a tre passaggi, mentre si allena sul proprio output imperfetto.

La formazione contro queste sequenze auto-generate presenta un altro problema, poiché mantenere l’intera storia computazionale di un video sarebbe proibitivamente costoso. Invece, si esegue un’unica corsia di pratica, poi si ritorna, un blocco alla volta, per la formazione. Ogni blocco può quindi ricevere un aggiornamento senza mantenere l’intera sequenza computazionalmente ‘live’.

Combinato con LoRA adattamento, ciò consente al modello da 14 miliardi di parametri di essere distillato su un singolo nodo contenente otto GPU H100 da 80 GB (notando che questo cluster è per la formazione, non per l’inferenza in fase di runtime).

Don’t Stop Now

Per la generazione indefinita, LiveAnimate deve anche decidere cosa vale la pena ricordare. Mantenere tutto renderebbe le richieste di elaborazione fuori controllo; ma mantenere solo frame recenti potrebbe anche scartare viste utili precedenti.

Pertanto Pose-Retrieval Sink Attention (PR-Sink) affronta questo, mantenendo il primo blocco generato come un ‘Static Sink’ permanente – una posa precedente rilevante, che funge da ‘Dynamic Sink’ sostituibile, e una finestra scorrevole che contiene il blocco corrente e due blocchi precedenti. L’immagine di riferimento rimane separatamente disponibile attraverso il Ref Sink, mentre le dimensioni di archiviazione fisse impediscono che i costi crescano man mano che la lunghezza del video aumenta.

Block Wars

Per scegliere pose più vecchie per questa memoria limitata, ViTPose riduce le posizioni del corpo e della mano in tre frame in una rappresentazione compatta. La banca dati mantiene cinque pose rappresentative di questo tipo e viene popolata durante i primi 20 blocchi, favorendo pose variegate rispetto a quelle quasi duplicate.

Durante la generazione, la posa in entrata viene confrontata con questi rappresentanti e si recupera la corrispondenza più vicina, fornendo prove precedenti di come la persona appariva in una posizione simile. Tuttavia, il blocco immediatamente precedente viene escluso, poiché esiste già nella finestra scorrevole, lasciando il Dynamic Sink libero di recuperare informazioni da più lontano.

Infine, il runtime stesso viene ottimizzato per velocità distribuendo l’elaborazione dell’attenzione su due GPU H100, sovrapponendo la comunicazione con l’elaborazione e riutilizzando informazioni in cache ovunque possibile.

Data and Tests

LiveAnimate è stato addestrato su 40.000 video di parlato da AVSpeech e 20.000 video di movimento umano da TikTok dataset e HumanVid, con formazione e inferenza che supportano risoluzioni di 480×480; 384×672; e 672×384 pixel.

La formazione è iniziata dal checkpoint di base Wan2.2-Animate-14B, utilizzando LoRA con rango 128, e si è svolta su otto GPU NVIDIA H100 per 10.000 passaggi nella prima fase e 20.000 nella seconda.

Il video è stato generato in blocchi di tre frame latenti (la rappresentazione interna compressa del modello), corrispondenti a 12 frame RGB, mentre l’inferenza è stata eseguita sulle due H100.

La valutazione ha confrontato LiveAnimate con metodi di animazione umana guidata da pose esistenti sia su sequenze brevi che lunghe, utilizzando immagini di riferimento e pose di guida in condizioni coerenti. I test a lungo termine hanno esteso la generazione a tre minuti per esaminare se la qualità e l’identità rimanevano stabili nel tempo.

I framework testati sono stati EverAnimate; One-to-All; SCAIL^††; UniAnimate-DiT; e Wan2.2-Animate.

Le metriche utilizzate coprivano la qualità visiva, la coerenza dell’identità, la qualità distributiva e l’errore di rappresentazione temporale. Aesthetic Score (ASE) e no-reference Image-Quality Assessment (IQA) misuravano la qualità visiva a livello di frame; DINO, somiglianza (DINO-S), e coerenza dell’aspetto con l’identità di riferimento; Fréchet Inception Distance (FID), qualità distributiva; e VideoMAE feature distance (V-MAE), quanto bene il video generato preservava il movimento nel tempo:

Risultati dei test relativi alla qualità e all’identità durante tre minuti di generazione continua, con LiveAnimate che rimane relativamente stabile in tutti e cinque i metriche man mano che la sequenza procede. Alcuni metodi di confronto mostrano una maggiore degradazione nel tempo. Letture più alte sono migliori per IQA, ASE e DINO-S, con letture più basse migliori per FID e V-MAE.

Come mostrato nel grafico dei risultati iniziali sopra, LiveAnimate ha raggiunto il punteggio ASE iniziale più alto di 2,823 e IQA di 4,047, nei primi 30 secondi. Gli autori sostengono che ciò indica che la distillazione a tre passaggi mantiene la qualità percettiva, nonostante il budget di inferenza ridotto.

Più significativamente, LiveAnimate ha mostrato poco deterioramento durante tre minuti di generazione continua, con punteggi di qualità visiva e coerenza dell’identità che sono rimasti quasi invariati.

Al contrario, One-to-All si è deteriorato notevolmente nel tempo, con una qualità visiva e una coerenza dell’identità più basse e un errore di distribuzione più alto; e il Wan2.2-Animate di base ha anche mostrato una certa perdita di coerenza dell’identità.

Gli autori affermano:

‘Queste tendenze supportano la nostra affermazione centrale che la gestione esplicita del contesto a lungo raggio è importante per l’animazione in streaming.’

L’efficienza di scalabilità di LiveAnimate è stata testata anche su più GPU. Come mostrato di seguito, 12,41 FPS sono stati raggiunti con una sola H100; 19,63 FPS con due; e 22,13 FPS con quattro, con i guadagni sempre più limitati dall’overhead della comunicazione. Due H100 sono state selezionate come configurazione preferita:

Efficienza di scalabilità su una, due e quattro GPU H100 a risoluzione 480×480, mostrando latenza, frame rate, velocità e efficienza. Due GPU hanno raggiunto 19,63 FPS, mentre un’ulteriore scalabilità a quattro ha prodotto solo un modesto aumento a 22,13 FPS.

A 19,63 FPS, ogni blocco di 12 frame è stato generato in 0,611 secondi. A confronto, circa 2-5 ore sono state necessarie dai sistemi di confronto per generare la stessa sequenza di tre minuti.

I test qualitativi hanno sollevato differenze simili: nel test a corpo intero mostrato di seguito, un deterioramento grave è stato osservato in One-to-All; un effetto di flickering è stato prodotto da UniAnimate-DiT e SCAIL; e uno spostamento di colore o di sfondo è diventato evidente con Wan-Animate e EverAnimate.

Risultati dei test che confrontano l’animazione a corpo intero durante tre minuti. I frame sono stati campionati ogni 20 secondi, con annotazioni rosse che evidenziano il deterioramento a lungo termine nei metodi di confronto. Le linee di base hanno richiesto circa 2-5 ore per generare la sequenza, rispetto ai circa quattro minuti per LiveAnimate. Si prega di fare riferimento al paper di origine per una risoluzione migliore.

LiveAnimate ha mantenuto l’aspetto del soggetto e la scena circostante durante l’intera sequenza di tre minuti. Nell’ambito del test meno impegnativo del corpo superiore mostrato di seguito, una stabilità a lungo termine paragonabile è stata raggiunta da EverAnimate e LiveAnimate (anche se la generazione in tempo reale è stata fornita solo da LiveAnimate):

Risultati dei test che confrontano l’animazione del corpo superiore durante tre minuti. I frame campionati ogni 20 secondi mostrano LiveAnimate che mantiene l’identità, gli abiti e lo sfondo scuro più coerentemente rispetto ai metodi di confronto.

Gli autori concludono:

‘Sul benchmark di tre minuti, LiveAnimate mantiene una qualità percettiva e un’identità quasi costanti a 19,63 FPS su due GPU H100, con memoria e latenza indipendenti dalla durata del flusso, mentre le linee di base offline si deteriorano visibilmente o richiedono ore di calcolo.

‘Questi risultati portano modelli di diffusione video su scala miliardaria alla portata di applicazioni interattive come lo streaming live, la telepresenza e gli avatar virtuali.’

Conclusion

È incoraggiante vedere un framework di generazione guidata che adotta un approccio nuovo ai problemi persistenti di memoria e identità che affliggono i video generativi. Ci sono già molti framework generativi che possono fare riferimento a immagini fisse fornite dall’utente, senza la necessità di “incollare” l’immagine di riferimento nel contenuto essenziale dell’immagine/video.

Tuttavia, ciò risolve solo alcuni dei problemi della generazione di un singolo clip video, come mantenere l’identità (compresi abiti e acconciatura) di una persona che rientra nel quadro, o che è diventata momentaneamente oscurata, e poi viene vista di nuovo. Fino ad ora, solo l’approccio LoRA pesante e temporaneo ha fatto alcun progresso con questi problemi, sebbene limitato e provvisorio.

Per il video, e in effetti per l’intera rivoluzione AI attuale, lo sviluppo di memoria persistente efficace è una questione critica ed esistenziale – una questione che probabilmente definirà la differenza tra l’avvento dell’AGI o un terzo inverno dell’AI.

*  È ancora un problema? Il pensiero attuale è che modelli più piccoli e specializzati potrebbero eventualmente essere eseguiti localmente, senza costi, mentre le esigenze di fascia alta sono soddisfatte da un mercato di noleggio GPU competitivo e sperabilmente balcanizzato. Ciò presume che le aziende di frontiera non riescano a EEE la concorrenza, e che una quantità sostanziale di calcolo GPU rimanga disponibile indipendentemente. Sulla base di ciò, non considero più le esigenze di GPU eccessive come un demerito, ma spero che l’accesso diventi sempre più democratico e che le ottimizzazioni successive riducano le richieste di risorse iniziali.

^† Generato e verificato da me.

^†† Per i test a video lungo, SCAIL e UniAnimate-DiT sono stati estesi con la stessa procedura di sliding-window senza formazione perché nessuno dei due supporta nativamente la generazione a lungo termine. EverAnimate e One-to-All sono stati valutati utilizzando i loro metodi di generazione di video a lungo termine.

Pubblicato per la prima volta giovedì, 13 agosto 2026