Verso il Controllo Totale nella Generazione di Video con Intelligenza Artificiale

I modelli di fondazione video come Hunyuan e Wan 2.1, sebbene potenti, non offrono agli utenti il tipo di controllo granulare che la produzione di film e TV (in particolare la produzione di effetti visivi) richiede.

Negli studi di effetti visivi professionali, modelli open-source come questi, insieme a modelli basati su immagini (piuttosto che video) come Stable Diffusion, Kandinsky e Flux, vengono solitamente utilizzati insieme a una serie di strumenti di supporto che adattano la loro uscita grezza per soddisfare esigenze creative specifiche. Quando un regista dice: “Sembra grande, ma possiamo renderlo un po’ più [n]?” non puoi rispondere dicendo che il modello non è abbastanza preciso per gestire tali richieste.

Al contrario, un team di effetti visivi AI utilizzerà una serie di tecniche tradizionali di CGI e compositive, alleate con procedure e flussi di lavoro personalizzati sviluppati nel tempo, al fine di cercare di spingere i limiti della sintesi video un po’ più in là.

Per analogia, un modello di fondazione video è molto simile a un’installazione predefinita di un browser web come Chrome; fa molto fuori dalla scatola, ma se vuoi che si adatti alle tue esigenze, piuttosto che viceversa, avrai bisogno di alcuni plugin.

Control Freaks

Nel mondo della sintesi di immagini basata sulla diffusione, il sistema di terze parti più importante è ControlNet.

ControlNet è una tecnica per aggiungere controllo strutturato a modelli generativi basati sulla diffusione, consentendo agli utenti di guidare la generazione di immagini o video con input aggiuntivi come mappe di bordo, mappe di profondità o informazioni di posa.

I metodi vari di ControlNet consentono di generare immagini da profondità (prima riga), segmentazione semantica (in basso a sinistra) e generazione di immagini di esseri umani e animali guidata dalla posa (in basso a sinistra).

Invece di affidarsi solo a prompt di testo, ControlNet introduce rami di reti neurali separati, o adattatori, che elaborano questi segnali di condizionamento mentre preservano le capacità generative del modello di base.

Ciò consente output raffinati che aderiscono più strettamente alle specifiche dell’utente, rendendolo particolarmente utile in applicazioni in cui è richiesta una composizione, struttura o controllo del movimento precisi:

Con una posa guidata, possono essere ottenuti vari tipi di output precisi tramite ControlNet. Fonte: https://arxiv.org/pdf/2302.05543

Tuttavia, le strutture di framework basate su adattatori di questo tipo operano esternamente su un insieme di processi neurali che sono molto focalizzati internamente. Questi approcci hanno diversi svantaggi.

In primo luogo, gli adattatori vengono addestrati in modo indipendente, portando a conflitti di ramo quando vengono combinati più adattatori, il che può comportare una qualità di generazione degradata.

In secondo luogo, introducono ridondanza di parametri, richiedendo ulteriore calcolo e memoria per ogni adattatore, rendendo inefficiente la scalabilità.

In terzo luogo, nonostante la loro flessibilità, gli adattatori spesso producono risultati subottimali rispetto a modelli che sono completamente ottimizzati per la generazione multi-condizionale. Questi problemi rendono i metodi basati su adattatori meno efficaci per le attività che richiedono un’integrazione senza soluzione di continuità di più segnali di controllo.

Ideale sarebbe che le capacità di ControlNet venissero addestrate nativamente nel modello, in modo modulare che potrebbe accogliere successive innovazioni ovvie come la generazione simultanea di video/audio o capacità di sincronizzazione labiale native (per audio esterni).

Allo stato attuale, ogni pezzo aggiuntivo di funzionalità rappresenta o un compito di post-produzione o una procedura non nativa che deve navigare i pesi sensibili e strettamente legati di qualsiasi modello di fondazione su cui opera.

FullDiT

Entra in scena una nuova offerta dalla Cina, che propone un sistema in cui le misure di tipo ControlNet vengono incorporate direttamente in un modello generativo di video durante l’addestramento, invece di essere relegati a un ripensamento.

Dal nuovo articolo: l’approccio FullDiT può incorporare l’imposizione di identità, profondità e movimento della camera in una generazione nativa e può evocare qualsiasi combinazione di questi contemporaneamente. Fonte: https://arxiv.org/pdf/2503.19907

Intitolato FullDiT, il nuovo approccio fonde condizioni multi-task come trasferimento di identità, mappatura della profondità e movimento della camera in una parte integrata di un modello generativo di video addestrato, per il quale gli autori hanno prodotto un modello addestrato prototipo e video-clip accompagnatori su un sito del progetto.

Nell’esempio seguente, vediamo generazioni che incorporano movimento della camera, informazioni di identità e informazioni di testo (cioè, prompt di testo dell’utente):

Clicca per riprodurre. Esempi di imposizione dell’utente di tipo ControlNet con solo un modello di fondazione addestrato in modo nativo. Fonte: https://fulldit.github.io/

È importante notare che gli autori non propongono il loro modello addestrato sperimentale come modello di fondazione funzionale, ma piuttosto come una prova di concetto per modelli di video-to-text (T2V) e immagine-to-video (I2V) che offrono agli utenti più controllo di un prompt di immagine o di testo.

Dal momento che non ci sono ancora modelli di questo tipo, i ricercatori hanno creato un nuovo benchmark intitolato FullBench, per la valutazione di video multi-task, e affermano di avere prestazioni all’avanguardia nei test come-per-coma che hanno ideato contro approcci precedenti. Tuttavia, poiché FullBench è stato progettato dagli stessi autori, la sua obiettività non è stata testata e il suo set di dati di 1.400 casi potrebbe essere troppo limitato per conclusioni più ampie.

Forse l’aspetto più interessante dell’architettura presentata nel documento è la sua potenziale capacità di incorporare nuovi tipi di controllo. Gli autori affermano:

‘In questo lavoro, esploriamo solo condizioni di controllo della camera, identità e informazioni di profondità. Non abbiamo ulteriormente indagato altre condizioni e modalità come audio, discorso, nuvole di punti, box di delimitazione di oggetti, flusso ottico, ecc. Sebbene il design di FullDiT possa integrare senza soluzione di continuità altre modalità con minime modifiche architettoniche, come adattare rapidamente e in modo efficiente in termini di costo modelli esistenti a nuove condizioni e modalità è ancora una questione importante che merita ulteriore esplorazione.’

Sebbene i ricercatori presentino FullDiT come un passo avanti nella generazione di video multi-task, si dovrebbe considerare che questo nuovo lavoro si basa su architetture esistenti piuttosto che introdurre un paradigma fondamentalmente nuovo.

Tuttavia, FullDiT si trova attualmente da solo (per quanto ne so) come modello di fondazione video con strutture di tipo ControlNet ‘incorporate’ – ed è bello vedere che l’architettura proposta può anche accogliere innovazioni successive.

Clicca per riprodurre. Esempi di movimenti della camera controllati dall’utente, dal sito del progetto.

Il nuovo articolo è intitolato FullDiT: Modello Generativo di Video Multi-Task con Attenzione Completa e proviene da nove ricercatori tra Kuaishou Technology e The Chinese University of Hong Kong. La pagina del progetto è qui e i nuovi dati di benchmark sono su Hugging Face.

Metodo

Gli autori sostengono che il meccanismo di attenzione unificato di FullDiT consente un’apprendimento di rappresentazione cross-modale più forte, catturando sia le relazioni spaziali che quelle temporali tra condizioni:

Secondo il nuovo articolo, FullDiT integra più condizioni di input attraverso un’attenzione completa, convertendole in una sequenza unificata. Al contrario, i modelli basati su adattatori (a sinistra) utilizzano moduli separati per ogni input, portando a ridondanza, conflitti e prestazioni più deboli.

A differenza delle configurazioni basate su adattatori che elaborano ogni flusso di input separatamente, questa struttura di attenzione condivisa evita conflitti di ramo e riduce l’onere dei parametri. Sostengono anche che l’architettura possa scalare a nuovi tipi di input senza una sostanziale ridisegno – e che lo schema del modello mostra segni di generalizzazione a combinazioni di condizioni non viste durante l’addestramento, come collegare il movimento della camera con l’identità del personaggio.

Clicca per riprodurre. Esempi di generazione di identità dal sito del progetto.

Nell’architettura di FullDiT, tutti gli input di condizionamento – come testo, movimento della camera, identità e profondità – vengono prima convertiti in un formato di token unificato. Questi token vengono quindi concatenati in una singola sequenza lunga, che viene elaborata attraverso uno stack di strati di trasformazione utilizzando un’attenzione completa. Questo approccio segue lavori precedenti come Open-Sora Plan e Movie Gen.

Questo design consente al modello di apprendere relazioni temporali e spaziali congiuntamente attraverso tutte le condizioni. Ogni blocco di trasformazione opera sull’intera sequenza, consentendo interazioni dinamiche tra modalità senza fare affidamento su moduli separati per ogni input – e, come abbiamo notato, l’architettura è progettata per essere estensibile, rendendo molto più facile incorporare segnali di controllo aggiuntivi in futuro, senza sostanziali cambiamenti strutturali.

Il Potere di Tre

FullDiT converte ogni segnale di controllo in un formato di token standardizzato in modo che tutte le condizioni possano essere elaborate insieme in un framework di attenzione unificato. Per il movimento della camera, il modello codifica una sequenza di parametri estrinseci – come posizione e orientamento – per ogni frame. Questi parametri sono timestampati e proiettati in vettori di incorporamento che riflettono la natura temporale del segnale.

Le informazioni di identità vengono trattate in modo diverso, poiché sono intrinsecamente spaziali piuttosto che temporali. Il modello utilizza mappe di identità che indicano quali personaggi sono presenti in quali parti di ogni frame. Queste mappe vengono divise in patch, con ogni patch proiettata in un incorporamento che cattura i suggerimenti spaziali di identità, consentendo al modello di associare regioni specifiche del frame con entità specifiche.

La profondità è un segnale spaziotemporale e il modello la gestisce dividendo i video di profondità in patch 3D che coprono sia lo spazio che il tempo. Queste patch vengono quindi incorporate in un modo che preserva la loro struttura attraverso i frame.

Una volta incorporati, tutti questi token di condizione (camera, identità e profondità) vengono concatenati in una singola sequenza lunga, consentendo a FullDiT di elaborarli insieme utilizzando un’attenzione completa. Questa rappresentazione condivisa rende possibile per il modello apprendere interazioni tra modalità e attraverso il tempo senza fare affidamento su flussi di elaborazione isolati.

Dati e Test

L’approccio di addestramento di FullDiT si è basato su set di dati selettivamente annotati adattati a ogni tipo di condizionamento.

Per le condizioni testuali, l’iniziativa segue l’approccio di captioning strutturato delineato nel progetto MiraData.

Pipeline di raccolta e annotazione video dal progetto MiraData. Fonte: https://arxiv.org/pdf/2407.06358

Per il movimento della camera, il dataset RealEstate10K è stato la principale fonte di dati, a causa delle sue annotazioni di parametri della camera di alta qualità.

Tuttavia, gli autori hanno osservato che l’addestramento esclusivamente su set di dati di scene statiche come RealEstate10K tendeva a ridurre i movimenti di oggetti e persone dinamici nei video generati. Per contrastare ciò, hanno condotto un ulteriore addestramento utilizzando set di dati interni che includevano movimenti della camera più dinamici.

Le annotazioni di identità sono state generate utilizzando la pipeline sviluppata per il progetto ConceptMaster, che ha consentito un’efficiente filtrazione e estrazione di informazioni di identità fine-grana.

La struttura di ConceptMaster è progettata per affrontare problemi di scollegamento di identità mantenendo la fedeltà del concetto in video personalizzati. Fonte: https://arxiv.org/pdf/2501.04698

Le annotazioni di profondità sono state ottenute dal dataset Panda-70M utilizzando Depth Anything.

Ottimizzazione Attraverso l’Ordinamento dei Dati

Gli autori hanno anche implementato un programma di addestramento progressivo, introducendo condizioni più impegnative all’inizio dell’addestramento per assicurarsi che il modello acquisisse rappresentazioni robuste prima che venissero aggiunti compiti più semplici. L’ordine di addestramento è proceduto da testo a condizioni della camera, quindi identità, e infine profondità, con compiti più semplici generalmente introdotti più tardi e con meno esempi.

Gli autori enfatizzano il valore dell’ordinamento del carico di lavoro in questo modo:

‘Durante la fase di pre-addestramento, abbiamo notato che i compiti più impegnativi richiedono un tempo di addestramento esteso e dovrebbero essere introdotti all’inizio del processo di apprendimento. Questi compiti impegnativi coinvolgono distribuzioni di dati complesse che differiscono notevolmente dall’output video, richiedendo al modello di possedere una capacità sufficiente per catturare e rappresentare con precisione.

‘Al contrario, l’introduzione di compiti più semplici troppo presto può portare il modello a imparare quelli per primi, poiché forniscono un feedback di ottimizzazione più immediato, che ostacola la convergenza di compiti più impegnativi.’

Un’illustrazione dell’ordine di addestramento dei dati adottato dai ricercatori, con il rosso che indica un volume di dati maggiore.

Dopo il pre-addestramento iniziale, una fase di addestramento finale ha ulteriormente raffinato il modello per migliorare la qualità visiva e la dinamica del movimento. Successivamente, l’addestramento ha seguito quello di un framework di diffusione standard:

rumore aggiunto ai latenti del video e il modello impara a prevedere e rimuovere, utilizzando i token di condizione incorporati come guida.

Per valutare efficacemente FullDiT e fornire un confronto equo con metodi esistenti, e in assenza della disponibilità di qualsiasi altro benchmark appropriato, gli autori hanno introdotto FullBench, un benchmark curato composto da 1.400 casi di test distinti.

Un’istanza di esplorazione dei dati per il nuovo benchmark FullBench. Fonte: https://huggingface.co/datasets/KwaiVGI/FullBench

Ogni punto di dati ha fornito annotazioni di verità di base per vari segnali di condizionamento, tra cui movimento della camera, identità e profondità.

Metriche

Gli autori hanno valutato FullDiT utilizzando dieci metriche che coprono cinque aspetti principali delle prestazioni: allineamento del testo, controllo della camera, similarità di identità, accuratezza della profondità e qualità generale del video.

L’allineamento del testo è stato misurato utilizzando CLIP similarity, mentre il controllo della camera è stato valutato attraverso errore di rotazione (RotErr), errore di traslazione (TransErr) e coerenza del movimento della camera (CamMC), seguendo l’approccio di CamI2V (nel progetto CameraCtrl).

La similarità di identità è stata valutata utilizzando DINO-I e CLIP-I, e l’accuratezza del controllo della profondità è stata quantificata utilizzando Mean Absolute Error (MAE).

La qualità del video è stata giudicata con tre metriche da MiraData: similarità di CLIP a livello di frame per la scorrevolezza; distanza di moto basata sul flusso ottico per la dinamica; e punteggi estetici LAION-Aesthetic per l’appeal visivo.

Addestramento

Gli autori hanno addestrato FullDiT utilizzando un modello di diffusione testo-video interno (non divulgato) contenente circa un miliardo di parametri. Hanno intenzionalmente scelto una dimensione dei parametri modesta per mantenere la equità nei confronti dei metodi precedenti e garantire la riproducibilità.

Poiché i video di addestramento differivano in lunghezza e risoluzione, gli autori hanno standardizzato ogni batch ridimensionando e riempiendo i video con una risoluzione comune, campionando 77 frame per sequenza e utilizzando attenzione applicata e maschere di perdita per ottimizzare l’efficacia dell’addestramento.

L’ottimizzatore Adam è stato utilizzato a un tasso di apprendimento di 1×10⁻⁵ su un cluster di 64 GPU NVIDIA H800, per un totale combinato di 5.120GB di VRAM (considera che nelle comunità di sintesi entusiaste, 24GB su un RTX 3090 è ancora considerato uno standard di lusso).

Il modello è stato addestrato per circa 32.000 passi, incorporando fino a tre identità per video, insieme a 20 frame di condizioni della camera e 21 frame di condizioni di profondità, entrambi campionati uniformemente dai 77 frame totali.

Per l’inferenza, il modello ha generato video a una risoluzione di 384×672 pixel (circa cinque secondi a 15 frame per secondo) con 50 passi di inferenza della diffusione e una scala di guida del classificatore gratuita di cinque.

Metodi Precedenti

Per la valutazione della camera-to-video, gli autori hanno confrontato FullDiT con MotionCtrl, CameraCtrl e CamI2V, con tutti i modelli addestrati utilizzando il dataset RealEstate10k per garantire coerenza e equità.

Nella generazione condizionata dall’identità, poiché non erano disponibili modelli multi-identità open-source confrontabili, il modello è stato valutato contro il modello ConceptMaster da 1 miliardo di parametri, utilizzando gli stessi dati di addestramento e architettura.

Per i compiti di profondità-to-video, sono stati effettuati confronti con Ctrl-Adapter e ControlVideo.

Risultati quantitativi per la generazione di video a task singola. FullDiT è stato confrontato con MotionCtrl, CameraCtrl e CamI2V per la generazione camera-to-video; ConceptMaster (versione da 1 miliardo di parametri) per l’identità-to-video; e Ctrl-Adapter e ControlVideo per la profondità-to-video. Tutti i modelli sono stati valutati utilizzando le loro impostazioni predefinite. Per coerenza, 16 frame sono stati uniformemente campionati da ogni metodo, corrispondenti alla lunghezza di output dei modelli precedenti.

I risultati indicano che FullDiT, nonostante gestisca più segnali di condizionamento contemporaneamente, ha raggiunto prestazioni all’avanguardia in metriche relative al testo, al movimento della camera, all’identità e al controllo della profondità.

Nelle metriche di qualità generale, il sistema ha generalmente superato altri metodi, sebbene la sua scorrevolezza sia stata leggermente inferiore a quella di ConceptMaster. Qui gli autori commentano:

‘La scorrevolezza di FullDiT è leggermente inferiore a quella di ConceptMaster poiché il calcolo della scorrevolezza si basa sulla similarità di CLIP tra frame adiacenti. Dal momento che FullDiT esibisce una dinamica significativamente maggiore rispetto a ConceptMaster, la metrica di scorrevolezza è influenzata dalle grandi variazioni tra frame adiacenti. ‘

‘Per il punteggio estetico, poiché il modello di valutazione favorisce immagini nello stile pittorico e ControlVideo di solito genera video in questo stile, raggiunge un punteggio alto in estetica.’

Riguardo al confronto qualitativo, potrebbe essere preferibile fare riferimento ai video di esempio sul sito del progetto FullDiT, poiché gli esempi del PDF sono inevitabilmente statici (e anche troppo grandi per essere riprodotti interamente qui).

La prima sezione dei risultati qualitativi riprodotti nel PDF. Si prega di fare riferimento all’articolo originale per gli esempi aggiuntivi, che sono troppo estensivi per essere riprodotti qui.

Gli autori commentano:

‘FullDiT dimostra una conservazione dell’identità superiore e genera video con migliori dinamiche e qualità visiva rispetto a [ConceptMaster]. Dal momento che ConceptMaster e FullDiT sono addestrati sulla stessa architettura di base, ciò evidenzia l’efficacia dell’iniezione di condizioni con attenzione completa. ‘

‘… I risultati dimostrano la superiorità del controllo e della qualità di generazione di FullDiT rispetto ai metodi esistenti di profondità-to-video e camera-to-video.’

Una sezione degli esempi del PDF dell’output di FullDiT con segnali multipli. Si prega di fare riferimento all’articolo originale e al sito del progetto per esempi aggiuntivi.

Conclusione

Sebbene FullDiT sia un’incursione emozionante in un tipo più completo di modello di fondazione video, ci si potrebbe chiedere se la domanda per strumentalità di tipo ControlNet giustificherà mai l’implementazione di tali funzionalità su larga scala, almeno per i progetti FOSS, che lottano per ottenere la enorme quantità di potenza di elaborazione GPU necessaria senza un sostegno commerciale.

La sfida principale è che l’utilizzo di sistemi come Depth e Pose richiede generalmente una familiarità non banale con interfacce utente relativamente complesse come ComfyUI. Pertanto, sembra che un modello FOSS funzionale di questo tipo sia più probabile che venga sviluppato da un gruppo di piccole società di effetti visivi che mancano dei soldi (o della volontà, dato che tali sistemi vengono rapidamente resi obsoleti da aggiornamenti del modello) per curare e addestrare un tale modello dietro porte chiuse.

D’altra parte, i sistemi API-driven ‘noleggia-un-AI’ potrebbero essere ben motivati a sviluppare metodi interpretativi più semplici e più facili da usare per modelli in cui siano state addestrate direttamente strutture di controllo ausiliarie.

Clicca per riprodurre. Controlli Depth+Text impostati su una generazione di video utilizzando FullDiT.

* Gli autori non specificano alcun modello di base noto (ad esempio SDXL, ecc.)

Pubblicato per la prima volta giovedì 27 marzo 2025