Preparare la coerenza narrativa per la generazione di video lunghi

La recente pubblicazione pubblica del modello di intelligenza artificiale generativa Hunyuan Video ha intensificato le discussioni in corso sul potenziale dei grandi modelli di visione-linguaggio multimodali per creare un giorno interi film.

Tuttavia, come abbiamo osservato, questo è un prospettiva molto lontana al momento, per una serie di motivi. Uno è la finestra di attenzione molto breve della maggior parte dei generatori di video AI, che lottano per mantenere la coerenza anche in un singolo shot breve, per non parlare di una serie di shot.

Un altro è che riferimenti consistenti al contenuto video (come ambienti esplorabili, che non dovrebbero cambiare casualmente se si ritorna sui propri passi attraverso di essi) possono essere ottenuti solo nei modelli di diffusione mediante tecniche di personalizzazione come l’adattamento di basso rango (LoRA), che limita le capacità fuori dagli schemi dei modelli di base.

Pertanto, l’evoluzione della generazione di video sembra destinata a fermarsi a meno che non vengano sviluppate nuove approcci alla continuità narrativa.

Ricetta per la continuità

Con questo in mente, una nuova collaborazione tra gli Stati Uniti e la Cina ha proposto l’uso di video di cucina istruzionali come possibile modello per futuri sistemi di continuità narrativa.

Click to play. Il progetto VideoAuteur sistematizza l’analisi delle parti di un processo di cucina per produrre un nuovo set di dati finemente annotati e un metodo di orchestrazione per la generazione di video di cucina. Fare riferimento al sito di origine per una risoluzione migliore. Fonte: https://videoauteur.github.io/

Intitolato VideoAuteur, il lavoro propone una pipeline a due fasi per generare video di cucina istruzionali utilizzando stati coerenti che combinano keyframe e didascalie, raggiungendo risultati di stato dell’arte in – ammettiamo – uno spazio sottoscritto.

La pagina del progetto VideoAuteur include anche una serie di video più accattivanti che utilizzano la stessa tecnica, come una proposta di trailer per un crossover Marvel/DC:

Click to play. Due supereroi da universi alternativi si incontrano in un falso trailer di VideoAuteur. Fare riferimento al sito di origine per una risoluzione migliore.

La pagina include anche video promozionali simili per una serie di animali di Netflix e un annuncio pubblicitario di Tesla (TSLA ).

Nello sviluppo di VideoAuteur, gli autori hanno sperimentato diverse funzioni di perdita e altri approcci innovativi. Per sviluppare un flusso di lavoro di generazione di ricette, hanno anche curato CookGen, il più grande set di dati focalizzato sul dominio della cucina, che presenta 200.000 clip video con una durata media di 9,5 secondi.

Con una media di 768,3 parole per video, CookGen è confortevolmente il set di dati più ampiamente annotato del suo genere. Sono stati utilizzati modelli di visione/linguaggio diversi, tra gli altri approcci, per assicurare che le descrizioni fossero dettagliate, rilevanti e accurate il più possibile.

I video di cucina sono stati scelti perché le istruzioni di cucina hanno una narrazione strutturata e univoca, rendendo l’annotazione e la valutazione un compito più facile. A parte i video pornografici (probabilmente destinati a entrare in questo particolare spazio prima o poi), è difficile pensare a un altro genere così visivamente e narrativamente “formulaico”.

Gli autori affermano:

‘Il nostro pipeline auto-regressivo a due fasi, che include un direttore narrativo lungo e una generazione di video condizionata visivamente, dimostra miglioramenti promettenti nella coerenza semantica e nella fedeltà visiva nei video narrativi lunghi generati.’

‘Attraverso esperimenti sul nostro set di dati, osserviamo miglioramenti nella coerenza spaziale e temporale attraverso le sequenze di video.’

‘Speriamo che il nostro lavoro possa facilitare ulteriori ricerche nella generazione di video narrativi lunghi.’

Il nuovo lavoro è intitolato VideoAuteur: Verso la generazione di video narrativi lunghi e proviene da otto autori di Johns Hopkins University, ByteDance e ByteDance Seed.

Curatela del set di dati

Per sviluppare CookGen, che alimenta un sistema generativo a due fasi per la produzione di video di cucina AI, gli autori hanno utilizzato materiale dalle raccolte YouCook e HowTo100M.

Gli autori confrontano la scala di CookGen con i set di dati precedenti focalizzati sullo sviluppo narrativo nella generazione di video, come il set di dati Flintstones, il set di dati dei cartoni animati Pororo, StoryGen, StoryStream di Tencent e VIST.

Confronto tra immagini e lunghezza del testo tra CookGen e i set di dati più popolosi simili. Fonte: https://arxiv.org/pdf/2501.06173

CookGen si concentra su narrazioni del mondo reale, in particolare su attività procedurali come la cucina, offrendo storie più chiare e più facili da annotare rispetto ai set di dati di fumetti basati su immagini.

I ricercatori hanno ottimizzato un modello di didascalia utilizzando la metodologia di LLaVA-NeXT come base.

Ad esempio, ChatGPT-4o è stato utilizzato per produrre un set di dati di didascalie e gli è stato chiesto di concentrarsi sulle interazioni tra soggetto e oggetto (come le mani che maneggiano utensili e cibo), gli attributi degli oggetti e la dinamica temporale.

Poiché gli script di riconoscimento vocale automatico (ASR) sono probabilmente inaccurati e “rumorosi”, l’intersezione sopra l’unione (IoU) è stata utilizzata come metrica per misurare quanto le didascalie si conformassero alla sezione del video a cui si riferivano.

I clip curati sono stati valutati utilizzando la distanza del video di Fréchet (FVD), che misura la disparità tra esempi di verità fondamentale (mondo reale) e esempi generati, sia con che senza fotogrammi chiave di verità fondamentale, arrivando a un risultato performante:

Utilizzo di FVD per valutare la distanza tra video generati con le nuove didascalie, sia con che senza l’utilizzo di fotogrammi chiave catturati dai video campione.

Inoltre, i clip sono stati valutati sia da GPT-4o che da sei annotatori umani, seguendo la definizione di “allucinazione” (cioè la capacità di un modello di inventare contenuti spurii) di LLaVA-Hound.

I ricercatori hanno confrontato la qualità delle didascalie con la raccolta Qwen2-VL-72B, ottenendo un punteggio leggermente migliorato.

Confronto tra punteggi di valutazione FVD e umana tra Qwen2-VL-72B e la raccolta degli autori.

Metodo

La fase generativa di VideoAuteur è divisa tra il Direttore narrativo lungo (LND) e il modello di generazione di video condizionato visivamente (VCVGM).

LND genera una sequenza di embedding visivi o fotogrammi chiave che caratterizzano il flusso narrativo, simile a “evidenze essenziali”. Il VCVGM genera clip video in base a queste scelte.

Schema per la pipeline di elaborazione di VideoAuteur. Il Direttore narrativo lungo fa scelte appropriate per alimentare il modulo generativo alimentato da Seed-X.

Gli autori discutono ampiamente dei diversi meriti di un direttore di immagine-testo interpolato e di un direttore di keyframe centrato sul linguaggio, e concludono che il primo è l’approccio più efficace.

Il direttore di immagine-testo interpolato genera una sequenza interpolando token di testo e embedding visivi, utilizzando un modello auto-regressivo per prevedere il token successivo, in base al contesto combinato di testo e immagini.

Al contrario, il direttore di keyframe centrato sul linguaggio sintetizza keyframe utilizzando un modello di diffusione condizionato dal testo, senza incorporare embedding visivi nel processo di generazione.

I ricercatori hanno scoperto che mentre il metodo centrato sul linguaggio genera keyframe visivamente attraenti, manca di coerenza tra i fotogrammi, sostenendo che il metodo interpolato raggiunge punteggi più alti in realismo e coerenza visiva.

Hanno anche scoperto che questo metodo era in grado di apprendere uno stile visivo realistico attraverso l’addestramento, anche se a volte con alcuni elementi ripetitivi o rumorosi.

Insolitamente, in una direzione di ricerca dominata dall’uso di Stable Diffusion e Flux nei flussi di lavoro, gli autori hanno utilizzato il modello di base multilingue LLM a 7B-parameter di Tencent SEED-X per la loro pipeline generativa (anche se questo modello sfrutta la release SDXL di Stability.ai di Stable Diffusion per una parte limitata della sua architettura).

Gli autori affermano:

‘A differenza della classica pipeline di immagine-video (I2V) che utilizza un’immagine come fotogramma iniziale, il nostro approccio sfrutta [latenti visivi regressi] come condizioni continue nella sequenza.’

‘Inoltre, miglioriamo la robustezza e la qualità dei video generati adattando il modello per gestire embedding visivi rumorosi, poiché i latenti visivi regressi potrebbero non essere perfetti a causa di errori di regressione.’

Sebbene le pipeline generative condizionate visivamente di questo tipo spesso utilizzino fotogrammi chiave iniziali come punto di partenza per la guida del modello, VideoAuteur estende questo paradigma generando stati visivi multi-parti in uno spazio latente semanticamente coerente, evitando il potenziale bias di basare ulteriore generazione solo su “fotogrammi iniziali”.

Schema per l’utilizzo di embedding di stato visivo come metodo di condizionamento superiore.

Test

In linea con i metodi di SeedStory, i ricercatori utilizzano SEED-X per applicare l’ottimizzazione LoRA sul loro set di dati narrativo, descrivendo enigmaticamente il risultato come un “modello simile a Sora”, pre-addestrato su grandi accoppiamenti di video/testo e in grado di accettare sia prompt visivi che testuali e condizioni.

32.000 video narrativi sono stati utilizzati per lo sviluppo del modello, con 1.000 tenuti da parte come campioni di convalida.

Per l’addestramento, la generazione narrativa è stata valutata principalmente sul set di convalida YouCook2.

Per la perdita di condizionamento visivo, gli autori hanno utilizzato la perdita di diffusione da DiT e un lavoro del 2024 basato su Stable Diffusion.

Per dimostrare la loro affermazione che l’interpolazione è un approccio superiore, gli autori hanno confrontato VideoAuteur con diversi metodi che si basano solo su input testuali: EMU-2, SEED-X, SDXL e FLUX.1-s (FLUX.1-s).

Dato un prompt globale, ‘Guida passo dopo passo per cucinare il tofu mapo’, il direttore interpolato genera azioni, didascalie e embedding di immagini in sequenza per narrare il processo.

Gli autori affermano:

‘L’approccio centrato sul linguaggio che utilizza modelli di testo-immagine produce keyframe visivamente attraenti ma soffre di una mancanza di coerenza tra i fotogrammi a causa di informazioni mutuali limitate.’

‘In contrasto, il metodo di generazione interpolato sfrutta latenti visivi allineati con il linguaggio, raggiungendo uno stile visivo realistico attraverso l’addestramento.’

La valutazione umana conferma ulteriormente l’affermazione degli autori sull’miglioramento delle prestazioni dell’approccio interpolato, con metodi interpolati che raggiungono i punteggi più alti in un sondaggio.

Confronti di approcci da uno studio condotto per il lavoro.

Tuttavia, notiamo che gli approcci centrati sul linguaggio raggiungono i migliori punteggi estetici.

Gli autori sostengono, tuttavia, che questo non è il problema centrale nella generazione di video narrativi lunghi.

Click to play. Segmenti generati per un video di costruzione di una pizza, da VideoAuteur.

Conclusione

Il filone di ricerca più popolare in relazione a questa sfida, ovvero la coerenza narrativa nella generazione di video a lungo termine, è preoccupato dalle singole immagini.

Progetti di questo tipo includono DreamStory, StoryDiffusion, TheaterGen e ConsiStory di NVIDIA.

In un certo senso, VideoAuteur rientra anche in questa categoria “statica”, poiché utilizza immagini di semi da cui vengono generati clip.

Tuttavia, l’interpolazione di contenuto video e semantico porta il processo un passo più vicino a una pipeline pratica.

Pubblicato per la prima volta giovedì, 16 gennaio 2025