Perché i Sistemi di Video Generativi Non Possono Creare Film Completati?

L’avvento e il progresso del video generativo AI hanno portato molti osservatori casuali a predire che l’apprendimento automatico provocherà la morte dell’industria cinematografica come la conosciamo – invece, singoli creatori saranno in grado di creare blockbuster in stile Hollywood a casa, sia su sistemi GPU locali che basati su cloud.

È possibile? Anche se è possibile, è imminente, come credono molti?

È possibile che gli individui saranno in grado di creare film, nella forma che li conosciamo, con personaggi coerenti, continuità narrativa e fotorealismo totale, ed è forse anche inevitabile.

Tuttavia, ci sono diverse ragioni fondamentali per cui questo non è probabile che si verifichi con sistemi di video basati su Modelli di Diffusione Latente.

Questo fatto è importante perché, al momento, questa categoria include ogni sistema di video testo-immagine (T2) e immagine-video (I2V) disponibile, tra cui Minimax, Kling, Sora, Imagen, Luma, Amazon Video Generator, Runway ML, Kaiber (e, per quanto possiamo discernere, la funzionalità video di Adobe Firefly in arrivo); tra molti altri.

Qui, stiamo considerando la prospettiva di vere e proprie produzioni full-length gen-AI create da individui, con personaggi coerenti, cinematografia e effetti visivi almeno pari allo stato attuale dell’arte di Hollywood.

Vediamo alcuni dei più grandi ostacoli pratici alle sfide coinvolte.

1: Non Puoi Ottenere un Inquadratura di Seguito Accurata

L’incoerenza narrativa è il più grande di questi ostacoli. Il fatto è che nessun sistema di generazione video attualmente disponibile può creare un’inquadratura di seguito veramente accurata*.

Questo è perché il modello di diffusione di denoising al cuore di questi sistemi si basa su rumore casuale, e questo principio fondamentale non è adatto a reinterpretare esattamente lo stesso contenuto due volte (ad esempio, da angoli diversi, o sviluppando l’inquadratura precedente in un’inquadratura di seguito che mantiene la coerenza con l’inquadratura precedente).

Quando vengono utilizzati prompt di testo, da soli o insieme a immagini ‘seed’ caricate (input multimodale), i token derivati dal prompt eliciteranno contenuti semanticamente appropriati dallo spazio latente addestrato del modello.

Tuttavia, ulteriormente ostacolato dal fattore ‘rumore casuale’, non lo farà mai allo stesso modo due volte.

Questo significa che le identità delle persone nel video tenderanno a spostarsi, e gli oggetti e gli ambienti non corrisponderanno all’inquadratura iniziale.

Questo è il motivo per cui i clip virali che ritraggono visuali straordinarie e output di livello Hollywood tendono a essere singole inquadrature, o un ‘montaggio di showcase’ delle capacità del sistema, dove ogni inquadratura presenta personaggi e ambienti diversi.

Estratti da un montaggio generativo AI di Marco van Hylckama Vlieg – fonte: https://www.linkedin.com/posts/marcovhv_thanks-to-generative-ai-we-are-all-filmmakers-activity-7240024800906076160-nEXZ/

L’implicazione in queste raccolte di generazioni di video ad hoc (che possono essere disoneste nel caso di sistemi commerciali) è che il sistema sottostante può creare narrazioni contigue e coerenti.

L’analogia sfruttata qui è un trailer di un film, che presenta solo un minuto o due di footage del film, ma dà al pubblico motivo di credere che l’intero film esista.

I soli sistemi che attualmente offrono coerenza narrativa in un modello di diffusione sono quelli che producono immagini fisse. Questi includono NVIDIA’s ConsiStory, e diversi progetti nella letteratura scientifica, come TheaterGen, DreamStory, e StoryDiffusion.

Due esempi di continuità narrativa ‘statica’, da modelli recenti:: Fonti: https://research.nvidia.com/labs/par/consistory/ e https://arxiv.org/pdf/2405.01434

In teoria, si potrebbe utilizzare una versione migliore di tali sistemi (nessuno dei sopra menzionati è veramente coerente) per creare una serie di inquadrature di immagine-video, che potrebbero essere unite in una sequenza.

Allo stato attuale dell’arte, questo approccio non produce inquadrature di seguito plausibili; e, in ogni caso, abbiamo già deviato dal sogno dell’auteur aggiungendo uno strato di complessità.

Possiamo, inoltre, utilizzare Low Rank Adaptation (LoRA) modelli, specificamente addestrati su personaggi, cose o ambienti, per mantenere una migliore coerenza tra inquadrature.

Tuttavia, se un personaggio desidera apparire in un nuovo costume, un intero nuovo LoRA dovrà generalmente essere addestrato che incorpora il personaggio vestito in quel modo (anche se sub-concetti come ‘vestito rosso’ possono essere addestrati in LoRAs individuali, insieme a immagini adeguate, non sono sempre facili da lavorare).

Questo aggiunge una notevole complessità, anche a una scena di apertura in un film, dove una persona esce dal letto, si mette un accappatoio, sbadiglia, guarda fuori dalla finestra della camera da letto e va in bagno per lavarsi i denti.

Una tale scena, che contiene circa 4-8 inquadrature, può essere girata in una sola mattinata con procedure di ripresa cinematografica convenzionali; allo stato attuale dell’arte dell’AI generativa, potrebbe rappresentare settimane di lavoro, molti LoRAs addestrati (o altri sistemi ausiliari) e una notevole quantità di post-produzione

In alternativa, si può utilizzare video-video, dove footage monotono o CGI viene trasformato attraverso prompt di testo in interpretazioni alternative. Runway offre un tale sistema, ad esempio.

CGI (a sinistra) da Blender, interpretato in un esperimento di video-video aiutato da testo di Mathieu Visnjevec – Fonte: https://www.linkedin.com/feed/update/urn:li:activity:7240525965309726721/

Ci sono due problemi qui: stai già creando il footage di base, quindi stai già facendo il film due volte, anche se stai utilizzando un sistema sintetico come UnReal’s MetaHuman.

Se crei modelli CGI (come nel clip sopra) e li utilizzi in una trasformazione video-immagine, la loro coerenza tra inquadrature non può essere affidabile.

Questo è perché i modelli di diffusione video non vedono il ‘grande quadro’ – piuttosto, creano un nuovo frame in base al frame precedente, e, in alcuni casi, considerano un frame futuro vicino; ma, per paragonare il processo a una partita a scacchi, non possono pensare ‘dieci mosse avanti’, e non possono ricordare dieci mosse indietro.

In secondo luogo, un modello di diffusione continuerà a lottare per mantenere un aspetto coerente tra le inquadrature, anche se includi molti LoRAs per personaggio, ambiente e stile di illuminazione, per ragioni menzionate all’inizio di questa sezione.

2: Non Puoi Modificare un’Inquadratura Facilmente

Se ritraggi un personaggio che cammina per la strada utilizzando metodi CGI tradizionali, e decidi di cambiare un aspetto dell’inquadratura, puoi aggiustare il modello e renderlo nuovamente.

Se è una ripresa dal vivo, basta resettare e riprendere con le modifiche appropriate.

Tuttavia, se produci un’inquadratura di video gen-AI che ti piace, ma vuoi cambiare un aspetto di essa, puoi farlo solo attraverso metodi di post-produzione laboriosi sviluppati negli ultimi 30-40 anni: CGI, rotoscoping, modellazione e mascheratura – tutti procedimenti laboriosi e costosi, tempo-consuming procedimenti.

Il modo in cui funzionano i modelli di diffusione, semplicemente cambiando un aspetto di un prompt di testo (anche in un prompt multimodale, dove fornisci un’immagine ‘seed’ di origine completa) cambierà molti aspetti</i} dell’output generato, portando a un gioco di prompt ‘whack-a-mole’.

3: Non Puoi Fare Affidamento alle Leggi della Fisica

I metodi CGI tradizionali offrono una varietà di modelli di fisica basati su algoritmi che possono simulare cose come la dinamica dei fluidi, il movimento gassoso, la cinematica inversa (la modellazione precisa del movimento umano), la dinamica dei tessuti, le esplosioni e altri fenomeni del mondo reale.

Tuttavia, i metodi basati sulla diffusione, come abbiamo visto, hanno una memoria breve e anche una gamma limitata di priori di movimento (esempi di tali azioni, inclusi nel set di dati di addestramento) su cui fare affidamento.

In una versione precedente della pagina di atterraggio di OpenAI per il sistema generativo acclamato Sora, l’azienda ha ammesso che Sora ha limitazioni in questo senso (anche se questo testo è stato successivamente rimosso):

‘[Sora] potrebbe avere difficoltà a simulare la fisica di una scena complessa, e potrebbe non comprendere istanze specifiche di causa e effetto (ad esempio: un biscotto potrebbe non mostrare un segno dopo che un personaggio lo morde).

‘Il modello potrebbe anche confondere dettagli spaziali inclusi in un prompt, come discernere sinistra da destra, o lottare con descrizioni precise di eventi che si svolgono nel tempo, come traiettorie di camera specifiche.’

L’uso pratico di vari sistemi di video generativi basati su API rivela limitazioni simili nel rappresentare la fisica precisa. Tuttavia, alcuni fenomeni fisici comuni, come le esplosioni, sembrano essere meglio rappresentati nei loro set di dati di addestramento.

Alcuni embedding di priori di movimento, addestrati nel modello generativo o alimentati da un video di origine, richiedono un po’ di tempo per essere completati (come una persona che esegue una sequenza di danza complessa e non ripetitiva in un costume elaborato) e, una volta again, la finestra di attenzione miope del modello di diffusione è probabile che trasformi il contenuto (identità facciale, dettagli del costume, ecc.) una volta che il movimento si è svolto. Tuttavia, i LoRAs possono mitigare questo, in una certa misura.

Risolvere il Problema in Post-Produzione

Ci sono altre carenze nella generazione di video AI ‘single user’ pura, come la difficoltà che hanno nel rappresentare movimenti rapidi, e il problema generale e più pressante di ottenere la coerenza temporale nel video di output.

Inoltre, creare prestazioni facciali specifiche è quasi una questione di fortuna nella generazione di video, come anche la sincronizzazione labiale per il dialogo.

In entrambi i casi, l’uso di sistemi ausiliari come LivePortrait e AnimateDiff sta diventando molto popolare nella comunità VFX, poiché questo consente di trasporre almeno espressioni facciali ampie e sincronizzazione labiale a output generato esistente.

Un esempio di trasferimento di espressione (video di guida in basso a sinistra) impostato su un video di destinazione con LivePortrait. Il video è di Generative Z TunisiaGenerative. Vedi la versione completa in migliori qualità a https://www.linkedin.com/posts/genz-tunisia_digitalcreation-liveportrait-aianimation-activity-7240776811737972736-uxiB/?

Ulteriori soluzioni complesse, che incorporano strumenti come l’interfaccia utente di Stable Diffusion ComfyUI e l’applicazione di composizione e manipolazione professionale Nuke, nonché la manipolazione dello spazio latente, consentono ai pratici di VFX di ottenere un maggiore controllo sull’espressione facciale e sulla disposizione.

Sebbene descrive il processo di animazione facciale in ComfyUI come ‘tortura’, il professionista di VFX Francisco Contreras ha sviluppato un tale procedimento, che consente di imporre fonemi labiali e altri aspetti della rappresentazione della testa e del viso

Stable Diffusion, aiutata da un flusso di lavoro ComfyUI alimentato da Nuke, ha consentito al professionista di VFX Francisco Contreras di ottenere un controllo insolito sugli aspetti facciali. Per il video completo, a risoluzione migliore, vai a https://www.linkedin.com/feed/update/urn:li:activity:7243056650012495872/

Conclusione

Nessuna di queste cose è promettente per la prospettiva di un singolo utente che genera film coerenti e fotorealistici di lunghezza completa, con dialoghi realistici, sincronizzazione labiale, prestazioni, ambienti e continuità.

Inoltre, gli ostacoli descritti qui, almeno in relazione ai modelli di video generativi basati sulla diffusione, non sono necessariamente risolvibili ‘in qualsiasi momento’ adesso, nonostante i commenti dei forum e l’attenzione dei media che sostengono questo caso. Le limitazioni descritte sembrano essere intrinseche all’architettura.

Nella ricerca sulla sintesi AI, come in tutte le ricerche scientifiche, idee brillanti periodicamente ci sorprendono con il loro potenziale, solo per scoprire in seguito le loro limitazioni fondamentali.

Nello spazio generativo/sintetico, questo è già successo con le Reti Adversarie Generative (GAN) e i Campi di Radiazione Neurali (NeRF), che alla fine si sono rivelate molto difficili da strumentalizzare in sistemi commerciali performanti, nonostante anni di ricerca accademica verso questo obiettivo. Queste tecnologie ora appaiono più frequentemente come componenti ausiliari in architetture alternative.

Molto come gli studi cinematografici potrebbero sperare che l’addestramento su cataloghi di film legittimamente licenziati potrebbe eliminare gli artisti VFX, l’AI sta in realtà aggiungendo ruoli alla forza lavoro al momento attuale.

Se i sistemi di video basati sulla diffusione possono veramente essere trasformati in generatori di film narrativamente coerenti e fotorealistici, o se l’intera faccenda è solo un’altra ricerca alchemica, dovrebbe diventare evidente nei prossimi 12 mesi.

Potrebbe essere necessario un approccio completamente nuovo; o potrebbe essere che Gaussian Splatting (GSplat), che è stato sviluppato all’inizio degli anni ’90 e ha recentemente preso piede nello spazio di sintesi di immagini, rappresenti un’alternativa potenziale alla generazione di video basata sulla diffusione.

Dal momento che GSplat ha impiegato 34 anni per emergere, è possibile che anche i contendenti più vecchi come NeRF e GAN – e persino i modelli di diffusione latente – non abbiano ancora avuto il loro giorno.

* Sebbene la funzionalità di Storyboard di Kaiber offra questo tipo di funzionalità, i risultati che ho visto non sono di qualità di produzione.

Martin Anderson è l’ex capo del contenuto di ricerca scientifica di metaphysic.ai
Pubblicato per la prima volta lunedì, 23 settembre 2024