Generazione di video AI migliori a partire da sole due immagini

La interpolazione dei frame video (VFI) è un problema aperto nella ricerca sui video generativi. La sfida consiste nel generare frame intermedi tra due frame esistenti in una sequenza video.

Click to play. Il framework FILM, una collaborazione tra Google e l’Università di Washington, ha proposto un metodo di interpolazione dei frame efficace che rimane popolare nei settori hobbistici e professionali. A sinistra, possiamo vedere i due frame separati e distinti sovrapposti; al centro, il ‘frame finale’; e a destra, la sintesi finale tra i frame. Fonti: https://film-net.github.io/ e https://arxiv.org/pdf/2202.04901

In generale, questa tecnica risale a oltre un secolo fa e viene utilizzata nella tradizionale animazione da allora. In questo contesto, i master “keyframe” venivano generati da un artista principale, mentre il lavoro di “tweening” dei frame intermedi veniva eseguito da altri dipendenti come un compito più umile.

Prima dell’avvento dell’intelligenza artificiale generativa, l’interpolazione dei frame è stata utilizzata in progetti come Real-Time Intermediate Flow Estimation (RIFE), Depth-Aware Video Frame Interpolation (DAIN) e Frame Interpolation for Large Motion (FILM – vedi sopra) per aumentare la frequenza dei frame di un video esistente o per abilitare effetti di slow-motion artificiali. Ciò viene realizzato dividendo i frame esistenti di un clip e generando frame intermedi stimati.

VFI viene utilizzato anche nello sviluppo di migliori codec video e, più in generale, in sistemi basati sul flusso ottico (inclusi sistemi generativi), che utilizzano la conoscenza anticipata dei keyframe in arrivo per ottimizzare e plasmare il contenuto interstiziale che li precede.

Frame finali nei sistemi video generativi

I moderni sistemi generativi come Luma e Kling consentono agli utenti di specificare un frame iniziale e un frame finale e possono eseguire questo compito analizzando i punti chiave nelle due immagini e stimando una traiettoria tra le due immagini.

Come possiamo vedere negli esempi seguenti, fornire un ‘frame di chiusura’ consente al sistema video generativo (in questo caso, Kling) di mantenere aspetti come l’identità, anche se i risultati non sono perfetti (in particolare con grandi movimenti).

Click to play. Kling è uno dei tanti generatori di video, tra cui Runway e Luma, che consentono all’utente di specificare un frame finale. Nella maggior parte dei casi, il movimento minimo porterà ai risultati più realistici e meno difettosi. Fonte: https://www.youtube.com/watch?v=8oylqODAaH8

Nell’esempio sopra, l’identità della persona è coerente tra i due keyframe forniti dall’utente, portando a una generazione di video relativamente coerente.

Quando viene fornito solo il frame iniziale, la finestra di attenzione del sistema generativo non è di solito abbastanza grande da ‘ricordare’ come appariva la persona all’inizio del video. Piuttosto, l’identità è probabile che si sposti un po’ con ogni frame, fino a quando non si perde ogni somiglianza. Nell’esempio seguente, è stato caricato un’immagine iniziale e il movimento della persona è stato guidato da un prompt di testo:

Click to play. Senza un frame finale, Kling ha solo un piccolo gruppo di frame immediatamente precedenti per guidare la generazione dei frame successivi. Nei casi in cui è necessario un movimento significativo, questo atrofia dell’identità diventa grave.

La maggior parte dei clip generativi virali sono stati curati con attenzione per sottolineare questi limiti. Tuttavia, i progressi dei sistemi video generativi temporalmente coerenti potrebbero dipendere da nuovi sviluppi nel settore della ricerca riguardo all’interpolazione dei frame, poiché l’unica alternativa possibile è la dipendenza dalla CGI tradizionale come video ‘guida’ (e anche in questo caso, la coerenza della texture e dell’illuminazione è attualmente difficile da raggiungere).

Inoltre, la natura lentamente iterativa del derivare un nuovo frame da un piccolo gruppo di frame recenti rende molto difficile raggiungere grandi e audaci movimenti. Ciò è dovuto al fatto che un oggetto che si muove rapidamente attraverso un frame può transitare da un lato all’altro in uno spazio di un singolo frame, contrariamente ai movimenti più graduali su cui il sistema è probabile che sia stato addestrato.

Allo stesso modo, un cambiamento significativo e audace di posa può portare non solo a uno spostamento dell’identità, ma anche a vivide incongruenze:

Click to play. In questo esempio da Luma, il movimento richiesto non sembra essere ben rappresentato nei dati di addestramento.

Framer

Ciò ci porta a un interessante articolo recente della Cina, che afferma di aver raggiunto un nuovo stato dell’arte nell’interpolazione dei frame autentici – e che è il primo del suo genere a offrire un’interazione utente basata sul drag.

Framer consente all’utente di dirigere il movimento utilizzando un’interfaccia intuitiva basata sul drag, anche se dispone anche di una modalità ‘automatica’. Fonte: https://www.youtube.com/watch?v=4MPGKgn7jRc

Le applicazioni centrate sul drag sono diventate frequenti nella letteratura recente, poiché il settore della ricerca lotta per fornire strumenti per i sistemi generativi che non si basano sui risultati piuttosto grezzi ottenuti dai prompt di testo.

Il nuovo sistema, intitolato Framer, può non solo seguire il drag guidato dall’utente, ma dispone anche di una modalità ‘autopilota’ più convenzionale. Oltre all’interpolazione dei frame convenzionale, il sistema è in grado di produrre simulazioni di time-lapse, nonché di morphing e nuove viste dell’immagine di input.

Frame intermedi generati per una simulazione di time-lapse in Framer. Fonte: https://arxiv.org/pdf/2410.18978

Riguardo alla produzione di nuove viste, Framer si sovrappone un po’ al territorio dei Neural Radiance Fields (NeRF) – anche se richiede solo due immagini, mentre NeRF richiede generalmente sei o più viste di input.

Nei test, Framer, fondato sul modello di video generativo latente di diffusione stabile di Stability.ai, è stato in grado di superare gli approcci rivali approssimati, in uno studio utente.

Al momento della stesura, il codice è previsto per essere rilasciato su GitHub. I campioni video (da cui sono derivati le immagini sopra) sono disponibili sul sito del progetto e i ricercatori hanno anche rilasciato un video su YouTube.

Il nuovo articolo è intitolato Framer: Interpolazione dei frame interattiva e proviene da nove ricercatori di Zhejiang University e del gruppo Alibaba.

Metodo

Framer utilizza l’interpolazione basata sui punti chiave in entrambe le sue modalità, in cui l’immagine di input viene valutata per la topologia di base e vengono assegnati punti ‘mobili’ se necessario. In effetti, questi punti sono equivalenti ai punti di riferimento facciali nei sistemi basati sull’identità, ma si generalizzano a qualsiasi superficie.

I ricercatori hanno ottimizzato Stable Video Diffusion (SVD) sul dataset OpenVid-1M, aggiungendo una capacità di sintesi del frame finale aggiuntiva. Ciò consente un meccanismo di controllo della traiettoria (in alto a destra nell’immagine dello schema seguente) che può valutare un percorso verso il frame finale (o da esso).

Schema per Framer.

Riguardo all’aggiunta della condizione del frame finale, gli autori affermano:

‘Per preservare il priore visivo del SVD pre-addestrato il più possibile, seguiamo il paradigma di condizionamento del SVD e iniettiamo le condizioni del frame finale nello spazio latente e nello spazio semantico, rispettivamente.

‘In particolare, concateniamo la funzione latente VAE-encoded del primo frame con la funzione latente rumorosa del primo frame, come fatto in SVD. Inoltre, concateniamo la funzione latente dell’ultimo frame, zn, con la funzione latente rumorosa dell’ultimo frame, considerando che le condizioni e le funzioni latenti rumorose corrispondenti sono allineate spazialmente.

‘Inoltre, estraiamo l’embedding dell’immagine CLIP del primo e dell’ultimo frame separatamente e li concateniamo per l’iniezione della funzione di cross-attention.’

Per la funzionalità basata sul drag, il modulo della traiettoria sfrutta il framework CoTracker guidato da Meta Ai, che valuta profuse possibili percorsi in anticipo. Questi vengono ridotti a tra 1-10 percorsi possibili.

Le coordinate dei punti ottenute vengono quindi trasformate attraverso una metodologia ispirata alle architetture DragNUWA e DragAnything. Ciò ottiene una mappa di calore gaussiana, che individua le aree bersaglio per il movimento.

Successivamente, i dati vengono alimentati ai meccanismi di condizionamento di ControlNet, un sistema di conformità ausiliario originariamente progettato per Stable Diffusion e successivamente adattato ad altre architetture.

Per la modalità autopilota, l’abbinamento delle funzioni viene inizialmente eseguito tramite SIFT, che interpreta una traiettoria che può quindi essere passata a un meccanismo di aggiornamento automatico ispirato a DragGAN e DragDiffusion.

Schema per la stima della traiettoria dei punti in Framer.

Dati e test

Per l’ottimizzazione di Framer, l’attenzione spaziale e i blocchi residuali sono stati congelati, e solo gli strati di attenzione temporale e i blocchi residuali sono stati interessati.

Il modello è stato addestrato per 10.000 iterazioni con AdamW, a un tasso di apprendimento di 1e-4 e una dimensione del batch di 16. L’addestramento ha avuto luogo su 16 GPU NVIDIA A100.

Poiché gli approcci precedenti al problema non offrono la modifica basata sul drag, i ricercatori hanno optato per confrontare la modalità autopilota di Framer con la funzionalità standard delle offerte più vecchie.

I framework testati per la categoria dei sistemi di generazione di video basati sulla diffusione attuali sono stati LDMVFI; Dynamic Crafter; e SVDKFI. Per i ‘tradizionali’ sistemi video, i framework rivali sono stati AMT; RIFE; FLAVR; e il già citato FILM.

In aggiunta allo studio utente, sono stati condotti test sui dataset DAVIS e UCF101.

I test qualitativi possono essere valutati solo dalle facoltà oggettive del team di ricerca e dagli studi utente. Tuttavia, l’articolo nota che le metriche quantitative tradizionali sono in gran parte inadeguate per la proposta in questione:

‘Le metriche di ricostruzione come PSNR, SSIM e LPIPS non riescono a catturare con precisione la qualità dei frame interpolati, poiché penalizzano altri risultati di interpolazione plausibili che non sono allineati con il video originale.

‘Mentre le metriche di generazione come FID offrono alcuni miglioramenti, sono ancora insufficienti poiché non tengono conto della coerenza temporale e valutano i frame in isolamento.’

Nonostante ciò, i ricercatori hanno condotto test qualitativi con diverse metriche popolari:

Risultati quantitativi per Framer rispetto ai sistemi rivali.

Gli autori notano che nonostante le difficoltà, Framer raggiunge comunque il miglior punteggio FVD tra i metodi testati.

Di seguito sono riportati i risultati di campionamento dell’articolo per un confronto qualitativo:

Confronto qualitativo con gli approcci precedenti. Si prega di fare riferimento all’articolo per una risoluzione migliore, nonché ai risultati video su https://www.youtube.com/watch?v=4MPGKgn7jRc.

Gli autori commentano:

‘Il nostro metodo produce texture significativamente più chiare e un movimento naturale rispetto alle tecniche di interpolazione esistenti. Si esegue particolarmente bene in scenari con differenze sostanziali tra i frame di input, dove i metodi tradizionali spesso falliscono nell’interpolare il contenuto in modo preciso.

‘Rispetto ad altri metodi basati sulla diffusione come LDMVFI e SVDKFI, Framer dimostra una maggiore adattabilità ai casi difficili e offre un miglior controllo.’

Per lo studio utente, i ricercatori hanno raccolto 20 partecipanti, che hanno valutato 100 risultati video in ordine casuale dai vari metodi testati. Sono stati quindi ottenuti 1000 giudizi, che valutavano le offerte più ‘realistiche’:

Risultati dello studio utente.

Come si può vedere dal grafico sopra, gli utenti hanno favorito in modo schiacciante i risultati di Framer.

Il video YouTube accompagnante del progetto illustra alcuni degli altri utilizzi potenziali per Framer, tra cui il morphing e l’in-betweening dei cartoni animati – dove l’intero concetto è iniziato.

Conclusione

È difficile esagerare l’importanza di questa sfida attuale per il compito della generazione di video basata sull’intelligenza artificiale. Fino ad oggi, soluzioni più vecchie come FILM e la non-AI EbSynth sono state utilizzate, sia dalle comunità amatoriali che professionali, per l’interpolazione dei frame; ma queste soluzioni presentano limitazioni significative.

A causa della cura disonesta dei video di esempio ufficiali per i nuovi framework T2V, esiste una vasta convinzione pubblica errata secondo cui i sistemi di apprendimento automatico possono inferire con precisione la geometria in movimento senza ricorrere a meccanismi di guida come i modelli morfologici 3D (3DMM) o altri approcci ausiliari, come LoRAs.

Per essere onesti, l’interpolazione dei frame in sé, anche se potesse essere eseguita perfettamente, costituisce solo un ‘trucco’ o un espediente per questo problema. Tuttavia, poiché è spesso più facile produrre due immagini di frame allineate rispetto a effettuare una guida tramite prompt di testo o la gamma attuale di alternative, è bene vedere i progressi iterativi su una versione basata sull’intelligenza artificiale di questo metodo più vecchio.

Pubblicato per la prima volta martedì, 29 ottobre 2024