Microsoft propone GODIVA, un framework di apprendimento automatico per la conversione di testo in video

Una collaborazione tra Microsoft Research Asia e l’Università di Duke ha prodotto un sistema di apprendimento automatico in grado di generare video esclusivamente da un prompt di testo, senza l’utilizzo di reti avversarie generative (GAN).

Il progetto è intitolato GODIVA (Generating Open-DomaIn Videos from nAtural Descriptions) e si basa su alcuni degli approcci utilizzati dal sistema di sintesi di immagini DALL-E di OpenAI, rivelato all’inizio di questo anno.

Risultati iniziali di GODIVA, con frame di video creati da due prompt. I due esempi superiori sono stati generati dal prompt ‘Gioca a golf sull’erba’, e il terzo inferiore dal prompt ‘Una partita di baseball è giocata’. Fonte: https://arxiv.org/pdf/2104.14806.pdf

GODIVA utilizza il modello Vector Quantised-Variational AutoEncoder (VQ-VAE) introdotti per la prima volta da ricercatori del progetto DeepMind di Google nel 2018, e anche un componente essenziale nelle capacità trasformazionali di DALL-E.

Architettura del modello VQ-VAE, con spazio di incorporamento a destra e encoder/decoder che condividono lo spazio dimensionale per ridurre le perdite durante la ricostruzione. Fonte: https://arxiv.org/pdf/1711.00937.pdf

VQ-VAE è stato utilizzato in diversi progetti per generare video previsti, dove l’utente fornisce un numero iniziale di frame e richiede al sistema di generare ulteriori frame:

Lavoro precedente: VQ-VAE inferisce frame da materiale di origine molto limitato. Fonte: Materiale supplementare su https://openreview.net/forum?id=bBDlTR5eDIX

Tuttavia, gli autori del nuovo articolo affermano che GODIVA rappresenta la prima implementazione pura di testo-video (T2V) che utilizza VQ-VAE anziché i risultati più erratici ottenuti da progetti precedenti con GAN.

Punti di partenza nel testo-video

Sebbene la presentazione sia scarsa di dettagli sui criteri in base ai quali vengono create le immagini di origine, GODIVA sembra evocare immagini di partenza dal nulla prima di extrapolare in frame di video a bassa risoluzione.

Rappresentazione colonnare del sistema di attenzione sparsa tridimensionale che alimenta GODIVA per compiti di testo-immagine. L’auto-regressione è prevista attraverso quattro fattori: testo di input, posizionamento relativo con il frame precedente (simile a NVIDIA’s SPADE e altri metodi che si basano o evolvono oltre gli approcci di Optical Flow), stesse righe sullo stesso frame e stesse colonne sulla stessa colonna.

In realtà, l’origine proviene dalle etichette presenti nei dati utilizzati: GODIVA è stato pre-addestrato sul set di dati Howto100M, composto da 136 milioni di clip video con didascalia prese da YouTube nel corso di 15 anni, e che presenta 23.000 attività etichettate. Tuttavia, ogni possibile attività è presente in un numero molto alto di clip, aumentando con la generalizzazione (ad esempio, ‘Animali e animali domestici’ ha 3,5 milioni di clip, mentre ‘cani’ ha 762.000 clip), e quindi c’è ancora una grande scelta di possibili punti di partenza.

Il modello è stato valutato sul set di dati MSR Video to Text (MSR-VTT) di Microsoft. Come ulteriori test dell’architettura, GODIVA è stato addestrato da zero sul set di dati Moving Mnist e sul set di dati Double Moving Mnist, entrambi derivati dal database MNIST originale, una collaborazione tra Microsoft, Google e l’Istituto di scienze matematiche Courant di NYU.

Valutazione dei frame nella sintesi video continua

In linea con il lavoro dell’Università di Pechino IRC-GAN, GODIVA aggiunge quattro controlli colonnari aggiuntivi al metodo originale MNIST, che valutava i frame precedenti e successivi spostandosi verso l’alto e verso il basso e poi verso sinistra e verso destra. IRC-GAN e GODIVA considerano anche i frame spostandosi verso sinistra e verso destra, verso destra e verso sinistra, verso l’alto e verso il basso e verso il basso e verso l’alto.

Frame aggiuntivi generati da GODIVA.

Valutazione della qualità del video e della fedeltà al prompt

Per comprendere quanto bene sia riuscita la generazione di immagini, i ricercatori hanno utilizzato due metriche: una basata sulla similarità CLIP e una metrica di corrispondenza relativa (RM) innovativa.

Il framework CLIP di OpenAI è in grado di eseguire il matching zero-shot di immagini e testo, nonché di facilitare la sintesi di immagini invertendo questo modello. I ricercatori hanno diviso il punteggio derivato da CLIP per la similarità calcolata tra il prompt di testo e il video di riferimento per arrivare a un punteggio RM. In un turno di valutazione separato, l’output è stato valutato da 200 persone e i risultati sono stati confrontati con i punteggi programmatici.

Infine, GODIVA è stato testato contro due framework precedenti, TFGAN e la collaborazione del 2017 tra Duke e NEC, T2V.

TFGAN può produrre 128 pixel quadrati in confronto ai 64×64 di output che limitano GODIVA e T2V negli esempi sopra, ma i ricercatori notano non solo che GODIVA produce movimenti più audaci e più impegnati, ma genera anche cambi di scena senza alcun prompt specifico e non esita a generare fotografie ravvicinate.

In esecuzioni successive, GODIVA genera anche output a 128×128 pixel, con cambi di POV:

Nella metrica RM del progetto, GODIVA è in grado di raggiungere punteggi vicini al 100% in termini di autenticità (qualità del video) e fedeltà (quanto strettamente il contenuto generato corrisponde al prompt di input).

I ricercatori ammettono, tuttavia, che lo sviluppo di metriche video-based CLIP sarebbe un’aggiunta benvenuta in questo settore di sintesi di immagini, poiché fornirebbe un campo di gioco uniforme per la valutazione della qualità dei risultati senza ricorrere al sovrapprendimento e alla mancanza di generalizzazione che è sempre più criticata in relazione alle sfide di visione computerizzata standard negli ultimi dieci anni.

Notano anche che generare video più lunghi sarà una considerazione logistica nello sviluppo ulteriore del sistema, poiché già 10 frame di output 64x64px richiedono 2560 token visivi, un gonfiaggio della pipeline che è probabile diventi costoso e ingestibile molto rapidamente.