I recenti progressi nei modelli linguistici di grandi dimensioni (LLM) hanno ispirato lo sviluppo di modelli linguistici multimodali di grandi dimensioni (MLLM). I primi sforzi di MLLM, come LLaVA, MiniGPT-4 e InstructBLIP, dimostrano notevoli capacità di comprensione multimodale. Per integrare gli LLM nei domini multimodali, questi studi hanno esplorato la proiezione di caratteristiche da un encoder specifico della modalità pre-addestrato, come CLIP, nello spazio di input degli LLM, abilitando la comprensione e il ragionamento multimodale all’interno del backbone del trasformatore. Sebbene ci siano vari scelte di progettazione per gli MLLM, come encoder di visione, adattatori di allineamento delle caratteristiche e set di dati, l’addestramento per la maggior parte di questi modelli aderisce al paradigma di generazione autoregressiva, che si è dimostrato efficace per la generazione di testo negli LLM. Nonostante le loro forti capacità di comprensione multimodale, questi modelli si concentrano principalmente sulla percezione visiva e mancano della capacità di generare output multimodali oltre il testo.

I modelli di trasformazione hanno dimostrato un grande successo nella modellazione autoregressiva nell’elaborazione del linguaggio naturale. Ispirati da tale progresso, studi precedenti hanno applicato direttamente la stessa modellazione autoregressiva per apprendere la dipendenza dei pixel dell’immagine per la generazione di immagini e video. Ad esempio, VideoPoet impiega un’architettura di trasformatore solo decoder per sintetizzare video di alta qualità da input multimodali. Più recentemente, LlamaGen ha dimostrato che un’architettura di modello linguistico di grandi dimensioni come Llama può modellare autoregressivamente i token di immagine, raggiungendo una discreta prestazione nella generazione di immagini condizionate dalla classe.

In questo articolo, discuteremo Show-O, un trasformatore unificato che integra la comprensione multimodale e la generazione. A differenza dei modelli completamente autoregressivi, Show-O unisce la modellazione autoregressiva e la modellazione di diffusione discreta per adattarsi in modo flessibile agli input e output di varie e miste modalità. Il modello unificato supporta in modo flessibile una vasta gamma di attività di visione-linguaggio, tra cui la risposta alle domande visive, la generazione di immagini da testo, la pittura e l’estrapolazione guidate dal testo e la generazione di modalità mista. Su vari benchmark, Show-O dimostra prestazioni comparabili o superiori ai modelli individuali esistenti con un numero equivalente o superiore di parametri, evidenziando il suo potenziale come modello di base di prossima generazione.

Nel quadro di questo lavoro, il modello è incaricato di prevedere il rumore gaussiano aggiunto alle rappresentazioni latenti continue. Al contrario, altri modelli come D3PM, Mask-predict, ARDM e MaskGIT utilizzano un processo di corruzione discreta come alternativa alla diffusione gaussiana. In particolare, un’immagine è rappresentata come una sequenza di token discreti utilizzando i tokenizzatori di immagine, con ogni token associato a un’etichetta categorica. La distribuzione dei token è trasformata in una distribuzione uniforme attraverso un processo di campionamento stocastico. Durante l’addestramento, una parte di questi token è mascherata casualmente e il modello è addestrato a prevedere i valori originali dei token mascherati. In questo lavoro, Show-O adotta la modellazione di diffusione discreta per la generazione di immagini.

SHOW-O: Un modello trasformatore unico che unisce la comprensione multimodale e la generazione

Negli ultimi anni, sono emersi notevoli progressi nei due pilastri fondamentali dell’intelligenza multimodale: la comprensione e la generazione. Per la comprensione multimodale, i modelli linguistici multimodali di grandi dimensioni (MLLM) come LLaVA hanno dimostrato capacità eccezionali in attività di visione-linguaggio come la risposta alle domande visive (VQA). Per la generazione visiva, i modelli di diffusione probabilistica di denoising (DDPM) hanno rivoluzionato i paradigmi generativi tradizionali, raggiungendo prestazioni senza precedenti nella generazione di immagini e video da testo.

Questo articolo discuterà Show-O, un modello trasformatore unificato che integra la comprensione multimodale e la generazione. Show-O unisce la modellazione autoregressiva e la modellazione di diffusione discreta per adattarsi in modo flessibile agli input e output di varie e miste modalità. Il modello unificato supporta in modo flessibile una vasta gamma di attività di visione-linguaggio, tra cui la risposta alle domande visive, la generazione di immagini da testo, la pittura e l’estrapolazione guidate dal testo e la generazione di modalità mista.

SHOW-O: Metodologia e architettura

Lo scopo principale dietro il framework Show-O è sviluppare un modello unificato che integri la modellazione autoregressiva e la modellazione di diffusione per la comprensione e la generazione multimodale congiunta. Sviluppare un tale modello unificato presenta sfide significative, con problemi fondamentali che ruotano attorno a: i) definire lo spazio di input/output del modello; ii) unificare vari tipi di dati di input da diverse modalità; iii) integrare sia la modellazione autoregressiva che la modellazione di diffusione all’interno di un singolo trasformatore; e iv) addestrare efficacemente un tale modello unificato.

Show-O affronta queste sfide con le seguenti soluzioni:

• Costruisce lo spazio di input/output tokenizzando i dati di testo e di immagine in token discreti.
• Introduce la sua architettura predefinita e una strategia di prompt unificata per strutturare i dati di input e le modalità.
• Dimostra come incorporare sia la modellazione autoregressiva che la modellazione di diffusione all’interno di un singolo trasformatore.
• Presenta una pipeline di addestramento a tre fasi per addestrare efficacemente il modello unificato.

Tokenizzazione

Considerando che il proposto Show-O si basa su modelli linguistici di grandi dimensioni (LLM) pre-addestrati, è naturale eseguire un’apprendimento unificato nello spazio discreto. Mantenendo un vocabolario unificato che include token di testo e di immagine discreti, Show-O è incaricato dello stesso obiettivo di apprendimento: prevedere token discreti.

Tokenizzazione del testo

Show-O si basa su un modello linguistico di grandi dimensioni (LLM) pre-addestrato e utilizza lo stesso tokenizzatore per la tokenizzazione dei dati di testo senza alcuna modifica.

Tokenizzazione dell’immagine

Seguendo MAGVIT-v2, Show-O addestra un quantizzatore senza lookup utilizzando circa 35 milioni di dati di immagine. Il quantizzatore mantiene un codebook di dimensione 8.192 e codifica immagini di risoluzione 256×256 in 16×16 token discreti. MAGVIT-v2 è scelto per la sua facilità di fine-tuning, rendendolo adatto come tokenizzatore di video con capacità di compressione temporale, un aspetto che Show-O intende esplorare in futuro.

Architettura

Show-O eredita l’architettura dei modelli linguistici di grandi dimensioni (LLM) esistenti senza alcuna modifica architettonica, ad eccezione dell’aggiunta di un’operazione QK-Norm a ogni livello di attenzione. Show-O è inizializzato con i pesi di un modello linguistico di grandi dimensioni (LLM) pre-addestrato e amplia le dimensioni del livello di incorporamento incorporando 8.192 nuove incorporazioni apprendibili per token di immagine discreti.

Prompt unificato

Per eseguire un’apprendimento unificato sulla comprensione e la generazione multimodale, Show-O utilizza una strategia di prompt unificata per formattare vari tipi di dati di input. Dato un paio di immagine e testo (x, y), viene prima tokenizzato in M token di immagine e N token di testo dai tokenizzatori di immagine e testo, rispettivamente.

SHOW-O: Esperimenti e risultati

I risultati seguono:

Confronti qualitativi

Mostriamo confronti qualitativi con modelli basati sulla diffusione, come SDv1.5 e SDXL, e con il modello autoregressivo LlamaGen, insieme a modelli unificati come LWM e SEED-X.

Pittura estrapolazione guidata dal testo

Show-O supporta naturalmente la pittura e l’estrapolazione guidate dal testo senza richiedere alcun fine-tuning.

Pensieri finali

In questo articolo, abbiamo discusso Show-O, un modello trasformatore unificato che integra la comprensione multimodale e la generazione. Show-O unisce la modellazione autoregressiva e la modellazione di diffusione discreta per adattarsi in modo flessibile agli input e output di varie e miste modalità. Il modello unificato supporta in modo flessibile una vasta gamma di attività di visione-linguaggio, tra cui la risposta alle domande visive, la generazione di immagini da testo, la pittura e l’estrapolazione guidate dal testo e la generazione di modalità mista.