Negli ultimi anni, i Large Language Model (LLM) hanno attirato l’attenzione degli sviluppatori di AI in tutto il mondo a causa dei progressi nella Natural Language Processing (NLP). Questi modelli hanno stabilito nuovi benchmark nella generazione di testi e nella comprensione. Tuttavia, nonostante i progressi nella generazione di testi, produrre immagini che corrispondono coerentemente alle narrazioni testuali è ancora una sfida. Per affrontare questo problema, gli sviluppatori hanno introdotto un approccio innovativo di generazione di visione e linguaggio basato su “generative vokens”, colmando il divario per output testo-immagine armonizzati.

La base del MiniGPT-5 è una strategia di addestramento a due fasi che si concentra fortemente sulla generazione di dati multimodali senza descrizioni, dove i dati di addestramento non richiedono descrizioni di immagini complete. Inoltre, per aumentare l’integrità del modello, il modello incorpora un sistema di guida senza classificatore che migliora l’efficacia di un voken per la generazione di immagini. Nella fase iniziale, il framework MiniGPT-5 ha dimostrato prestazioni potenti e un miglioramento sostanziale rispetto al modello di base Divter addestrato sul dataset MMDialog, e ha costantemente dimostrato la sua capacità di fornire output multimodali comparabili e addirittura superiori nelle valutazioni umane eseguite sul dataset VIST, che evidenzia ulteriormente le sue prestazioni ed efficienza in vari benchmark.

MiniGPT5: Un’introduzione

Con gli sviluppi recenti dei framework LLM e le applicazioni basate su questi framework LLM, l’integrazione delle funzionalità multimediali è un campo che ha visto un aumento della sua popolarità, in quanto si rivela anche un’importante avanzamento che alimenta una vasta gamma di applicazioni, dalle strumenti di creazione di contenuti all’avanguardia agli agenti di dialogo multimodale all’avanguardia. Con la continua ricerca e sviluppo, i modelli di linguaggio e visione sono arrivati al punto in cui si lavora per consentire loro di generare sia testi che dati visivi in modo fluido. La capacità degli LLM di generare dati multimodali in modo fluido aiuterà a migliorare le interazioni in diversi domini, tra cui e-commerce, media e realtà virtuale.

Alla fine, l’obiettivo è consentire ai modelli di sintetizzare, riconoscere e rispondere in modo coerente e logico utilizzando sia modalità testuali che visive, svolgendo un ruolo cruciale nell’armonizzare il flusso di informazioni e creare narrazioni logiche e coerenti. La necessità di raggiungere una combinazione di modalità testuali e visive è alimentata principalmente dalla necessità di interazioni multimodali più fluide, integrate e interattive negli LLM, e infine dal raggiungimento della generazione di linguaggio e visione alternata. Tuttavia, raggiungere interazioni multimodali integrate e interattive negli LLM è un compito complicato, pieno di numerose sfide, tra cui

1. Sebbene gli attuali LLM siano estremamente efficienti e capaci quando si tratta di generazione di testi e di elaborazione di coppie di testo-immagine, non forniscono prestazioni soddisfacenti quando si tratta di generare immagini.
2. Lo sviluppo di questi modelli di visione e linguaggio dipende fortemente da dati focalizzati su argomenti specifici, il che rende difficile per i modelli allineare il testo generato con le immagini corrispondenti.
3. Infine, c’è bisogno di strategie più efficaci, poiché con l’aumento delle loro capacità, le esigenze di memoria degli LLM aumentano anche, specialmente quando si eseguono attività downstream.

Il framework MiniGPT-5, una tecnica di generazione di linguaggio e visione alternata, introduce il concetto di “generative vokens” per affrontare le sfide menzionate sopra. Il framework MiniGPT-5 propone un nuovo approccio per la generazione di dati multimodali, combinando i Large Language Model con le tecniche di Stable Diffusion utilizzando token visivi speciali. Il metodo di addestramento a due fasi utilizzato dal framework MiniGPT-5 sottolinea l’importanza di una fase fondamentale libera da descrizioni e prepara il modello per fornire prestazioni efficienti anche in scenari con dati limitati.

Ma ciò che distingue il modello MiniGPT-5 dai framework esistenti è che le fasi generiche del framework MiniGPT-5 non consistono in annotazioni specifiche di dominio. Inoltre, per garantire che il testo generato e le immagini corrispondenti siano in armonia tra loro, il framework MiniGPT-5 utilizza una strategia di perdita duale che migliora ulteriormente l’approccio del MiniGPT-5 di utilizzare una guida senza classificatore e generative vokens. Il framework MiniGPT-5 ottimizza l’efficienza di addestramento e affronta le limitazioni di memoria grazie alla sua strategia di fine-tuning efficiente.

Per fornire una rapida panoramica, il framework MiniGPT-5

1. Propone un metodo che utilizza encoder multimodali che rappresentano un metodo nuovo e generico che storicamente si è rivelato più efficace rispetto ai tradizionali LLM, e utilizza token generativi combinati con tecniche di Stable Diffusion per generare output linguistici e visivi alternati.
2. Propone una strategia di addestramento a due fasi per la generazione di output multimodali senza descrizioni, e l’inclusione di una guida senza classificatore durante l’addestramento per ulteriormente raffinare la qualità dei dati generati.

Il modello MiniGPT-5 è ispirato fortemente dalla ricerca e dal lavoro svolto nei campi di

• Generazione di immagini da testo: Per facilitare la trasformazione di descrizioni testuali in rappresentazioni visive corrispondenti, e modelli di testo-immagine.

• MLLM o Multimodal Large Language Model: Utilizzare modelli LLM pre-addestrati per esplorare le loro applicazioni e efficacia nella generazione di dati multimodali.
• Generazione multimodale con Large Language Model: Per aumentare le capacità di un LLM di integrare in modo fluido la generazione di linguaggio e dati visivi.

MiniGPT-5: Metodo, Architettura e Framework

Per consentire ai Large Language Model di generare dati multimodali, il modello MiniGPT-5 introduce un framework che mira a integrare modelli di generazione di testo-immagine e modelli LLM pre-addestrati. Il framework MiniGPT-5 introduce inoltre i “generative vokens”, token visivi speciali che consentono agli sviluppatori di affrontare le discrepanze che appaiono in diversi domini, addestrando direttamente su immagini grezze. Per ulteriormente migliorare la qualità dei dati multimodali generati dagli LLM, il framework MiniGPT-5 introduce una strategia di guida senza classificatore accoppiata con un metodo di addestramento avanzato a due fasi. Vediamo più da vicino il framework MiniGPT-5.

Fase di Input Multimodale

Gli sviluppi recenti degli LLM hanno portato alla luce le capacità di comprensione multimodale degli LLM, consentendo l’elaborazione di immagini come input sequenziale. Il framework MiniGPT-5 utilizza token generativi speciali per generare caratteristiche visive in un tentativo di estendere le capacità di comprensione multimodale degli LLM alla generazione di dati multimodali. Inoltre, il framework MiniGPT-5 utilizza tecniche di fine-tuning efficienti e all’avanguardia per l’apprendimento di output multimodali con il framework LLM.

Codifica Multimodale

L’encoder visivo pre-addestrato nel framework MiniGPT-5 trasforma ogni immagine di input in una caratteristica, e ogni token di testo viene incorporato come vettore, e le caratteristiche di input vengono generate quando queste incorporazioni vengono concatenate tra loro.

Aggiunta di Vokens nei Large Language Model

Tradizionalmente, il vocabolario dei Large Language Model consiste solo di token testuali, quindi gli sviluppatori che lavorano sul framework MiniGPT-5 hanno dovuto colmare il divario tra i generativi e i tradizionali LLM. Il framework MiniGPT-5 introduce un set di token speciali come token generativi nel vocabolario dell’LLM. Il framework quindi utilizza lo stato di output nascosto dell’LLM per questi token speciali per la generazione di immagini successive, e l’inserimento di immagini alternate è rappresentato dalla posizione dei vokens.

PEFT o Fine-Tuning Efficienti

Il PEFT o Fine-Tuning Efficienti è un concetto cruciale utilizzato per addestrare gli LLM, e tuttavia, le applicazioni del PEFT in ambienti multimodali sono ancora inesplorate in larga misura. Il framework MiniGPT-5 utilizza il Fine-Tuning Efficienti sull’encoder del framework MiniGPT-4 per addestrare il modello a comprendere meglio i prompt o le istruzioni, e anche per migliorare le prestazioni generali del modello in ambienti zero-shot o nuovi.

Generazione di Output Multimodale

Per allineare il modello generativo con i token generativi in modo accurato, il framework MiniGPT-5 formula un modulo di mappatura compatto per allineare le dimensioni e incorporare perdite di supervisione, tra cui la perdita di diffusione latente e la perdita di spazio testuale. La perdita di diffusione latente allinea le caratteristiche visive appropriate con i token direttamente, mentre la perdita di spazio testuale aiuta il modello a imparare le posizioni corrette dei token. Poiché i vokens generativi nel framework MiniGPT-5 sono guidati direttamente dalle immagini, il framework MiniGPT-5 non richiede immagini con descrizioni complete, risultando in un apprendimento senza descrizioni.

Generazione di Spazio Testuale

Il framework MiniGPT-5 segue il metodo di modellazione del linguaggio casuale per generare sia vokens che testi nello spazio testuale congiuntamente, e durante la fase di addestramento, gli sviluppatori aggiungono i vokens alla posizione delle immagini di verità fondamentale, e addestrano il modello a prevedere vokens all’interno della generazione di testi.

Mappatura delle Caratteristiche di Voken per la Generazione di Immagini

Dopo la generazione dello spazio testuale, il framework allinea lo stato di output nascosto con lo spazio delle caratteristiche condizionali del modello di generazione di testo-immagine. Il framework supporta anche un modulo di mappatura delle caratteristiche che include un modello MLP a due strati, una sequenza di caratteristiche decodificatrici apprendibili e un modello di trasformatore encoder-decoder a quattro strati.

Generazione di Immagini con LDM o Modello di Diffusione Latente

Per generare le immagini richieste nel processo di denoising, il framework utilizza le caratteristiche di mappatura come input condizionale. Il framework impiega anche un LDM o Modello di Diffusione Latente per la guida, poiché durante la fase di addestramento, l’immagine di verità fondamentale viene prima convertita in una caratteristica latente utilizzando un VAE pre-addestrato, dopo di che gli sviluppatori ottengono la caratteristica di rumore latente aggiungendo del rumore.

L’approccio globale utilizzato dal framework MiniGPT-5 consente agli sviluppatori di comprendere e generare in modo coerente sia elementi visivi che testuali, utilizzando token speciali, sfruttando le capacità dei modelli pre-addestrati e utilizzando tecniche di addestramento innovative.

MiniGPT-5: Addestramento e Risultati

Quando si lavora sul framework MiniGPT-5, gli sviluppatori hanno osservato che l’addestramento su un dataset di testo e immagini alternati limitato può risultare in immagini di qualità ridotta e in allineamento, data la significativa differenza di dominio tra il dominio dell’immagine e il dominio del testo. Per mitigare questo problema, gli sviluppatori hanno adottato due strategie di addestramento distinte,

1. Che comprende l’incorporazione di tecniche di guida senza classificatore che aumentano l’efficacia dei token generativi durante il processo di diffusione.
2. La seconda strategia è ulteriormente divisa in due fasi
   1. Una fase di pre-addestramento iniziale che si concentra principalmente sull’allineamento di caratteristiche grezze.
   2. Una fase di fine-tuning che facilita l’apprendimento delle caratteristiche.

CFG o Guida senza Classificatore

L’idea di utilizzare prima la CFG per la generazione multimodale è emersa come risultato di un tentativo di migliorare la coerenza e la logica tra le immagini generate e i testi, e la CFG è introdotta durante il processo di diffusione del testo-immagine. Questo metodo osserva che addestrando sia la generazione incondizionata che la generazione condizionata con dropout di condizionamento, il modello generativo può ottenere risultati condizionali migliorati.

Strategia di Addestramento a Due Fasi

Data la significativa differenza di dominio osservata tra la generazione di testo-immagine e la generazione di testo puro, il framework MiniGPT-5 utilizza una strategia di addestramento a due fasi

1. Fase di allineamento unimodale o UAS,
2. Fase di apprendimento multimodale o MLS.

Inizialmente, il framework allinea le caratteristiche di generazione di immagini con le caratteristiche di voken in dataset di coppie di testo-immagine singole, dove ogni campione di dati contiene solo un testo e solo un’immagine, e il testo è di solito la didascalia dell’immagine. In questa fase, il framework consente all’LLM di generare vokens utilizzando le didascalie come input dell’LLM.

Una volta che la fase UAS è stata eseguita con successo, il modello può generare immagini per descrizioni di testo singole, ma fatica con la generazione di linguaggio e visione alternata, compresa la generazione di coppie di testo-immagine e il ragionamento complesso richiesto per la generazione di immagini e testi. Per affrontare questo ostacolo, gli sviluppatori hanno ulteriormente addestrato il framework MiniGPT-5 utilizzando parametri PEFT con dataset di visione e linguaggio alternati come VIST. Durante questa fase, il framework costruisce tre compiti diversi dal dataset

1. Generazione di testo solo: genera il testo relativo dato l’immagine successiva.
2. Generazione di immagine solo: genera l’immagine relativa data la prossima didascalia.
3. Generazione multimodale: genera coppie di testo-immagine utilizzando il contesto dato.

MiniGPT-5: Benchmark e Risultati

Per valutare le sue prestazioni nella generazione multimodale in modo completo, il team di sviluppo del MiniGPT-5 confronta le sue prestazioni con altri modelli di base prominenti, tra cui Divter, GILL e il modello di generazione unimodale fine-tuned, e il confronto è dimostrato nella tabella seguente.

Il framework MiniGPT-5 riconosce che l’output multimodale potrebbe essere significativo secondo il contesto, ma potrebbe differire dalla realtà, che è il motivo principale per cui il framework MiniGPT-5 incorpora anche input umani per valutare e valutare le prestazioni del modello. Nel complesso, l’efficacia del framework MiniGPT-5 per le attività multimodali è misurata da tre prospettive.

1. Continuità del linguaggio: valutare se il contenuto generato si allinea con il contesto fornito in modo fluido.
2. Qualità dell’immagine: valutare o valutare la rilevanza e la chiarezza dell’immagine generata.
3. Coerenza multimodale: determinare se l’output di testo-immagine combinato è in sincronia con il contesto iniziale.

Valutazione Finale VIST

Nella prima fase degli esperimenti, il framework MiniGPT-5 mira a generare le immagini corrispondenti, e la tabella seguente riassume i risultati ottenuti da questo setting.

Come si può vedere, il framework MiniGPT-5 in tutti e tre gli ambienti può superare il framework SD2 fine-tuned, evidenziando l’efficacia del pipeline MiniGPT-5.

La figura sopra confronta le prestazioni del framework MiniGPT-5 con il framework MiniGPT-4 fine-tuned su metriche di prestazione S-BERT, Rouge-L e Meteor. I risultati indicano che l’utilizzo di vokens generativi non influisce negativamente sulle prestazioni del framework quando si eseguono attività di comprensione multimodale. I risultati dimostrano anche che il framework MiniGPT-5 è in grado di utilizzare prompt di input multimodali orizzontali lunghi in un’ampia gamma di dati per generare immagini di alta qualità e coerenti senza compromettere la capacità del modello originale di comprensione multimodale.

La tabella sopra confronta le prestazioni di tre framework su 5.000 campioni per la generazione multimodale dal punto di vista della coerenza multimodale, della qualità dell’immagine e della continuità del linguaggio. Come si può osservare, il framework MiniGPT-5 supera i due modelli di base in oltre il 70% dei casi. D’altra parte, la tabella seguente dimostra le prestazioni del framework MiniGPT-5 sul set di convalida CC3M per la generazione di singole immagini. Grazie alle limitazioni dei dati, gli sviluppatori hanno trovato un divario per l’allineamento dei vokens quando utilizzato con la diffusione stabile. Nonostante questa limitazione, il framework MiniGPT-5 supera il framework GILL attuale e all’avanguardia in tutti i metriche.

Conclusione

In questo articolo, abbiamo parlato del MiniGPT-5, una tecnica di generazione di linguaggio e visione alternata che introduce il concetto di “generative vokens” per sfruttare le capacità degli LLM di generare dati multimodali allineando il modello di linguaggio grande con un modello di generazione di testo-immagine pre-addestrato. Abbiamo discusso dei componenti essenziali e dell’architettura generale del framework MiniGPT-5, insieme ai risultati che indicano miglioramenti sostanziali nelle prestazioni ed efficienza rispetto ai modelli di base e all’avanguardia attuali. Il MiniGPT-5 aspira a stabilire un nuovo benchmark nel dominio della generazione di contenuti e dati multimodali, e mira a risolvere le sfide affrontate dai modelli precedenti quando si tenta di risolvere lo stesso problema.