Le recenti avanzate negli architetture e nelle prestazioni dei Modelli di Linguaggio Multimodali (MLLM) hanno messo in evidenza l’importanza di dati e modelli scalabili per migliorare le prestazioni. Sebbene questo approccio migliori le prestazioni, comporta costi computazionali sostanziali che limitano la praticità e l’usabilità di tali approcci. Negli anni, i modelli Mixture of Experts (MoE) sono emersi come un approccio alternativo di successo per scalare efficientemente i modelli di linguaggio e le immagini, poiché i modelli MoE hanno costi computazionali significativamente inferiori e prestazioni solide. Tuttavia, nonostante i loro vantaggi, i modelli MoE non sono l’approccio ideale per scalare i modelli di linguaggio, poiché spesso coinvolgono meno esperti e modalità limitate, limitando così le applicazioni.

Per superare gli ostacoli incontrati dagli approcci attuali e scalare i modelli di linguaggio in modo efficiente, in questo articolo parleremo di Uni-MoE, un modello di linguaggio multimodale unificato con un’architettura MoE in grado di gestire una vasta gamma di modalità ed esperti. Il framework Uni-MoE implementa anche un’architettura MoE sparsa all’interno dei modelli di linguaggio per rendere il processo di formazione e inferenza più efficiente mediante il parallelismo dei modelli e dei dati. Inoltre, per migliorare la generalizzazione e la collaborazione multi-esperto, il framework Uni-MoE presenta una strategia di formazione progressiva che combina tre processi diversi. Nel primo, il framework Uni-MoE raggiunge l’allineamento cross-modale utilizzando vari connettori con dati cross-modali diversi. In secondo luogo, il framework Uni-MoE attiva la preferenza dei componenti esperti formando esperti specifici della modalità con dati di istruzione cross-modali. Infine, il modello Uni-MoE implementa la tecnica di apprendimento LoRA (Low-Rank Adaptation) su dati di istruzione multimodali misti per regolare il modello. Quando il framework Uni-MoE istruito è stato valutato su un set completo di dataset multimodali, i risultati sperimentali estensivi hanno messo in evidenza il principale vantaggio del framework Uni-MoE nel ridurre in modo significativo il bias delle prestazioni nel gestire dataset multimodali misti. I risultati hanno anche indicato un miglioramento significativo nella collaborazione multi-esperto e nella generalizzazione.

Questo articolo si propone di coprire il framework Uni-MoE in profondità e di esplorare il meccanismo, la metodologia, l’architettura del framework insieme al suo confronto con framework di stato dell’arte. Quindi, iniziamo.

Uni-MoE: Scalare i Modelli di Linguaggio Multimodali Unificati

L’avvento di modelli di linguaggio multimodali open-source, tra cui LLama e InstantBlip, ha delineato il notevole successo e il progresso nelle attività che coinvolgono la comprensione dell’immagine-testo negli ultimi anni. Inoltre, la comunità AI sta lavorando attivamente per costruire un modello di linguaggio multimodale unificato che possa ospitare una vasta gamma di modalità, tra cui immagini, testo, audio, video e altro, andando oltre il paradigma tradizionale dell’immagine-testo. Un approccio comune seguito dalla comunità open-source per aumentare le capacità dei modelli di linguaggio multimodali è quello di aumentare le dimensioni dei modelli di fondazione della visione e integrarli con modelli di linguaggio di grandi dimensioni con miliardi di parametri, utilizzando dataset multimodali diversi per migliorare la regolazione dell’istruzione. Questi sviluppi hanno messo in evidenza la crescente capacità dei modelli di linguaggio multimodali di ragionare e elaborare più modalità, sottolineando l’importanza di espandere i dati di istruzione multimodali e la scalabilità del modello.

Sebbene scalare un modello sia un approccio collaudato che produce risultati sostanziali, scalare un modello è un processo computazionalmente costoso sia per la formazione che per l’inferenza.

Per contrastare il problema dei costi computazionali elevati, la comunità open-source sta muovendosi verso l’integrazione dell’architettura del modello MoE nei modelli di linguaggio per migliorare l’efficienza sia della formazione che dell’inferenza. A differenza dei modelli di linguaggio multimodali e dei modelli di linguaggio che utilizzano tutti i parametri disponibili per elaborare ogni input, risultando in un approccio computazionale denso, l’architettura MoE richiede solo l’attivazione di un subset di parametri esperti per ogni input. Di conseguenza, l’approccio MoE emerge come una via praticabile per migliorare l’efficienza dei modelli di grandi dimensioni senza un’attivazione estensiva dei parametri e costi computazionali elevati. Sebbene lavori esistenti abbiano messo in evidenza la implementazione e l’integrazione di successo dei modelli MoE nella costruzione di modelli di linguaggio testuali e testo-immagine, i ricercatori non hanno ancora esplorato appieno il potenziale di sviluppare l’architettura MoE per costruire potenti modelli di linguaggio multimodali unificati.

Uni-MoE è un modello di linguaggio multimodale che sfrutta i modelli MoE sparsi per interpretare e gestire più modalità nel tentativo di esplorare la scalabilità dei modelli di linguaggio multimodali unificati con l’architettura MoE. Come dimostrato nell’immagine seguente, il framework Uni-MoE ottiene prima la codifica di diverse modalità utilizzando encoder specifici della modalità e quindi mappa queste codifiche nello spazio di rappresentazione del linguaggio dei modelli di linguaggio utilizzando vari connettori progettati. Questi connettori contengono un modello di trasformatore trainabile con proiezioni lineari successive per distillare e proiettare le rappresentazioni di output dell’encoder congelato. Il framework Uni-MoE introduce quindi strati MoE sparsi all’interno del blocco interno del modello di linguaggio denso. Di conseguenza, ogni blocco basato su MoE presenta un livello di auto-attenzione condiviso applicabile a tutte le modalità, un router sparsa per l’allocazione dell’esperienza a livello di token e diversi esperti basati sulla rete feedforward. Grazie a questo approccio, il framework Uni-MoE è in grado di comprendere più modalità, tra cui discorso, audio, testo, video, immagine e richiede solo l’attivazione parziale dei parametri durante l’inferenza.

Inoltre, per migliorare la collaborazione multi-esperto e la generalizzazione, il framework Uni-MoE implementa una strategia di formazione a tre fasi. Nella prima fase, il framework utilizza estensive immagini/audio/discorso per formare i connettori corrispondenti a causa della rappresentazione unificata della modalità nello spazio del linguaggio del modello di linguaggio. In secondo luogo, il modello Uni-MoE forma esperti specifici della modalità utilizzando dataset cross-modali separatamente nel tentativo di raffinare la competenza di ogni esperto all’interno del proprio dominio. Nella terza fase, il framework Uni-MoE integra questi esperti formati nel livello MoE del modello di linguaggio e forma l’intero framework Uni-MoE con dati di istruzione multimodali misti. Per ridurre ulteriormente il costo di formazione, il framework Uni-MoE utilizza l’approccio di apprendimento LoRA per regolare questi livelli di auto-attenzione e gli esperti pre-formati.

Uni-MoE: Metodologia e Architettura

La motivazione di base del framework Uni-MoE è il costo di formazione e inferenza elevato dei modelli di linguaggio multimodali e l’efficienza dei modelli MoE, nonché esplorare la possibilità di creare un modello di linguaggio multimodale unificato efficiente, potente e utilizzando l’architettura MoE. La figura seguente presenta una rappresentazione dell’architettura implementata nel framework Uni-MoE, mostrando il design che include encoder individuali per diverse modalità, ovvero audio, discorso e visuali, insieme ai loro rispettivi connettori di modalità.

Il framework Uni-MoE integra quindi l’architettura MoE con i blocchi del modello di linguaggio, un processo cruciale per aumentare l’efficienza complessiva sia della formazione che del processo di inferenza. Il framework Uni-MoE raggiunge ciò implementando un meccanismo di routing sparsa. L’intero processo di formazione del framework Uni-MoE può essere suddiviso in tre fasi: allineamento cross-modale, formazione di esperti specifici della modalità e regolazione di Uni-MoE utilizzando un set diversificato di dataset di istruzione multimodali. Per trasformare efficientemente input modali diversi in un formato linguistico, il framework Uni-MoE è costruito sul framework pre-addestrato LLaVA, un framework visivo-linguistico. Il modello LLaVA di base integra CLIP come encoder visivo insieme a un livello di proiezione lineare che converte le caratteristiche dell’immagine nei token di immagine soft. Inoltre, per elaborare il contenuto video, il framework Uni-MoE seleziona otto frame rappresentativi da ogni video e li trasforma in token video mediante pooling medio per aggregare la rappresentazione basata su immagini o frame. Per le attività audio, il framework Uni-MoE utilizza due encoder, BEATs e l’encoder Whisper, per migliorare l’estrazione delle caratteristiche. Il modello quindi distilla il vettore delle caratteristiche audio e il discorso a lunghezza fissa e li mappa in token di discorso e audio soft rispettivamente mediante un livello di proiezione lineare.

Strategia di Formazione

Il framework Uni-MoE introduce una strategia di formazione progressiva per lo sviluppo incrementale del modello. La strategia di formazione progressiva introdotta tenta di sfruttare le capacità distintive di vari esperti, migliorare l’efficienza della collaborazione multi-esperto e aumentare la generalizzabilità complessiva del framework. Il processo di formazione è suddiviso in tre fasi con l’obiettivo di attualizzare la struttura MLLM costruita su MoE integrati.

Fase 1: Allineamento Cross-Modale

Nella prima fase, il framework Uni-MoE tenta di stabilire una connessione tra diverse lingue e modalità. Il framework Uni-MoE raggiunge ciò traducendo i dati modali in token soft costruendo connettori. L’obiettivo principale della prima fase di formazione è minimizzare la perdita di entropia generativa. All’interno del framework Uni-MoE, il modello di linguaggio è ottimizzato per generare descrizioni per input across diverse modalità e il modello è soggetto solo alla formazione dei connettori, una strategia che consente al framework Uni-MoE di integrare diverse modalità all’interno di un framework linguistico unificato.

Fase 2: Formazione di Esperti Specifici della Modalità

Nella seconda fase, il framework Uni-MoE si concentra sullo sviluppo di esperti specifici della modalità formando il modello dedicatamente su dati cross-modali specifici. L’obiettivo principale è raffinare la competenza di ogni esperto all’interno del proprio dominio, migliorando così le prestazioni complessive del sistema MoE su una vasta gamma di dati multimodali. Inoltre, il framework Uni-MoE adatta le reti feedforward per allinearsi più strettamente con le caratteristiche della modalità, mantenendo la perdita di entropia generativa come metrica di formazione focale.

Fase 3: Regolazione di Uni-MoE

Nella terza e ultima fase, il framework Uni-MoE integra i pesi regolati dagli esperti durante la Fase 2 nei livelli MoE. Il framework Uni-MoE regola quindi i MLLM utilizzando dati di istruzione multimodali misti congiuntamente. Le curve di perdita nell’immagine seguente riflettono il progresso del processo di formazione.

L’analisi comparativa tra le configurazioni di MoE ha rivelato che gli esperti che il modello ha raffinato durante la seconda fase di formazione hanno mostrato una maggiore stabilità e hanno raggiunto una convergenza più rapida sui dataset multimodali misti. Inoltre, su attività che coinvolgevano dati multimodali complessi, tra cui testo, immagini, audio e video, il framework Uni-MoE ha dimostrato prestazioni di formazione più coerenti e una minore variabilità di perdita quando ha utilizzato quattro esperti rispetto a quando ha utilizzato due esperti.

Uni-MoE: Esperimenti e Risultati

La tabella seguente riassume le specifiche architettoniche del framework Uni-MoE. L’obiettivo principale del framework Uni-MoE, costruito sull’architettura LLaMA-7B, è quello di scalare le dimensioni del modello.

La tabella seguente riassume il design e l’ottimizzazione del framework Uni-MoE come guidato da attività di formazione specializzate. Queste attività sono strumentali per raffinare le capacità dei layer MLP, sfruttando così la loro conoscenza specializzata per migliorare le prestazioni del modello. Il framework Uni-MoE intraprende otto attività di formazione di esperti singoli per illustrare gli impatti differenziali di varie metodologie di formazione.

Il modello valuta le prestazioni di vari varianti di modelli su un set diversificato di benchmark che comprende due attività di comprensione del video, tre attività di comprensione dell’audio e cinque attività relative al discorso. In primo luogo, il modello viene testato sulla sua capacità di comprendere attività di discorso-immagine e discorso-testo, e i risultati sono contenuti nella tabella seguente.

Come si può osservare, i modelli di baseline precedenti forniscono risultati inferiori su attività di comprensione del discorso, il che influisce ulteriormente sulle prestazioni su attività di ragionamento immagine-discorso. I risultati indicano che l’introduzione dell’architettura MoE può migliorare la generalizzabilità dei MLLM su attività di ragionamento audio-immagine non viste. La tabella seguente presenta i risultati sperimentali su attività di comprensione dell’immagine-testo. Come si può osservare, i migliori risultati dei modelli Uni-MoE superano i modelli di baseline e superano la regolazione della task di un margine medio di 4 punti.

Pensieri Finali

In questo articolo abbiamo parlato di Uni-MoE, un modello di linguaggio multimodale unificato con un’architettura MoE in grado di gestire una vasta gamma di modalità ed esperti. Il framework Uni-MoE implementa anche un’architettura MoE sparsa all’interno dei modelli di linguaggio per rendere il processo di formazione e inferenza più efficiente mediante il parallelismo dei modelli e dei dati. Inoltre, per migliorare la generalizzazione e la collaborazione multi-esperto, il framework Uni-MoE presenta una strategia di formazione progressiva che combina tre processi diversi. Nel primo, il framework Uni-MoE raggiunge l’allineamento cross-modale utilizzando vari connettori con dati cross-modali diversi. In secondo luogo, il framework Uni-MoE attiva la preferenza dei componenti esperti formando esperti specifici della modalità con dati di istruzione cross-modali. Infine, il modello Uni-MoE implementa la tecnica di apprendimento LoRA su dati di istruzione multimodali misti per regolare il modello.