L’ultimo modello Mixture of Experts (MoE) 8x7B di Mistral AI

Mistral AI

che è una startup di modelli open-source con sede a Parigi, ha sfidato le norme rilasciando il suo ultimo modello di linguaggio (LLM), MoE 8x7B, attraverso un semplice collegamento torrent. Ciò si contrappone all’approccio tradizionale di Google (GOOGL ) con il rilascio di Gemini, scatenando conversazioni e entusiasmo all’interno della comunità di intelligenza artificiale.

L’approccio di Mistral AI ai rilasci è sempre stato non convenzionale. Spesso rinunciando ai soliti accompagnamenti di documenti, blog o comunicati stampa, la loro strategia è stata unica ed efficace nel catturare l’attenzione della comunità di intelligenza artificiale.

Recentemente, l’azienda ha raggiunto una valutazione di $2 miliardi dopo un round di finanziamento guidato da Andreessen Horowitz. Questo round di finanziamento è stato storico, stabilendo un record con un round di finanziamento iniziale di $118 milioni, il più grande nella storia europea. Oltre ai successi nel finanziamento, Mistral AI è attivamente coinvolta nelle discussioni sull’Atto sull’intelligenza artificiale dell’UE, sostenendo una regolamentazione ridotta per l’intelligenza artificiale open-source.

Perché MoE 8x7B sta attirando l’attenzione

Descritto come un “GPT-4 ridotto”, Mixtral 8x7B utilizza un framework Mixture of Experts (MoE) con otto esperti. Ogni esperto ha 111B parametri, abbinati a 55B parametri di attenzione condivisi, per un totale di 166B parametri per modello. Questa scelta di progettazione è significativa in quanto consente di coinvolgere solo due esperti nell’inferenza di ogni token, evidenziando un passaggio verso un’elaborazione dell’intelligenza artificiale più efficiente e focalizzata.

Uno dei punti salienti di Mixtral è la sua capacità di gestire un contesto esteso di 32.000 token, offrendo un ampio margine per gestire compiti complessi. Le capacità multilingue del modello includono un supporto robusto per inglese, francese, italiano, tedesco e spagnolo, rivolto a una comunità di sviluppatori globale.

La formazione pregressa di Mixtral coinvolge dati provenienti dal web aperto, con un approccio di formazione simultanea per entrambi gli esperti e i router. Questo metodo garantisce che il modello non sia solo vasto nel suo spazio di parametri, ma anche finemente sintonizzato sulle sfumature dei dati a cui è stato esposto.

Mixtral 8x7B raggiunge un punteggio impressionante

Mixtral 8x7B supera LLaMA 2 70B e rivaleggia con GPT-3.5, in particolare nel compito MBPP con un tasso di successo del 60,7%, notevolmente più alto rispetto ai suoi omologhi. Anche nel rigoroso compito MT-Bench progettato per modelli di follow-up di istruzioni, Mixtral 8x7B raggiunge un punteggio impressionante, quasi eguagliando GPT-3.5

Comprendere il framework Mixture of Experts (MoE)

Il modello Mixture of Experts (MoE), mentre sta guadagnando recente attenzione a causa della sua incorporazione in modelli di linguaggio di stato dell’arte come Mistral AI’s MoE 8x7B, affonda in realtà le sue radici in concetti fondamentali che risalgono a diversi anni fa. Rivisitiamo l’origine di questa idea attraverso ricerche seminali.

Il concetto di MoE

Mixture of Experts (MoE) rappresenta un cambiamento di paradigma nell’architettura delle reti neurali. A differenza dei modelli tradizionali che utilizzano una rete omogenea per elaborare tutti i tipi di dati, MoE adotta un approccio più specializzato e modulare. Consiste in più reti “esperte”, ciascuna progettata per gestire tipi di dati o compiti specifici, supervisionate da una rete “gating” che indirizza dinamicamente i dati di input all’esperto più adatto.

Un livello Mixture of Experts (MoE) incorporato all’interno di un modello di linguaggio ricorrente (Fonte)

L’immagine sopra presenta una visione di alto livello di un livello MoE incorporato all’interno di un modello di linguaggio. Nella sua essenza, il livello MoE comprende più sottoreti feed-forward, denominate “esperti”, ciascuna con la potenzialità di specializzarsi nell’elaborazione di aspetti diversi dei dati. Una rete di controllo, evidenziata nel diagramma, determina quale combinazione di questi esperti è coinvolta per un dato input. Questa attivazione condizionale consente alla rete di aumentare notevolmente la sua capacità senza un corrispondente aumento della domanda computazionale.

Funzionalità del livello MoE

Nella pratica, la rete di controllo valuta l’input (denominato G(x) nel diagramma) e seleziona un insieme sparso di esperti per elaborarlo. Questa selezione è modulata dagli output della rete di controllo, determinando efficacemente il “voto” o il contributo di ciascun esperto al output finale. Ad esempio, come mostrato nel diagramma, solo due esperti possono essere scelti per calcolare l’output per ogni token di input specifico, rendendo il processo efficiente concentrandosi sulle risorse computazionali dove sono più necessarie.

Encoder Transformer con livelli MoE (Fonte)

La seconda illustrazione sopra mette a confronto un encoder Transformer tradizionale con uno aumentato da un livello MoE. L’architettura Transformer, ampiamente nota per la sua efficacia nei compiti legati al linguaggio, tradizionalmente consiste in livelli di auto-attenzione e feed-forward impilati in sequenza. L’introduzione dei livelli MoE sostituisce alcuni di questi livelli feed-forward, consentendo al modello di scalare con rispetto alla capacità più efficacemente.

Nel modello aumentato, i livelli MoE sono suddivisi su più dispositivi, mostrando un approccio modello-parallelo. Ciò è critico quando si scala a modelli molto grandi, poiché consente la distribuzione del carico computazionale e dei requisiti di memoria su un cluster di dispositivi, come GPU o TPU. Questa suddivisione è essenziale per formare e distribuire modelli con miliardi di parametri in modo efficiente, come dimostrato dalla formazione di modelli con centinaia di miliardi a oltre un trilione di parametri su grandi cluster di calcolo.

L’approccio MoE sparso con tuning delle istruzioni su LLM

Il documento intitolato “Sparse Mixture-of-Experts (MoE) per la modellazione del linguaggio scalabile” discute un approccio innovativo per migliorare i Large Language Model (LLM) integrando l’architettura Mixture of Experts con tecniche di tuning delle istruzioni.

Evidenzia una sfida comune in cui i modelli MoE sotto-performano rispetto ai modelli densi di pari capacità computazionale quando ottimizzati per compiti specifici a causa delle discordanze tra la formazione pregressa generale e l’ottimizzazione specifica del compito.

Il tuning delle istruzioni è una metodologia di formazione in cui i modelli vengono raffinati per seguire meglio le istruzioni del linguaggio naturale, migliorando efficacemente le loro prestazioni nei compiti. Il documento suggerisce che i modelli MoE mostrano un miglioramento notevole quando combinati con il tuning delle istruzioni, più che i loro omologhi densi. Questa tecnica allinea le rappresentazioni pre-formate del modello per seguire le istruzioni più efficacemente, portando a significativi miglioramenti delle prestazioni.

I ricercatori hanno condotto studi in tre configurazioni sperimentali, rivelando che i modelli MoE inizialmente sotto-performano nell’ottimizzazione specifica del compito. Tuttavia, quando si applica il tuning delle istruzioni, i modelli MoE eccellono, in particolare quando ulteriormente integrati con un’ottimizzazione specifica del compito. Ciò suggerisce che il tuning delle istruzioni è un passaggio vitale per i modelli MoE per superare i modelli densi nei compiti a valle.

L’effetto del tuning delle istruzioni su MOE

Introduce anche FLAN-MOE32B, un modello che dimostra l’applicazione di successo di questi concetti. Notoriamente, supera FLAN-PALM62B, un modello denso, nei compiti di riferimento mentre utilizza solo un terzo delle risorse computazionali. Ciò dimostra il potenziale per i modelli MoE sparsi combinati con il tuning delle istruzioni per stabilire nuovi standard per l’efficienza e le prestazioni dei LLM.

Implementazione del Mixture of Experts in scenari del mondo reale

La versatilità dei modelli MoE li rende ideali per una gamma di applicazioni:

• Elaborazione del linguaggio naturale (NLP): i modelli MoE possono gestire le sfumature e le complessità del linguaggio umano più efficacemente, rendendoli ideali per compiti NLP avanzati.
• Elaborazione di immagini e video: in compiti che richiedono un’elaborazione ad alta risoluzione, MoE può gestire diversi aspetti delle immagini o dei frame del video, migliorando sia la qualità che la velocità di elaborazione.
• Soluzioni AI personalizzate: aziende e ricercatori possono adattare i modelli MoE a compiti specifici, portando a soluzioni AI più mirate ed efficaci.

Sfide e considerazioni

Mentre i modelli MoE offrono numerosi vantaggi, presentano anche sfide uniche:

• Complessità nella formazione e nell’ottimizzazione: la natura distribuita dei modelli MoE può complicare il processo di formazione, richiedendo un equilibrio e un’ottimizzazione attenti degli esperti e della rete di controllo.
• Gestione delle risorse: gestire efficientemente le risorse computazionali su più esperti è cruciale per massimizzare i benefici dei modelli MoE.

Incorporare livelli MoE nelle reti neurali, in particolare nel dominio dei modelli di linguaggio, offre un percorso verso la scalabilità dei modelli a dimensioni precedentemente infeasiibili a causa delle limitazioni computazionali. Il calcolo condizionale abilitato dai livelli MoE consente una distribuzione più efficiente delle risorse computazionali, rendendo possibile la formazione di modelli più grandi e più capaci. Mentre continuiamo a richiedere sempre più dalle nostre sistemi di intelligenza artificiale, architetture come il Transformer dotato di MoE sono probabilmente destinate a diventare lo standard per la gestione di compiti complessi e su larga scala in vari domini.