L’ascesa dei modelli Mixture-of-Experts: come i modelli di intelligenza artificiale sparsi stanno plasmando il futuro dell’apprendimento automatico

I modelli Mixture-of-Experts (MoE) stanno rivoluzionando il modo in cui scaliamo l’intelligenza artificiale. Attivando solo una parte dei componenti del modello in un determinato momento, i MoE offrono un approccio innovativo per gestire il trade-off tra la dimensione del modello e l’efficienza computazionale. A differenza dei modelli densi tradizionali che utilizzano tutti i parametri per ogni input, i MoE raggiungono enormi contatori di parametri mantenendo i costi di inferenza e addestramento gestibili. Questo progresso ha alimentato un’ondata di ricerca e sviluppo, portando sia i giganti della tecnologia che le startup a investire pesantemente in architetture basate su MoE.

Come funzionano i modelli Mixture-of-Experts

Al loro nucleo, i modelli MoE sono costituiti da più sottoreti specializzate chiamate “esperti”, supervisionate da un meccanismo di controllo che decide quali esperti dovrebbero gestire ogni input. Ad esempio, una frase passata in un modello linguistico può attivare solo due esperti su otto, riducendo drasticamente il carico computazionale.

Questo concetto è stato portato nel mainstream con Google’s Switch Transformer e GLaM models (GOOGL ), dove gli esperti hanno sostituito i tradizionali layer feed-forward nei Transformer. Switch Transformer, ad esempio, instrada i token a un solo esperto per layer, mentre GLaM utilizza il routing top-2 per migliorare le prestazioni. Questi progetti hanno dimostrato che i MoE potevano eguagliare o superare i modelli densi come GPT-3 utilizzando significativamente meno energia e calcolo.

La chiave dell’innovazione risiede nel calcolo condizionale. Invece di attivare l’intero modello, i MoE attivano solo le parti più rilevanti, il che significa che un modello con centinaia di miliardi o addirittura trilioni di parametri può funzionare con l’efficienza di uno che è di ordini di grandezza inferiore. Ciò consente ai ricercatori di aumentare la capacità senza aumenti lineari nel calcolo, un risultato irraggiungibile con i metodi di scalabilità tradizionali.

Applicazioni pratiche dei modelli MoE

I modelli MoE hanno già lasciato il loro segno in diversi domini. I modelli GLaM e Switch Transformer di Google hanno mostrato risultati di stato dell’arte nella modellazione linguistica con costi di addestramento e inferenza inferiori. Il modello Z-Code MoE di Microsoft (MSFT ) è operativo nel suo strumento di traduzione, gestendo oltre 100 lingue con maggiore accuratezza e efficienza rispetto ai modelli precedenti. Questi non sono solo progetti di ricerca – stanno alimentando servizi live.

Nella visione computerizzata, l’architettura V-MoE di Google ha migliorato l’accuratezza della classificazione su benchmark come ImageNet, e il modello LIMoE ha dimostrato prestazioni forti in compiti multimodali che coinvolgono sia immagini che testo. La capacità degli esperti di specializzarsi – alcuni gestiscono il testo, altri le immagini – aggiunge un nuovo livello di capacità ai sistemi di intelligenza artificiale.

I sistemi di raccomandazione e le piattaforme di apprendimento multitasco hanno anche tratto beneficio dai MoE. Ad esempio, il motore di raccomandazione di YouTube ha impiegato un’architettura simile a MoE per gestire obiettivi come il tempo di visualizzazione e il tasso di clic in modo più efficiente. Assegnando diversi esperti a diversi compiti o comportamenti degli utenti, i MoE aiutano a costruire motori di personalizzazione più robusti.

Vantaggi e sfide

Il principale vantaggio dei MoE è l’efficienza. Consentono di addestrare e distribuire modelli enormi con molto meno calcolo. Ad esempio, il modello Mixtral 8×7B di Mistral AI ha 47B di parametri totali, ma attiva solo 12,9B per token, dandogli l’efficienza di un modello da 13B mentre compete con modelli come GPT-3.5 in termini di qualità.

I MoE favoriscono anche la specializzazione. Poiché diversi esperti possono apprendere pattern distinti, l’intero modello diventa migliore nel gestire input diversi. Ciò è particolarmente utile in compiti multilingui, multi-dominio o multimodali in cui un modello denso di una sola dimensione potrebbe avere prestazioni inferiori.

Tuttavia, i MoE presentano sfide ingegneristiche. Il loro addestramento richiede un equilibrio attento per assicurarsi che tutti gli esperti siano utilizzati in modo efficace. Un’altra preoccupazione è il sovraccarico di memoria – mentre solo una frazione dei parametri è attiva per inferenza, tutti devono essere caricati in memoria. La distribuzione efficiente del calcolo su GPU o TPU non è banale e ha portato allo sviluppo di framework specializzati come DeepSpeed di Microsoft e GShard di Google.

Nonostante questi ostacoli, i vantaggi in termini di prestazioni e costi sono sufficientemente sostanziali da far considerare i MoE un componente critico della progettazione di grandi sistemi di intelligenza artificiale. Man mano che più strumenti e infrastrutture maturano, queste sfide stanno gradualmente venendo superate.

Come i MoE si confrontano con altri metodi di scalabilità

La scalabilità densa tradizionale aumenta la dimensione del modello e il calcolo in modo proporzionale. I MoE rompono questa linearità aumentando i parametri totali senza aumentare il calcolo per input. Ciò consente di addestrare modelli con trilioni di parametri sulla stessa hardware precedentemente limitata a decine di miliardi.

Paragonati al model ensemble, che introduce anche la specializzazione ma richiede più passaggi in avanti, i MoE sono molto più efficienti. Invece di eseguire più modelli in parallelo, i MoE eseguono solo uno – ma con il beneficio di più percorsi di esperti.

I MoE si integrano anche con strategie come la scalabilità dei dati di addestramento (ad esempio, il metodo Chinchilla). Mentre Chinchilla enfatizza l’uso di più dati con modelli più piccoli, i MoE espandono la capacità del modello mantenendo il calcolo stabile, rendendoli ideali per casi in cui il calcolo è il collo di bottiglia.

Infine, mentre tecniche come la potatura e la quantizzazione riducono i modelli dopo l’addestramento, i MoE aumentano la capacità del modello durante l’addestramento. Non sono un sostituto della compressione, ma uno strumento ortogonale per una crescita efficiente.

Le aziende che guidano la rivoluzione MoE

Giganti della tecnologia

Google ha fatto da pioniere nella maggior parte della ricerca MoE odierna. I loro modelli Switch Transformer e GLaM sono stati scalati a 1,6T e 1,2T parametri rispettivamente. GLaM ha eguagliato le prestazioni di GPT-3 utilizzando solo un terzo dell’energia. Google ha anche applicato i MoE alla visione (V-MoE) e ai compiti multimodali (LIMoE), allineandosi con la loro visione più ampia di modelli di intelligenza artificiale universali.

Microsoft ha integrato MoE nella produzione attraverso il suo modello Z-Code in Microsoft Translator. Ha anche sviluppato DeepSpeed-MoE, consentendo un addestramento rapido e un’inferenza a bassa latenza per modelli da trilioni di parametri. I loro contributi includono algoritmi di routing e la libreria Tutel per il calcolo MoE efficiente.

Meta ha esplorato i MoE nei modelli linguistici di grandi dimensioni e nei sistemi di raccomandazione. Il loro modello MoE da 1,1T ha mostrato che poteva eguagliare la qualità dei modelli densi utilizzando 4 volte meno calcolo. Sebbene i modelli LLaMA siano densi, la ricerca di Meta sui MoE continua a informare la comunità più ampia.

Amazon (AMZN ) supporta i MoE attraverso la sua piattaforma SageMaker e sforzi interni. Ha facilitato l’addestramento del modello Mixtral di Mistral e si dice che stia utilizzando i MoE in servizi come Alexa AI. La documentazione di AWS promuove attivamente i MoE per l’addestramento di modelli di grandi dimensioni.

Huawei e BAAI in Cina hanno anche sviluppato modelli MoE record come PanGu-Σ (1.085T params). Ciò dimostra il potenziale dei MoE nei compiti linguistici e multimodali e sottolinea il loro appeal globale.

Startup e sfidanti

Mistral AI è il poster child per l’innovazione MoE nel codice aperto. I loro modelli Mixtral 8×7B e 8×22B hanno dimostrato che i MoE possono superare i modelli densi come LLaMA-2 70B mentre eseguono a una frazione del costo. Con oltre 600 milioni di euro di finanziamenti, Mistral sta scommettendo molto sulle architetture sparse.

xAI, fondata da Elon Musk, sta esplorando i MoE nel suo modello Grok. Sebbene i dettagli siano limitati, i MoE offrono un modo per le startup come xAI di competere con i giocatori più grandi senza aver bisogno di enormi calcoli.

Databricks, tramite il suo acquisto MosaicML, ha rilasciato DBRX, un modello MoE aperto progettato per l’efficienza. Fornisce anche infrastrutture e ricette per l’addestramento MoE, abbassando la barriera per l’adozione.

Altri giocatori come Hugging Face hanno integrato il supporto MoE nelle loro librerie, rendendo più facile per gli sviluppatori costruire su questi modelli. Anche se non stanno costruendo MoE loro stessi, le piattaforme che li abilitano sono cruciali per l’ecosistema.

Conclusione

I modelli Mixture-of-Experts non sono solo una tendenza – rappresentano un cambiamento fondamentale nel modo in cui costruiamo e scaliamo i sistemi di intelligenza artificiale. Attivando selettivamente solo parti della rete, i MoE offrono il potere di modelli enormi senza il loro costo proibitivo. Man mano che l’infrastruttura software si adegua e gli algoritmi di routing migliorano, i MoE sono pronti a diventare l’architettura predefinita per l’intelligenza artificiale multi-dominio, multilingue e multimodale.

Indipendentemente dal fatto che siate un ricercatore, un ingegnere o un investitore, i MoE offrono uno sguardo sul futuro in cui l’intelligenza artificiale sarà più potente, efficiente e adattabile che mai.