La fine dell’era della scalabilità: perché le innovazioni algoritmiche contano più della dimensione del modello

Per gran parte del decennio scorso, i progressi nell’intelligenza artificiale sono stati guidati dalla scalabilità. Set di dati più grandi, più parametri e una maggiore potenza di calcolo sono diventati la formula per il successo. I team hanno gareggiato per creare modelli più grandi, misurando i progressi in trilioni di parametri e petabyte di dati di training. Chiamiamo questo l’era della scalabilità. Ha alimentato gran parte dei progressi dell’AI che vediamo oggi, ma ora stiamo raggiungendo un limite in cui semplicemente rendere i modelli più grandi non è più l’approccio più efficiente, intelligente o sostenibile. Di conseguenza, l’attenzione si sta spostando dalla scala grezza alle innovazioni algoritmiche. In questo articolo, esaminiamo perché la scalabilità di per sé non è sufficiente e come la prossima fase dello sviluppo dell’AI dipenderà dall’innovazione algoritmica.

La legge del rendimento decrescente nella scalabilità del modello

L’era della scalabilità era basata su fondamenti empirici solidi. I ricercatori hanno osservato che aumentare la dimensione dei modelli e dei set di dati può portare a guadagni prevedibili nelle prestazioni. Questo modello è diventato noto come leggi di scalabilità. Queste leggi sono diventate rapidamente il manuale per i principali laboratori di AI, alimentando la corsa per costruire sistemi sempre più grandi. Quella corsa ha dato origine a grandi modelli linguistici e modelli fondamentali che ora alimentano molti degli attuali sistemi di intelligenza artificiale. Tuttavia, come ogni curva esponenziale, questa scalabilità dell’AI sta iniziando a rallentare. Le spese per lo sviluppo di modelli ancora più grandi stanno aumentando rapidamente. L’addestramento di un sistema all’avanguardia ora consuma tanto energia quanto una piccola città, sollevando gravi preoccupazioni ambientali. Il costo finanziario è così alto che solo un pugno di organizzazioni può competere. Nel frattempo, stiamo osservando chiari segni di rendimento decrescente. Raddoppiare il numero di parametri non raddoppia più le capacità. I miglioramenti sono anche incrementali, raffinando solo le conoscenze esistenti piuttosto che sbloccare nuove capacità. Il guadagno di valore per ogni dollaro e watt aggiuntivo sta diminuendo. La strategia di scalabilità sta raggiungendo i suoi limiti economici e tecnici.

La nuova frontiera: l’efficienza algoritmica

I limiti delle leggi di scalabilità hanno spinto i ricercatori a rifocalizzarsi sull’efficienza algoritmica. Piuttosto che affidarsi alla forza bruta, hanno iniziato a concentrarsi sulla progettazione di algoritmi più intelligenti che utilizzano le risorse in modo più efficace. Le recenti avanzate illustrano il potere di questo cambiamento. Ad esempio, l’architettura Transformer, guidata dal suo meccanismo di attenzione, ha dominato l’AI per anni. Ma l’attenzione comporta una debolezza: le sue esigenze computazionali crescono rapidamente con la lunghezza della sequenza. I Modelli di spazio di stato (SSM), come Mamba, stanno emergendo come una promettente alternativa ai Transformer. Abilitando un ragionamento selettivo più efficiente, gli SSM possono eguagliare le prestazioni di Transformer molto più grandi mentre eseguono più velocemente e utilizzano significativamente meno memoria.

Un altro esempio di efficienza algoritmica è l’ascesa dei modelli di miscela di esperti (MoE). Invece di attivare l’intera rete massiccia per ogni input, i sistemi MoE instradano i compiti solo al subset più rilevante di reti più piccole, o “esperti”. Il modello può avere miliardi di parametri in totale, ma ogni calcolo utilizza solo una frazione di essi. Ciò è come avere una vasta biblioteca ma aprire solo i pochi libri necessari per rispondere a una domanda, piuttosto che leggere ogni libro nell’edificio ogni volta. Il risultato è la capacità di conoscenza di un modello gigante con l’efficienza di uno molto più piccolo.

Un altro esempio che combina queste idee è DeepSeek-V3, un modello di miscela di esperti migliorato con Attenzione Latente Multi-Testa (MLA). L’MLA migliora l’attenzione tradizionale comprimendo gli stati chiave-valore, consentendo al modello di gestire sequenze lunghe in modo efficiente, proprio come gli SSM, mentre mantiene le forze dei Transformer. Con 236 miliardi di parametri in totale ma solo una frazione attivata per compito, DeepSeek-V3 offre prestazioni di livello superiore in aree come la codifica e il ragionamento, tutto ciò mentre è più accessibile e meno intensivo in termini di risorse rispetto ai modelli scalati di dimensioni comparabili.

Questi non sono solo esempi isolati. Rappresentano una tendenza più ampia verso una progettazione più intelligente e più efficiente. I ricercatori si stanno ora concentrando su come rendere i modelli più veloci, più piccoli e meno affamati di dati senza sacrificare le prestazioni.

Perché questo cambiamento è importante

Il passaggio dalla dipendenza dalla scala alle innovazioni algoritmiche ha effetti significativi sul campo dell’AI. In primo luogo, rende l’AI più accessibile a tutti. Il successo non dipende più solo dall’avere i computer più potenti. Un piccolo gruppo di ricercatori può creare una nuova progettazione che supera i modelli costruiti con budget molto più grandi. Ciò cambia l’innovazione da una gara sulle risorse a una guidata da idee e competenze. Di conseguenza, le università, le startup e i laboratori indipendenti possono ora svolgere un ruolo più grande, oltre alle grandi aziende tecnologiche.

In secondo luogo, aiuta a rendere l’AI più utile nelle impostazioni quotidiane. Un modello con 500 miliardi di parametri potrebbe sembrare impressionante negli studi, ma la sua enorme dimensione lo rende difficile e costoso da utilizzare nella pratica. Al contrario, opzioni efficienti come Mamba o modelli di miscela di esperti possono essere eseguiti su hardware standard, inclusi dispositivi ai margini delle reti. Questa facilità d’uso è fondamentale per portare l’AI in applicazioni comuni, come strumenti di diagnostica sanitaria o funzionalità di traduzione istantanea sui smartphone.

In terzo luogo, affronta il problema della sostenibilità. Le esigenze energetiche della costruzione e dell’esecuzione di modelli di AI giganti stanno diventando una sfida importante per l’ambiente. Sottolineando l’efficienza, possiamo ridurre drasticamente le emissioni di carbonio derivanti dal lavoro dell’AI.

Cosa verrà dopo: l’era della progettazione dell’intelligenza

Stiamo entrando in ciò che potremmo chiamare l’era della progettazione dell’intelligenza. La domanda non è più quanto possiamo rendere grande il modello, ma come possiamo progettare un modello che sia intrinsecamente più intelligente e efficiente.

Questo cambiamento porterà innovazioni in diverse aree di ricerca di base. Una delle aree in cui ci aspettiamo avanzamenti è nell’architettura del modello di AI. I nuovi modelli come i modelli di spazio di stato già menzionati potrebbero cambiare il modo in cui le reti neurali elaborano i dati. Ad esempio, l’architettura ispirata a sistemi dinamici si sta rivelando più potente negli esperimenti. Un altro focus sarà sui metodi di addestramento che aiutano i modelli a imparare in modo efficace con molto meno dati. Ad esempio, i progressi nell’apprendimento a zero colpi e a pochi colpi stanno rendendo l’AI più efficiente in termini di dati, mentre tecniche come attivazione di steering consentono miglioramenti comportamentali senza alcun ritraining. Le raffinatezioni post-addestramento e l’uso di dati sintetici stanno riducendo drasticamente le esigenze di addestramento, a volte di fattori di 10.000.

Vedremo anche un crescente interesse per modelli ibridi, come AI neuro-simbolica. L’AI neuro-simbolica sta emergendo come una tendenza principale nel 2025, combinando il riconoscimento di pattern dell’apprendimento neurale con le forze logiche dei sistemi simbolici per una migliore spiegabilità e una minore dipendenza dai dati. Esempi includono AlphaGeometry 2 e AlphaProof, che consentono a Google DeepMind di assicurarsi una prestazione da medaglia d’oro all’IMO 2025. L’obiettivo è sviluppare sistemi che non solo prevedono la prossima parola in base a statistiche, ma comprendono e ragionano sul mondo in modo umano.

Il punto fondamentale

L’era della scalabilità è stata essenziale e ha portato un notevole sviluppo all’AI. Ha ampliato i limiti di ciò che era possibile e ha fornito le tecnologie fondamentali di cui ci avvaliamo oggi. Ma come ogni tecnologia che matura, la strategia iniziale alla fine esaurisce il suo potenziale. I principali avanzamenti futuri non verranno dall’aggiungere più strati alla pila. Invece, emergeranno dalla ridisegnazione della pila stessa.

Il futuro appartiene a coloro che innovano negli algoritmi, nell’architettura e nella scienza fondamentale dell’apprendimento automatico. È un futuro in cui l’intelligenza è misurata non dal numero di parametri, ma dall’eleganza della progettazione. La spinta a creare algoritmi più intelligenti è appena iniziata. Questo passaggio apre la porta a un’AI più accessibile, sostenibile e veramente intelligente.