Come DeepSeek ha superato la barriera dei costi con 5,6 milioni di dollari

La saggezza convenzionale dell’AI suggerisce che costruire modelli linguistici di grandi dimensioni (LLM) richiede tasche profonde – di solito miliardi di dollari di investimenti. Ma DeepSeek, una startup cinese di intelligenza artificiale, ha appena infranto questo paradigma con il loro ultimo risultato: lo sviluppo di un modello AI di classe mondiale per soli 5,6 milioni di dollari.

Il modello V3 di DeepSeek può competere con i giganti del settore come Google’s Gemini e le ultime offerte di OpenAI, utilizzando solo una frazione delle risorse di calcolo tipiche. Il risultato ha attirato l’attenzione di molti leader del settore, e ciò che lo rende particolarmente notevole è che l’azienda ha raggiunto questo obiettivo nonostante le restrizioni alle esportazioni degli Stati Uniti che hanno limitato l’accesso ai più recenti chip Nvidia (NVDA ).

L’economia dell’AI efficiente

I numeri raccontano una storia convincente di efficienza. Mentre la maggior parte dei modelli AI avanzati richiede tra 16.000 e 100.000 GPU per l’addestramento, DeepSeek ha gestito con sole 2.048 GPU in esecuzione per 57 giorni. L’addestramento del modello ha consumato 2,78 milioni di ore di GPU su chip Nvidia H800 – notevolmente modesto per un modello da 671 miliardi di parametri.

Per mettere questo in prospettiva, Meta ha necessitato di circa 30,8 milioni di ore di GPU – circa 11 volte più potenza di calcolo – per addestrare il suo modello Llama 3, che in realtà ha meno parametri, 405 miliardi. L’approccio di DeepSeek assomiglia a un masterclass di ottimizzazione sotto vincoli. Lavorando con GPU H800 – chip AI progettati da Nvidia specificamente per il mercato cinese con capacità ridotte – l’azienda ha trasformato le potenziali limitazioni in innovazione. Invece di utilizzare soluzioni pronte all’uso per la comunicazione del processore, hanno sviluppato soluzioni personalizzate che massimizzano l’efficienza.

Mentre i concorrenti continuano a operare sotto l’assunzione che gli investimenti massicci siano necessari, DeepSeek sta dimostrando che l’ingegno e l’utilizzo efficiente delle risorse possono livellare il campo di gioco.

Immagine: Artificial Analysis

Ingegneria dell’impossibile

Il risultato di DeepSeek si trova nel suo approccio tecnico innovativo, mostrando che a volte le scoperte più impattanti provengono dal lavoro all’interno di vincoli piuttosto che gettare risorse illimitate su un problema.

Al cuore di questa innovazione c’è una strategia chiamata “auxiliary-loss-free load balancing”. Pensatela come orchestrare un sistema di elaborazione parallela massiccia dove tradizionalmente avreste bisogno di regole complesse e penalità per mantenere tutto in esecuzione senza problemi. DeepSeek ha capovolto questa saggezza convenzionale, sviluppando un sistema che mantiene naturalmente l’equilibrio senza l’onere degli approcci tradizionali.

Il team ha anche sviluppato ciò che chiamano “Multi-Token Prediction” (MTP) – una tecnica che consente al modello di pensare in anticipo prevedendo più token contemporaneamente. Nella pratica, questo si traduce in un’impressionante accettazione del 85-90% per queste previsioni su vari argomenti, offrendo velocità di elaborazione 1,8 volte più veloci rispetto agli approcci precedenti.

L’architettura tecnica stessa è un capolavoro di efficienza. Il modello V3 di DeepSeek utilizza un approccio di miscela di esperti con 671 miliardi di parametri totali, ma qui c’è la parte intelligente – attiva solo 37 miliardi per ogni token. Questa attivazione selettiva significa che ottengono i benefici di un modello massiccio mantenendo al tempo stesso un’efficienza pratica.

La loro scelta del framework di addestramento a precisione mista FP8 è un altro balzo in avanti. Invece di accettare le limitazioni convenzionali della precisione ridotta, hanno sviluppato soluzioni personalizzate che mantengono l’accuratezza mentre riducono notevolmente i requisiti di memoria e calcolo.

Effetti a catena nell’ecosistema dell’AI

L’impatto del risultato di DeepSeek si propaga ben oltre un singolo modello di successo.

Per lo sviluppo dell’AI in Europa, questo risultato è particolarmente significativo. Molti modelli avanzati non raggiungono l’UE perché aziende come Meta e OpenAI non possono o non vogliono adattarsi all’Atto AI dell’UE. L’approccio di DeepSeek mostra che costruire un’AI di punta non richiede sempre cluster di GPU massicci – è più una questione di utilizzare le risorse disponibili in modo efficiente.

Questo sviluppo mostra anche come le restrizioni alle esportazioni possano effettivamente guidare l’innovazione. L’accesso limitato di DeepSeek ai hardware di alta gamma li ha costretti a pensare diversamente, portando a ottimizzazioni software che potrebbero non essere emerse in un ambiente ricco di risorse. Questo principio potrebbe ridisegnare il modo in cui affrontiamo lo sviluppo dell’AI a livello globale.

Le implicazioni di democratizzazione sono profonde. Mentre i giganti del settore continuano a bruciare miliardi, DeepSeek ha creato un modello per uno sviluppo dell’AI efficiente e a basso costo. Ciò potrebbe aprire le porte per le piccole aziende e le istituzioni di ricerca che in precedenza non potevano competere a causa delle limitazioni delle risorse.

Tuttavia, ciò non significa che l’infrastruttura di calcolo su larga scala stia diventando obsoleta. Il settore sta spostando l’attenzione verso il tempo di inferenza – il tempo che un modello impiega per generare risposte. Man mano che questa tendenza continua, saranno necessarie risorse di calcolo significative, probabilmente ancora di più nel tempo.

Ma DeepSeek ha fondamentalmente cambiato la conversazione. Le implicazioni a lungo termine sono chiare: stiamo entrando in un’era in cui il pensiero innovativo e l’utilizzo efficiente delle risorse potrebbero essere più importanti della pura potenza di calcolo. Per la comunità dell’AI, ciò significa concentrarsi non solo sulle risorse che abbiamo, ma su come utilizzarle in modo creativo ed efficiente.