Supermicro costruirà e venderà sistemi di inferenza IA basati su SambaNova

Il 3 novembre 2026, SambaNova e Supermicro hanno annunciato che Supermicro costruirà, venderà e supporterà sistemi di inferenza IA che ripartiscono il carico di lavoro tra le GPU NVIDIA e le unità di flusso di dati riconfigurabili SN50 di SambaNova. La collaborazione prevede inizialmente 10.000 chip SN50.

I sistemi entreranno a far parte del portafoglio Data Center Building Block Solutions di Supermicro. Supermicro li integrerà, testerà, consegnerà e supporterà, anche con assistenza in loco, mentre gli ingegneri di SambaNova configureranno e ottimizzeranno i modelli per SN50 e forniranno supporto nelle installazioni presso i clienti. L’accordo abbina quindi un canale di produzione e assistenza per server al lavoro di progettazione dei modelli necessario per implementare acceleratori eterogenei.

Perché l’inferenza viene suddivisa tra GPU e RDU

L’architettura suddivide l’inferenza in due fasi. Durante il prefill, le GPU NVIDIA elaborano il prompt in ingresso, un’attività limitata dalla capacità di calcolo. Le RDU SN50 gestiscono la decodifica, che genera la risposta un token alla volta ed è limitata dalla memoria. SambaNova afferma che assegnare ciascuna fase all’hardware più adatto consente un’inferenza più rapida ed efficiente rispetto all’uso di uno solo dei due tipi di hardware.

Nel suo annuncio di accompagnamento, SambaNova indica l’IA agentica come caso d’uso principale: gli agenti possono effettuare migliaia di chiamate ai modelli linguistici di grandi dimensioni, ciascuna delle quali può richiedere minuti, e i carichi di lavoro agentici trascorrono la maggior parte del tempo nella fase di decodifica. La generazione dei token diventa così un passaggio critico per l’azione successiva dell’agente. Le aziende considerano quindi la decodifica un problema infrastrutturale a sé stante: le RDU aggiuntive dovrebbero accelerare le risposte, mentre le GPU continuano a elaborare i prompt.

Dentro il design di SN50

SN50 è la RDU di quinta generazione di SambaNova. La sua scheda tecnica ufficiale indica un processo produttivo TSMC a 5 nanometri, 432 MB di SRAM integrata e 64 GB di HBM2E; la DDR5 costituisce il terzo livello di memoria. Il chip utilizza la Reconfigurable Dataflow Architecture di SambaNova ed è progettato per la fase di decodifica, limitata dalla memoria, anziché per carichi di lavoro generici degli acceleratori.

La documentazione del prodotto di SambaNova attribuisce al design un’inferenza più rapida, una maggiore produttività e una migliore efficienza energetica. Le operazioni vengono concatenate in un flusso di dati continuo, riducendo i trasferimenti ripetuti di memoria e il sovraccarico dovuto al riavvio delle attività a ogni fase. I diversi livelli di memoria hanno inoltre funzioni distinte: la SRAM conserva i dati locali più utilizzati vicino alle unità di calcolo, la HBM2E contiene i pesi dei modelli attivi e la cache KV più utilizzata, mentre la DDR5 ospita le cache dei prompt, pool di modelli più ampi e la cache KV meno utilizzata.

Secondo SambaNova, SN50 può scalare fino a 256 RDU distribuite su più rack ed è progettata per agenti interattivi, assistenti di programmazione e altri carichi di lavoro di inferenza articolati in più fasi, comprese le applicazioni che passano da un modello all’altro. Il design multi-rack è in linea con il piano della collaborazione, che prevede l’integrazione di RDU e GPU da parte di Supermicro in sistemi che l’azienda convaliderà e supporterà.

Distribuzione attraverso i canali commerciali e limiti dei data center

I clienti potranno acquistare le RDU SN50 insieme alle GPU tramite Supermicro, utilizzando lo stesso canale previsto per il resto della loro infrastruttura IA. La distribuzione inizierà con i NeoCloud e i cloud sovrani, per poi estendersi alle aziende che gestiscono l’IA nei propri data center. Questo approccio graduale coinvolge prima gli operatori cloud e porta in seguito la stessa architettura combinata GPU-RDU nelle strutture aziendali.

L’alimentazione e il raffreddamento sono aspetti centrali per l’implementazione. Le aziende affermano che SN50 è in grado di gestire modelli di grandi dimensioni con velocità e capacità di elaborazione elevate senza richiedere una densità di potenza estrema per rack, facilitando così l’installazione dei sistemi nei data center esistenti. Questo profilo energetico sostiene la possibilità di adeguare strutture già operative: le RDU dovrebbero aggiungere capacità nei siti che gli operatori già gestiscono.

Le aziende affermano inoltre che aggiungere RDU per la decodifica può aumentare la capacità di inferenza senza dover attendere nuove costruzioni, limitate dai vincoli di alimentazione e raffreddamento, e al contempo prolungare la vita utile delle GPU installate. La proposta collega quindi la capacità aggiuntiva alle strutture e alle GPU già in dotazione agli operatori.

SambaNova e Supermicro prevedono che la collaborazione consentirà di mettere a disposizione nel 2027 una capacità di inferenza ad alte prestazioni nettamente superiore a quella altrimenti possibile. Il valore del piano risiede nella combinazione di hardware specifico per la decodifica e del canale di distribuzione di Supermicro. Per gli operatori soggetti a limiti di alimentazione e raffreddamento, resta da vedere se le installazioni di RDU previste potranno aggiungere capacità di inferenza utile nelle strutture esistenti, nella misura prospettata dalle aziende.