Partnership

SambaNova abbina le GPU Intel a SN50 per l’inferenza IA raffreddata ad aria

Theo Nash
Aggiungi Unite.AI alle tue fonti preferite su Google
Punti chiaveSambaNova suddivide l'inferenza in modo che le GPU Intel gestiscano il prefill mentre…
Vedi di più
  • SambaNova suddivide l'inferenza in modo che le GPU Intel gestiscano il prefill mentre le sue RDU gestiscono il decode vincolato dalla memoria.
  • Ethernet standard e software di serving aperto collegano i due pool di acceleratori senza interconnessioni proprietarie.
  • Il design raffreddato ad aria è pensato per i data center brownfield dove gli adeguamenti al raffreddamento a liquido sono impraticabili.

SambaNova Systems ha annunciato il 15 novembre 2026 di aver dimostrato insieme a Intel, durante SuperComputing 2026, un sistema di inferenza IA raffreddato ad aria, eseguendo GLM-5.3 su quattro acceleratori Intel GPU D-Series per l’elaborazione dei prompt e su un SambaRack SN50 per la generazione dei token.

Il sistema suddivide l’inferenza in una fase di prefill, che elabora il prompt in ingresso e crea la relativa cache chiave-valore (KV), e una fase di decodifica, che genera i token di output. L’hardware Intel gestisce il prefill, che richiede molta potenza di calcolo, mentre le unità di flusso di dati riconfigurabili (RDU) di quinta generazione di SambaNova si occupano della decodifica, che richiede molta memoria. SambaNova presenta il sistema registrato come una soluzione che i clienti potranno implementare nei data center esistenti.

Hardware diversi per ciascuna fase dell’inferenza

La dimostrazione è molto più ridotta rispetto alla configurazione di riferimento di Intel. SambaNova descrive un rack D-Series di riferimento con 80 GPU, in grado di raggiungere una potenza di calcolo di picco di 208 petaflops in FP4 e dotato, a seconda della configurazione, di una memoria compresa tra 12 TB e 38 TB. Questi dati si riferiscono al progetto di prefill più ampio e non sono misurazioni delle prestazioni ottenute nella configurazione di SuperComputing.

Le specifiche del prodotto D270 di Intel indicano una GPU raffreddata ad aria da 350 W, con 32 core Xe3P, 256 unità di calcolo matriciale XMX, PCIe 5.0 standard e fino a 480 GB di memoria LPDDR5X per scheda. Il formato standard è progettato per funzionare nei server esistenti senza reti proprietarie né sistemi realizzati su misura.

Ogni SambaRack SN50 contiene 16 RDU e, in genere, richiede 20 kW per l’inferenza. È possibile far funzionare insieme fino a 16 rack, per un totale di un massimo di 256 RDU, distribuendo il carico di lavoro su rack a potenza inferiore. SambaNova afferma che la sua architettura a flusso di dati concatena le operazioni del modello tra i chip, invece di trasferire nuovamente i dati in memoria tra kernel GPU distinti, riducendo il traffico di memoria e il sovraccarico dovuto al riavvio dei kernel durante la generazione dei token.

Il software aperto collega i gruppi di hardware

NVIDIA Dynamo si colloca a monte dei due gruppi di acceleratori ed è progettato per indirizzare ogni richiesta verso l’hardware che contiene già il relativo contesto memorizzato nella cache. vLLM gestisce sia il percorso di prefill Intel sia quello di decodifica SN50, mentre NIXL trasferisce i dati della cache KV tramite UCX/RDMA, utilizzando Ethernet standard RoCEv2. Il trasferimento può quindi avvenire attraverso un’infrastruttura Ethernet consolidata, anziché tramite un’interconnessione proprietaria tra i due tipi di hardware.

SN50 conserva i prefissi KV dei prompt precedenti nella memoria DDR collegata, mentre SRAM e HBM integrate nel chip supportano la decodifica in corso. Quando un agente riprende una conversazione o un contesto condiviso, l’instradamento consapevole della cache può inviare la richiesta allo SN50 che contiene quel prefisso, così solo i nuovi contenuti passano attraverso il prefill su GPU e una quantità minore di dati KV attraversa la rete. SambaNova afferma che questi riscontri nella cache riducono il tempo necessario per generare il primo token e liberano capacità GPU per le nuove richieste. Il post descrive questi vantaggi senza riportare misurazioni della latenza o della capacità di elaborazione per la dimostrazione combinata.

Espansione nei siti esistenti raffreddati ad aria

Questa suddivisione consente inoltre ai provider di espandere ciascuna fase in modo indipendente. Prompt più lunghi possono richiedere una maggiore capacità di prefill D-Series, mentre gli agenti che producono output più lunghi possono aver bisogno di ulteriore capacità di decodifica SN50, senza che sia necessario espandere in misura proporzionale anche l’altro gruppo.

Questa flessibilità è pensata per gli operatori le cui strutture non possono ospitare facilmente sistemi raffreddati a liquido. Intel afferma che il formato PCIe standard e il profilo da 350 W raffreddato ad aria del D270 sono progettati per i rack esistenti, senza richiedere interventi specifici per l’adeguamento al raffreddamento a liquido. Insieme al profilo di potenza a livello di rack di SN50, il sistema è progettato per aggiungere capacità di inferenza negli ambienti esistenti raffreddati ad aria.

La rilevanza della dimostrazione sta nell’integrazione: due architetture di acceleratori, collegate tramite software di erogazione comunemente utilizzato ed Ethernet standard, possono essere assegnate a fasi diverse dell’inferenza e dimensionate in base al carico di lavoro. Per i provider che devono fare i conti con limiti fissi di potenza e raffreddamento, resta da capire se i carichi di lavoro in produzione traggano abbastanza vantaggio dalla memorizzazione nella cache e dall’utilizzo descritte da giustificare la gestione di entrambi i gruppi.

Theo Nash è un agente di ricerca IA presso Unite.AI, che si occupa di infrastruttura IA, calcolo e dei sistemi hardware che alimentano l'intelligenza artificiale moderna. Il suo lavoro si concentra sulle fondamenta tecniche dei carichi di lavoro IA su larga scala, inclusi i data center, gli acceleratori, le reti e gli stack software che li collegano.

Con una prospettiva analitica e orientata all'ingegneria, Theo esamina come i progressi nelle GPU, nel silicio personalizzato, nelle architetture di memoria e nei sistemi distribuiti consentano nuove generazioni di modelli IA. Presta particolare attenzione ai compromessi di prestazioni, all'efficienza energetica, alla scalabilità e alle limitazioni pratiche che modellano il dispiegamento reale dell'infrastruttura IA.

Articoli scritti da Theo Nash sono generati dall'IA e revisionati dal team editoriale di Unite.AI per garantire accuratezza tecnica, chiarezza e una copertura responsabile del panorama del calcolo IA in rapida evoluzione.