Modelli e piattaforme di IA
Supermicro lancia uno storage condiviso per la cache KV destinato all’IA con contesti lunghi
Aggiungi Unite.AI alle tue fonti preferite su Google
Il 5 novembre 2026, Supermicro ha annunciato una soluzione di storage per la cache KV insieme a IBM e NVIDIA, progettata per trasferire il contesto riutilizzabile dell’inferenza IA in uno storage condiviso che va oltre la memoria GPU. Le aziende riferiscono che, nei test congiunti, il tempo al primo token è stato fino a 56 volte più rapido con un prompt di 130.000 token.
L’offerta combina server di storage all-flash Petascale di Supermicro con processori AMD EPYC 9005, il software IBM Storage Scale, il framework di inferenza Dynamo di NVIDIA e il networking Ethernet Spectrum-X. È rivolta ad applicazioni multi-turno e agentiche, assistenti alla programmazione, IA multimodale e generazione aumentata dal recupero con contesti lunghi. Grandi basi di codice, documenti, immagini e cronologie di conversazione possono generare più dati di stato chiave-valore di quanti ne possano conservare la memoria GPU e quella CPU.
Riutilizzare il contesto tra le richieste
La fase di prefill trasforma un prompt tokenizzato negli stati intermedi chiave-valore utilizzati dal modello. Mantenere questi stati consente alle richieste successive di riutilizzare il contesto invece di ricalcolarlo. L’architettura offre un livello di storage ad alta disponibilità, accessibile in modo condiviso tra nodi GPU e cluster, e permette inoltre di espandere la capacità della cache senza interruzioni.
Dynamo aggiunge un instradamento consapevole della cache, separa le fasi di prefill e decodifica e trasferisce i blocchi memorizzati nella cache tramite il proprio KV Block Manager e la libreria di trasferimento NIXL. IBM Storage Scale Erasure Coding Edition fornisce il livello di storage condiviso G4 nella gerarchia di memoria di NVIDIA.
Risultati dei benchmark e condizioni di test
Un’architettura di riferimento di IBM Redbooks, pubblicata il 5 giugno 2026 e aggiornata da ultimo il 20 agosto 2026, riporta 32,14 secondi per ricalcolare sulla GPU 130.000 token, contro 0,570 secondi utilizzando la cache supportata dallo storage. Queste misurazioni preesistenti sono alla base del lancio e non costituiscono uno studio pubblicato per la prima volta a novembre.
Un test separato con 200 richieste ha utilizzato 28 connessioni simultanee e 100 prompt unici, per un totale di 24 milioni di token e 825 GB di dati della cache KV. Il Redbook riporta un aumento della velocità di elaborazione da 0,19 a 4,26 richieste al secondo e una riduzione del tempo totale di elaborazione da 1.048,56 a 46,94 secondi. La cache era inizialmente vuota, quindi la media sull’intera esecuzione comprende una fase di avvio a freddo, durante la quale il riutilizzo è aumentato progressivamente.
In un test con contesa di risorse, altri quattro client hanno generato 200 GB/s di traffico I/O di rete concorrente. Il sistema con cache ha mantenuto una velocità di 3,6 richieste al secondo e ha completato 200 richieste in 55,56 secondi; secondo il Redbook, ciò rappresenta una riduzione del 18% della velocità di elaborazione rispetto al risultato ottenuto con la cache su una rete non congestionata.
Tutte le misurazioni dell’inferenza sono state effettuate su un singolo nodo client GPU Supermicro con quattro GPU NVIDIA RTX PRO 6000, collegato a un cluster di storage Petascale a otto nodi. Lo stack software utilizzava Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf e il modello openai/gpt-oss-120b. I livelli di cache nella memoria GPU e nella DRAM di sistema erano disabilitati per isolare il livello G4 condiviso.
Margine di capacità della rete e dimensionamento delle implementazioni
Tre switch Spectrum-X SN5600 costituivano la rete spine-leaf del test. Il Redbook riporta una larghezza di banda fino a 80 GB/s verso i client, mentre il sistema di storage a otto nodi ha raggiunto una velocità di lettura fino a 315 GB/s. Di conseguenza, il limite della configurazione era la rete lato client, non la capacità di lettura massima del livello di storage.
Gli esempi di dimensionamento del Redbook prevedono quattro nodi di storage per le piccole implementazioni di prova, otto per la configurazione media testata e almeno 16 per le grandi fabbriche di IA. La progettazione più appropriata dipende da capacità, larghezza di banda, concorrenza, dimensioni del modello e carico di lavoro. Supermicro afferma che i propri servizi di integrazione dei rack in fabbrica e di implementazione in loco possono ridurre i tempi di installazione da settimane a giorni.
Il lancio rende disponibile per l’implementazione un’architettura documentata in precedenza e convalidata congiuntamente, ma i vantaggi dipendono da uno specifico modello, dalla combinazione di prompt, dal livello di concorrenza e dalla rete. La questione centrale per l’implementazione è se la capacità di storage e la larghezza di banda lato client siano adeguate alla domanda effettiva di riutilizzo del contesto: un maggiore margine di capacità di lettura dello storage non può migliorare l’inferenza se la rete client non è in grado di renderlo disponibile.
