Supermicro lansează o soluție de stocare partajată a cache-ului KV pentru inteligența artificială cu contexte lungi

Supermicro a anunțat o soluție de stocare a cache-ului KV împreună cu IBM și NVIDIA, la 5 noiembrie 2026, concepută pentru a muta contextul reutilizabil al inferenței AI în spațiul de stocare partajat, dincolo de memoria GPU. Companiile raportează că, în testele comune, timpul până la primul token a fost de până la 56 de ori mai scurt pentru un prompt de 130.000 de tokenuri.

Soluția reunește servere de stocare Petascale cu memorie flash integrală, bazate pe procesoare AMD EPYC 9005, software-ul IBM Storage Scale, cadrul de inferență Dynamo de la NVIDIA și echipamente de rețea Ethernet Spectrum-X. Este destinată aplicațiilor cu mai multe runde de interacțiune și celor agentice, asistenților de programare, inteligenței artificiale multimodale și generării augmentate prin recuperare cu contexte lungi. Bazele de cod mari, documentele, imaginile și istoricul conversațiilor pot genera mai multe date de stare cheie-valoare decât pot păstra memoria GPU și memoria CPU.

Reutilizarea contextului între solicitări

Etapa de preumplere transformă un prompt tokenizat în stările intermediare cheie-valoare utilizate de model. Păstrarea acestor stări permite solicitărilor ulterioare să reutilizeze contextul, în loc să îl recalculeze. Arhitectura oferă un nivel de stocare cu disponibilitate ridicată, accesibil în comun de nodurile și clusterele GPU, precum și posibilitatea de a extinde capacitatea cache-ului fără întreruperi.

Dynamo adaugă rutarea în funcție de cache, separă preumplerea de decodare și descarcă blocurile memorate în cache prin KV Block Manager și biblioteca de transfer NIXL. IBM Storage Scale Erasure Coding Edition furnizează nivelul de stocare partajat G4 din ierarhia de memorie NVIDIA.

Rezultatele testelor comparative și condițiile de testare

O arhitectură de referință IBM Redbooks, publicată la 5 iunie 2026 și actualizată ultima dată la 20 august 2026, raportează un timp de 32,14 secunde pentru recalcularea pe GPU la 130.000 de tokenuri, comparativ cu 0,570 secunde folosind cache-ul susținut de spațiul de stocare. Aceste măsurători existente stau la baza lansării; ele nu reprezintă un studiu nou, publicat în noiembrie.

Un test separat, cu 200 de solicitări, a folosit 28 de conexiuni concurente și 100 de prompturi unice, reprezentând 24 de milioane de tokenuri și 825 GB de date în cache-ul KV. Redbook raportează o creștere a debitului de la 0,19 la 4,26 solicitări pe secundă și o reducere a timpului total de procesare de la 1.048,56 la 46,94 secunde. Cache-ul era inițial gol, astfel că media calculată pentru întreaga rulare include o perioadă de pornire la rece, pe măsură ce se acumula reutilizarea.

Într-un test cu interferențe de la utilizatori concurenți, alți patru clienți au generat un trafic de intrare/ieșire în rețea concurent de 200 GB/s. Sistemul cu cache a menținut un debit de 3,6 solicitări pe secundă și a procesat 200 de solicitări în 55,56 secunde; Redbook descrie acest rezultat drept o reducere de 18% a debitului față de rezultatul obținut cu cache și o rețea fără congestie.

Toate măsurătorile de inferență au fost efectuate pe un singur nod client GPU Supermicro, cu patru GPU-uri NVIDIA RTX PRO 6000, conectat la un cluster de stocare Petascale cu opt noduri. Stiva software a folosit Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf și modelul openai/gpt-oss-120b. Nivelurile de cache din memoria GPU și din memoria DRAM a sistemului au fost dezactivate pentru a izola nivelul G4 partajat.

Marja de capacitate a rețelei și dimensionarea implementării

Trei switch-uri Spectrum-X SN5600 au alcătuit rețeaua de testare cu topologie spine-leaf. Redbook raportează o lățime de bandă de până la 80 GB/s către clienți, în timp ce sistemul de stocare cu opt noduri a atins un debit de citire de până la 315 GB/s. Prin urmare, limita configurației este rețeaua de la nivelul clientului, nu întreaga capacitate de citire a nivelului de stocare.

Exemplele de dimensionare din Redbook prevăd patru noduri de stocare pentru implementări de mici dimensiuni, destinate validării conceptului, opt pentru configurația medie testată și cel puțin 16 pentru fabrici AI mari. Capacitatea, lățimea de bandă, concurența, dimensiunea modelului și volumul de lucru influențează toate configurația potrivită. Supermicro afirmă că serviciile sale de integrare a rackurilor în fabrică și de implementare la fața locului pot reduce timpul de implementare de la săptămâni la zile.

Lansarea reunește, pentru implementare, o arhitectură documentată anterior și validată în comun, însă câștigurile acesteia se aplică unui anumit model, unei anumite combinații de prompturi, unui anumit nivel de concurență și unei anumite rețele. Întrebarea esențială pentru implementare este dacă capacitatea de stocare și lățimea de bandă către client sunt echilibrate în funcție de cererea reală de reutilizare a contextului: o marjă suplimentară de capacitate de citire a spațiului de stocare nu poate îmbunătăți inferența dacă rețeaua clientului nu o poate susține.