Supermicro lanserar lagring av delad KV-cache för AI med långa kontexter

Supermicro meddelade en lagringslösning för KV-cache tillsammans med IBM och NVIDIA den 5 november 2026. Lösningen är utformad för att flytta återanvändbar kontext för AI-inferens till delad lagring utanför GPU-minnet. Företagen uppger att tiden till första token i gemensamma tester var upp till 56 gånger kortare för en prompt på 130 000 token.

Lösningen kombinerar Supermicros Petascale-servrar för allflashlagring med AMD EPYC 9005-processorer, programvaran IBM Storage Scale, NVIDIAs inferensramverk Dynamo och Ethernet-nätverk med Spectrum-X. Den riktar sig till applikationer med flera turer och agentbaserade applikationer, kodningsassistenter, multimodal AI och retrieval-augmented generation med långa kontexter. Stora kodbaser, dokument, bilder och konversationshistorik kan skapa mer nyckel-värdetillstånd än vad GPU- och CPU-minnet kan behålla.

Återanvändning av kontext mellan förfrågningar

Prefill omvandlar en tokeniserad prompt till de mellanliggande nyckel-värdetillstånd som modellen använder. När dessa tillstånd sparas kan senare förfrågningar återanvända kontexten i stället för att beräkna om den. Arkitekturen tillhandahåller en lagringsnivå med hög tillgänglighet, delad åtkomst mellan GPU-noder och kluster samt möjlighet att utöka cachekapaciteten utan avbrott.

Dynamo lägger till cachemedveten routning, separerar prefill från avkodning och avlastar cachade block via KV Block Manager och överföringsbiblioteket NIXL. IBM Storage Scale Erasure Coding Edition tillhandahåller den delade G4-lagringsnivån i NVIDIAs minneshierarki.

Benchmarkresultat och testförhållanden

En referensarkitektur från IBM Redbooks, publicerad den 5 juni 2026 och senast uppdaterad den 20 augusti 2026, redovisar 32,14 sekunder för omberäkning på GPU vid 130 000 token, jämfört med 0,570 sekunder med den lagringsbaserade cachen. Lanseringen bygger på dessa tidigare mätningar; de är inte resultat från en ny studie som publicerades i november.

I en separat körning med 200 förfrågningar användes 28 samtidiga anslutningar och 100 unika prompter, motsvarande 24 miljoner token och 825 GB KV-cachedata. Enligt Redbook ökade genomströmningen från 0,19 till 4,26 förfrågningar per sekund, samtidigt som den totala behandlingstiden sjönk från 1 048,56 till 46,94 sekunder. Cachen var tom från början, så genomsnittet för hela körningen inkluderar en uppstartsperiod då återanvändningen byggdes upp.

I ett test med konkurrerande nätverksbelastning genererade fyra andra klienter 200 GB/s nätverks-I/O. Det cachade systemet upprätthöll 3,6 förfrågningar per sekund och slutförde 200 förfrågningar på 55,56 sekunder. Redbook beskriver detta som en minskning av genomströmningen med 18 procent jämfört med resultatet för cachelösningen på ett obelastat nätverk.

Alla inferensmätningar gjordes från en Supermicro-GPU-klientnod med fyra NVIDIA RTX PRO 6000-GPU:er, ansluten till ett Petascale-lagringskluster med åtta noder. Programvarustacken använde Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf och modellen openai/gpt-oss-120b. Cachelagren i GPU-minnet och systemets DRAM inaktiverades för att isolera den delade G4-nivån.

Nätverkskapacitet och dimensionering av driftsättningen

Tre Spectrum-X SN5600-switchar utgjorde testets spine-leaf-nätverk. Enligt Redbook uppgick bandbredden mot klienterna till högst 80 GB/s, medan lagringssystemet med åtta noder uppnådde en läsgenomströmning på upp till 315 GB/s. Därmed var nätverket på klientsidan, snarare än lagringsnivåns fulla läskapacitet, den begränsande faktorn i konfigurationen.

Redbooks dimensioneringsexempel anger fyra lagringsnoder för små proof of concept-driftsättningar, åtta för den testade medelstora konfigurationen och minst 16 för stora AI-fabriker. Kapacitet, bandbredd, samtidighet, modellstorlek och arbetsbelastning påverkar alla vilken utformning som är lämplig. Supermicro uppger att företagets tjänster för fabriksintegrering av rack och driftsättning på plats kan minska driftsättningstiden från veckor till dagar.

Lanseringen paketerar en tidigare dokumenterad och gemensamt validerad arkitektur för driftsättning, men fördelarna gäller en specifik modell, promptblandning, samtidighetsnivå och nätverkskonfiguration. Den centrala frågan vid driftsättning är om lagringskapaciteten och klientbandbredden är anpassade till det faktiska behovet av kontextåteranvändning: ytterligare läskapacitet i lagringen kan inte förbättra inferensen om klientnätverket inte kan leverera den.