Supermicro lanserer delt lagring av KV-hurtigbuffer for KI med lang kontekst

Supermicro kunngjorde en løsning for lagring av KV-hurtigbuffer sammen med IBM og NVIDIA 5. november 2026. Løsningen er utviklet for å flytte gjenbrukbar kontekst for KI-inferens til delt lagring utenfor GPU-minnet. Selskapene oppgir at tiden til første token var opptil 56 ganger kortere for en prompt på 130 000 tokens i felles testing.

Løsningen kombinerer Petascale-lagringsservere med helflash fra Supermicro, som bruker AMD EPYC 9005-prosessorer, IBM Storage Scale-programvare, NVIDIAs inferensrammeverk Dynamo og Spectrum-X Ethernet-nettverk. Den er rettet mot applikasjoner med flere samtalerunder og agentbaserte applikasjoner, kodeassistenter, multimodal KI og gjenfinningsforsterket generering med lang kontekst. Store kodebaser, dokumenter, bilder og samtalehistorikker kan skape flere nøkkel-verdi-tilstander enn GPU- og CPU-minnet har kapasitet til å lagre.

Gjenbruk av kontekst på tvers av forespørsler

Prefylling gjør en tokenisert prompt om til de mellomliggende nøkkel-verdi-tilstandene modellen bruker. Når disse tilstandene lagres, kan senere forespørsler gjenbruke konteksten i stedet for å beregne den på nytt. Arkitekturen har et lagringsnivå med høy tilgjengelighet, som deles på tvers av GPU-noder og klynger, og gjør det mulig å utvide hurtigbufferkapasiteten uten driftsavbrudd.

Dynamo legger til hurtigbufferbevisst ruting, skiller prefylling fra dekoding og flytter hurtigbufrede blokker ut via KV Block Manager og overføringsbiblioteket NIXL. IBM Storage Scale Erasure Coding Edition leverer det delte G4-lagringsnivået i NVIDIAs minnehierarki.

Referanseresultater og testforhold

En referansearkitektur fra IBM Redbooks, publisert 5. juni 2026 og sist oppdatert 20. august 2026, oppgir 32,14 sekunder for ny beregning på GPU med 130 000 tokens, mot 0,570 sekunder med den lagringsbaserte hurtigbufferen. Disse tidligere målingene ligger til grunn for lanseringen; de er ikke resultatet av en ny studie publisert i november.

I en separat kjøring med 200 forespørsler ble det brukt 28 samtidige tilkoblinger og hentet fra 100 unike prompter som til sammen representerte 24 millioner tokens og 825 GB med KV-hurtigbufferdata. Redbook rapporterer at gjennomstrømningen økte fra 0,19 til 4,26 forespørsler per sekund, mens den samlede behandlingstiden falt fra 1 048,56 til 46,94 sekunder. Hurtigbufferen var tom ved start, så gjennomsnittet for hele kjøringen omfatter en kaldstartperiode mens gjenbruken økte.

I en test med konkurrerende trafikk genererte fire andre klienter 200 GB/s med konkurrerende nettverks-I/O. Det hurtigbufferbaserte systemet opprettholdt en hastighet på 3,6 forespørsler per sekund og fullførte 200 forespørsler på 55,56 sekunder. Redbook beskriver dette som en reduksjon i gjennomstrømning på 18 % sammenlignet med resultatet for hurtigbufferen på et nettverk uten konkurrerende trafikk.

Alle inferensmålingene ble gjort på én Supermicro GPU-klientnode med fire NVIDIA RTX PRO 6000-GPU-er, tilkoblet en Petascale-lagringsklynge med åtte noder. Programvarestakken brukte Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf og modellen openai/gpt-oss-120b. Hurtigbufferlagene i GPU-minnet og systemets DRAM var deaktivert for å isolere det delte G4-laget.

Nettverkskapasitet og dimensjonering av utrullingen

Tre Spectrum-X SN5600-svitsjer utgjorde spine-leaf-nettverket i testen. Redbook oppgir en båndbredde på opptil 80 GB/s mot klientene, mens lagringssystemet med åtte noder oppnådde en lesehastighet på opptil 315 GB/s. Dermed var klientnettverket, ikke lagringsnivåets fulle lesekapasitet, den begrensende faktoren i konfigurasjonen.

Redbooks dimensjoneringseksempler bruker fire lagringsnoder for små konseptutprøvinger, åtte for den testede mellomstore konfigurasjonen og 16 eller flere for store KI-fabrikker. Kapasitet, båndbredde, samtidighet, modellstørrelse og arbeidsbelastning påvirker alle hvilken utforming som passer. Supermicro sier at selskapets tjenester for integrering av fabrikkutstyr i rack og utrulling på stedet kan redusere utrullingstiden fra uker til dager.

Lanseringen samler en tidligere dokumentert og fellesvalidert arkitektur i en løsning som er klar for utrulling, men gevinstene gjelder for en bestemt modell, promptmiks, grad av samtidighet og nettverk. Det sentrale spørsmålet ved utrulling er om lagringskapasiteten og båndbredden mot klientene er tilpasset det faktiske behovet for gjenbruk av kontekst: større leseplass i lagringen kan ikke forbedre inferensen hvis klientnettverket ikke kan levere den.