Supermicro lancerer delt KV-cachelagring til AI med lang kontekst

Supermicro offentliggjorde en lagringsløsning til KV-cache sammen med IBM og NVIDIA den 5. november 2026. Løsningen er udviklet til at flytte genanvendelig kontekst fra AI-inferens til delt lager uden for GPU-hukommelsen. Virksomhederne oplyser, at deres fælles test viste, at tiden til første token for en prompt på 130.000 tokens kunne blive op til 56 gange kortere.

Løsningen kombinerer Supermicro Petascale-all-flash-lagerservere med AMD EPYC 9005-processorer, IBM Storage Scale-software, NVIDIAs inferensrammeværk Dynamo og Spectrum-X Ethernet-netværk. Den er målrettet applikationer med flere samtalerunder og agentbaserede applikationer, kodeassistenter, multimodal AI og retrieval-augmented generation med lang kontekst. Store kodebaser, dokumenter, billeder og samtalehistorikker kan skabe flere nøgle-værdi-tilstande, end GPU- og CPU-hukommelsen kan rumme.

Genbrug af kontekst på tværs af forespørgsler

Prefill omdanner en prompt bestående af tokens til de mellemliggende nøgle-værdi-tilstande, som modellen bruger. Når disse tilstande gemmes, kan senere forespørgsler genbruge konteksten i stedet for at beregne den igen. Arkitekturen leverer et lagerniveau med høj tilgængelighed og delt adgang på tværs af GPU-knuder og klynger samt mulighed for at udvide cachekapaciteten uden afbrydelser.

Dynamo tilføjer cachebevidst routing, adskiller prefill fra decode og aflaster cachelagrede blokke via KV Block Manager og overførselsbiblioteket NIXL. IBM Storage Scale Erasure Coding Edition leverer det delte G4-lag i NVIDIAs hukommelseshierarki.

Benchmarkresultater og testbetingelser

En referencearkitektur fra IBM Redbooks, udgivet den 5. juni 2026 og senest opdateret den 20. august 2026, rapporterer 32,14 sekunder til genberegning på GPU ved 130.000 tokens mod 0,570 sekunder med den lagerbaserede cache. Disse allerede eksisterende målinger ligger til grund for lanceringen; de er ikke resultater fra en ny undersøgelse offentliggjort i november.

En separat test med 200 forespørgsler brugte 28 samtidige forbindelser og tog udgangspunkt i 100 unikke prompts, der repræsenterede 24 millioner tokens og 825 GB KV-cachedata. Redbook-rapporten viser, at gennemløbet steg fra 0,19 til 4,26 forespørgsler i sekundet, mens den samlede behandlingstid faldt fra 1.048,56 til 46,94 sekunder. Cachen var tom ved testens start, så gennemsnittet for hele kørslen omfatter en koldstartsperiode, mens genbrugen blev opbygget.

I en test med forstyrrelser fra andre brugere genererede fire andre klienter 200 GB/s konkurrerende netværks-I/O. Det cachelagrede system opretholdt 3,6 forespørgsler i sekundet og behandlede 200 forespørgsler på 55,56 sekunder. Redbook beskriver dette som et fald i gennemløbet på 18 % i forhold til resultatet med cache på et netværk uden forstyrrelser.

Alle inferensmålinger blev foretaget fra én Supermicro-GPU-klientknude med fire NVIDIA RTX PRO 6000-GPU’er, som var forbundet til en otteknuders Petascale-lagerklynge. Softwarestakken omfattede Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf og modellen openai/gpt-oss-120b. Cachelagene i GPU-hukommelsen og systemets DRAM var deaktiveret for at isolere det delte G4-lag.

Netværkskapacitet og dimensionering af udrulningen

Testens spine-leaf-netværk bestod af tre Spectrum-X SN5600-switche. Redbook rapporterer en båndbredde på op til 80 GB/s mod klienterne, mens lagersystemet med otte knuder opnåede en læsegennemstrømning på op til 315 GB/s. Det betyder, at klientnetværket – snarere end lagerlagets fulde læsekapacitet – er den begrænsende faktor i konfigurationen.

Redbooks dimensioneringseksempler bruger fire lagerknuder til små proof-of-concept-udrulninger, otte til den testede mellemstore konfiguration og 16 eller flere til store AI-fabrikker. Kapacitet, båndbredde, samtidighed, modelstørrelse og arbejdsbelastning har alle betydning for, hvilken udformning der er passende. Supermicro oplyser, at virksomhedens tjenester til integration af racks på fabrikken og udrulning på stedet kan reducere udrulningstiden fra uger til dage.

Lanceringen samler en tidligere dokumenteret og i fællesskab valideret arkitektur, der er klar til udrulning, men gevinsterne gælder for en bestemt model, promptblanding, grad af samtidighed og netværksopsætning. Det centrale spørgsmål ved udrulningen er, om lagerkapaciteten og klientbåndbredden er afstemt efter det faktiske behov for genbrug af kontekst: Yderligere læsekapacitet på lageret kan ikke forbedre inferensen, hvis klientnetværket ikke kan levere den.