Supermicro introduceert gedeelde KV-cacheopslag voor AI met lange contexten

Supermicro kondigde op 5 november 2026 samen met IBM en NVIDIA een opslagoplossing voor KV-cache aan, ontworpen om herbruikbare context voor AI-inferentie op te slaan in gedeelde opslag buiten het GPU-geheugen. De bedrijven melden dat bij gezamenlijke tests de tijd tot het eerste token bij een prompt van 130.000 tokens tot 56 keer korter was.

Het aanbod combineert Supermicro Petascale-all-flashopslagservers met AMD EPYC 9005-processors, IBM Storage Scale-software, het Dynamo-inferentieframework van NVIDIA en Spectrum-X Ethernet-netwerken. Het is bedoeld voor toepassingen met meerdere gespreksbeurten en agentische toepassingen, codeerassistenten, multimodale AI en retrieval-augmented generation met lange contexten. Grote codebases, documenten, afbeeldingen en gespreksgeschiedenissen kunnen meer key-value-toestanden opleveren dan het GPU- en CPU-geheugen kan bewaren.

Context hergebruiken bij volgende verzoeken

Bij prefill wordt een prompt die in tokens is opgedeeld omgezet in de tussenliggende key-value-toestanden die het model gebruikt. Door deze toestanden op te slaan, kunnen latere verzoeken de context hergebruiken in plaats van die opnieuw te berekenen. De architectuur biedt een hoogbeschikbare opslaglaag waartoe GPU-nodes en clusters gedeelde toegang hebben, en maakt uitbreiding van de cachecapaciteit mogelijk zonder onderbrekingen.

Dynamo voegt cachebewuste routering toe, ontkoppelt prefill van decode en verplaatst gecachete blokken naar externe opslag via de KV Block Manager en de NIXL-overdrachtsbibliotheek. IBM Storage Scale Erasure Coding Edition levert de gedeelde G4-opslaglaag in de geheugenhiërarchie van NVIDIA.

Benchmarkresultaten en testomstandigheden

Een referentiearchitectuur van IBM Redbooks, gepubliceerd op 5 juni 2026 en voor het laatst bijgewerkt op 20 augustus 2026, vermeldt 32,14 seconden voor herberekening op de GPU bij 130.000 tokens, tegenover 0,570 seconden met de opslaggestuurde cache. Deze eerder vastgestelde metingen vormen de basis voor de lancering; het gaat dus niet om een nieuw onderzoek dat in november is gepubliceerd.

Bij een afzonderlijke test met 200 verzoeken werden 28 gelijktijdige verbindingen gebruikt, met 100 unieke prompts die samen 24 miljoen tokens en 825 GB aan KV-cachegegevens vertegenwoordigden. Volgens de Redbook steeg de doorvoer van 0,19 naar 4,26 verzoeken per seconde en daalde de totale verwerkingstijd van 1.048,56 naar 46,94 seconden. De cache was aanvankelijk leeg, waardoor het gemiddelde over de volledige testperiode ook een opstartfase omvat waarin het hergebruik geleidelijk toenam.

Tijdens een test met een storende buur genereerden vier andere clients 200 GB/s aan concurrerend netwerkverkeer. Het systeem met caching hield een snelheid van 3,6 verzoeken per seconde aan en verwerkte 200 verzoeken in 55,56 seconden. De Redbook omschrijft dit als een 18% lagere doorvoer dan bij het systeem met caching op een netwerk zonder concurrerend verkeer.

Alle inferentiemetingen zijn uitgevoerd met één Supermicro-GPU-clientnode met vier NVIDIA RTX PRO 6000-GPU’s, verbonden met een Petascale-opslagcluster van acht nodes. De softwarestack bestond uit Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf en het model openai/gpt-oss-120b. De cachelagen in het GPU-geheugen en het systeem-DRAM waren uitgeschakeld om de gedeelde G4-laag afzonderlijk te testen.

Netwerkcapaciteit en dimensionering van implementaties

Drie Spectrum-X SN5600-switches vormden het spine-leaf-netwerk van de test. Volgens de Redbook bedroeg de bandbreedte aan clientzijde maximaal 80 GB/s, terwijl het opslagsysteem met acht nodes een leesdoorvoer van maximaal 315 GB/s haalde. Daardoor vormde het netwerk aan clientzijde de beperkende factor in deze configuratie, en niet de maximale leescapaciteit van de opslaglaag.

In de dimensioneringsvoorbeelden van de Redbook worden vier opslagnodes gebruikt voor kleine proof-of-conceptimplementaties, acht voor de geteste middelgrote configuratie en 16 of meer voor grote AI-fabrieken. De juiste inrichting hangt af van de capaciteit, bandbreedte, gelijktijdigheid, modelgrootte en werklast. Supermicro zegt dat zijn diensten voor rackintegratie in de fabriek en implementatie op locatie de implementatietijd kunnen terugbrengen van weken tot dagen.

Met de lancering wordt een eerder gedocumenteerde, gezamenlijk gevalideerde architectuur als implementatiepakket aangeboden, maar de voordelen gelden voor een specifiek model, een specifieke mix van prompts, een bepaald niveau van gelijktijdigheid en een bepaald netwerk. De centrale vraag bij de implementatie is of de opslagcapaciteit en de bandbreedte aan clientzijde zijn afgestemd op de werkelijke vraag naar contexthergebruik: extra leesruimte in de opslag kan de inferentie niet verbeteren als het clientnetwerk die capaciteit niet kan benutten.