Supermicro uvádí sdílené úložiště mezipaměti KV pro AI s dlouhým kontextem

Společnost Supermicro oznámila řešení pro ukládání mezipaměti KV společně s IBM a společností NVIDIA dne 5. listopadu 2026. Řešení je navrženo tak, aby přesouvalo opakovaně využitelný kontext pro inferenci AI do sdíleného úložiště mimo paměť GPU. Podle společností společné testování ukázalo až 56krát kratší dobu do vygenerování prvního tokenu u promptu o délce 130 000 tokenů.

Nabídka spojuje all-flash úložné servery Petascale od společnosti Supermicro s procesory AMD EPYC 9005, software IBM Storage Scale, inferenční framework Dynamo od společnosti NVIDIA a ethernetové síťové prvky Spectrum-X. Je určena pro vícekolové a agentní aplikace, asistenty pro programování, multimodální AI a generování s rozšířeným vyhledáváním (RAG) a dlouhým kontextem. Velké zdrojové kódy, dokumenty, obrázky a historie konverzací mohou vytvářet více stavů klíč–hodnota, než kolik jich dokáže uchovat paměť GPU a CPU.

Opakované využití kontextu napříč požadavky

Při předzpracování se prompt převedený na tokeny mění na mezilehlé stavy klíč–hodnota, které model využívá. Jejich trvalé ukládání umožňuje, aby pozdější požadavky znovu využily kontext namísto jeho opětovného výpočtu. Architektura poskytuje vysoce dostupnou úložnou vrstvu se sdíleným přístupem napříč uzly a clustery GPU a umožňuje rozšiřovat kapacitu mezipaměti bez přerušení provozu.

Dynamo přidává směrování zohledňující mezipaměť, odděluje předzpracování od dekódování a pomocí svého správce bloků KV a knihovny pro přenos dat NIXL přesouvá bloky uložené v mezipaměti. IBM Storage Scale Erasure Coding Edition zajišťuje sdílenou úložnou vrstvu G4 v hierarchii paměti NVIDIA.

Výsledky benchmarků a podmínky testování

Referenční architektura IBM Redbooks, zveřejněná 5. června 2026 a naposledy aktualizovaná 20. srpna 2026, uvádí dobu 32,14 sekundy pro opětovný výpočet na GPU při 130 000 tokenech oproti 0,570 sekundy při použití mezipaměti s úložištěm. Tato již existující měření jsou podkladem pro uvedení řešení, nejde však o nově zveřejněnou listopadovou studii.

V samostatném běhu s 200 požadavky bylo použito 28 souběžných připojení a 100 jedinečných promptů představujících 24 milionů tokenů a 825 GB dat mezipaměti KV. Publikace Redbook uvádí, že propustnost vzrostla z 0,19 na 4,26 požadavku za sekundu a celková doba zpracování klesla z 1 048,56 na 46,94 sekundy. Mezipaměť byla zpočátku prázdná, takže průměr za celý běh zahrnuje období počátečního náběhu, během něhož se postupně zvyšoval podíl opakovaně využitého kontextu.

Při testu s rušením způsobeným souběžnou zátěží generovaly čtyři další klienty konkurenční síťový provoz o rychlosti 200 GB/s. Systém využívající mezipaměť udržel výkon 3,6 požadavku za sekundu a zpracoval 200 požadavků za 55,56 sekundy. Publikace Redbook tento výsledek popisuje jako 18% pokles propustnosti oproti výsledku systému s mezipamětí při nezatížené síti.

Všechna měření inference pocházejí z jednoho klientského uzlu Supermicro s GPU, vybaveného čtyřmi GPU NVIDIA RTX PRO 6000 a připojeného k osmiuzlovému úložnému clusteru Petascale. Softwarová sestava používala Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf a model openai/gpt-oss-120b. Úložné vrstvy mezipaměti v paměti GPU i systémové paměti DRAM byly vypnuté, aby bylo možné izolovat sdílenou vrstvu G4.

Síťová rezerva a dimenzování nasazení

Páteřní a přístupovou část síťové topologie testu tvořily tři přepínače Spectrum-X SN5600. Publikace Redbook uvádí šířku pásma směrem ke klientům až 80 GB/s, zatímco osmiuzlový úložný systém dosahoval propustnosti čtení až 315 GB/s. Omezením konfigurace tak byla klientská síť, nikoli plná kapacita úložiště pro čtení.

Příklady dimenzování v publikaci Redbook počítají se čtyřmi úložnými uzly pro menší nasazení v rámci ověření koncepce, s osmi uzly pro testovanou konfiguraci střední velikosti a se 16 nebo více uzly pro rozsáhlé továrny na AI. Vhodný návrh ovlivňují kapacita, šířka pásma, souběžnost, velikost modelu i pracovní zátěž. Společnost Supermicro uvádí, že její služby integrace racků ve výrobě a nasazení přímo na místě mohou zkrátit dobu nasazení z týdnů na dny.

Toto uvedení na trh připravuje k nasazení architekturu, která byla již dříve zdokumentována a společně ověřena, její přínosy však závisí na konkrétním modelu, skladbě promptů, míře souběžnosti a síti. Klíčovou otázkou při nasazení je, zda kapacita úložiště a šířka pásma na straně klienta odpovídají skutečné potřebě opakovaného využívání kontextu: větší rezerva pro čtení z úložiště nemůže zlepšit inferenci, pokud klientská síť nedokáže tato data přenést.