Supermicro uruchamia współdzieloną pamięć masową na pamięć podręczną KV dla AI z długim kontekstem

5 listopada 2026 r. Supermicro ogłosiło rozwiązanie pamięci masowej dla pamięci podręcznej KV, opracowane wspólnie z IBM i firmą NVIDIA. Ma ono przenosić wielokrotnie wykorzystywany kontekst wnioskowania AI do współdzielonej pamięci masowej, poza pamięć GPU. Firmy podają, że we wspólnych testach czas do pierwszego tokenu dla promptu o długości 130 000 tokenów był nawet 56 razy krótszy.

Oferta łączy serwery pamięci masowej Supermicro Petascale z całkowicie flashowymi nośnikami i procesorami AMD EPYC 9005, oprogramowanie IBM Storage Scale, środowisko wnioskowania Dynamo firmy NVIDIA oraz sieć Ethernet Spectrum-X. Jest przeznaczona do zastosowań wieloetapowych i agentowych, asystentów programowania, multimodalnej AI oraz generowania wspomaganego wyszukiwaniem z długim kontekstem. Duże bazy kodu, dokumenty, obrazy i historie rozmów mogą tworzyć więcej danych stanu klucz-wartość, niż są w stanie pomieścić pamięci GPU i CPU.

Ponowne wykorzystanie kontekstu w kolejnych żądaniach

Etap prefill przekształca prompt podzielony na tokeny w pośrednie stany klucz-wartość wykorzystywane przez model. Ich zachowanie pozwala kolejnym żądaniom ponownie wykorzystywać kontekst zamiast obliczać go od nowa. Architektura zapewnia wysoce dostępną warstwę pamięci masowej, do której wspólny dostęp mają węzły GPU i klastry, a także umożliwia zwiększanie pojemności pamięci podręcznej bez przerywania pracy.

Dynamo zapewnia routing uwzględniający pamięć podręczną, oddziela etap prefill od dekodowania oraz przenosi buforowane bloki za pomocą menedżera KV Block Manager i biblioteki transferu NIXL. IBM Storage Scale Erasure Coding Edition zapewnia współdzieloną warstwę pamięci masowej G4 w hierarchii pamięci NVIDIA.

Wyniki testów porównawczych i warunki testów

Opublikowana 5 czerwca 2026 r. i ostatnio zaktualizowana 20 sierpnia 2026 r. architektura referencyjna IBM Redbooks podaje, że ponowne obliczenie na GPU dla 130 000 tokenów zajmuje 32,14 sekundy, a użycie pamięci podręcznej opartej na pamięci masowej — 0,570 sekundy. Te wcześniejsze pomiary stanowią podstawę ogłoszenia; nie są wynikami nowego badania opublikowanego w listopadzie.

W osobnym teście obejmującym 200 żądań wykorzystano 28 równoczesnych połączeń i 100 unikatowych promptów, reprezentujących 24 miliony tokenów oraz 825 GB danych pamięci podręcznej KV. Według Redbook przepustowość wzrosła z 0,19 do 4,26 żądania na sekundę, a całkowity czas przetwarzania skrócił się z 1 048,56 do 46,94 sekundy. Pamięć podręczna była początkowo pusta, dlatego średnia dla całego testu uwzględnia okres rozruchu, w którym stopniowo rosła możliwość ponownego wykorzystania danych.

W teście z tzw. hałaśliwym sąsiadem czterech innych klientów generowało konkurencyjny ruch wejścia-wyjścia w sieci o przepustowości 200 GB/s. System korzystający z pamięci podręcznej utrzymał wydajność 3,6 żądania na sekundę i obsłużył 200 żądań w 55,56 sekundy. Redbook opisuje ten wynik jako spadek przepustowości o 18% w porównaniu z wynikiem systemu korzystającego z pamięci podręcznej przy nieobciążonej sieci.

Wszystkie pomiary wnioskowania wykonano na jednym węźle klienckim GPU firmy Supermicro z czterema układami NVIDIA RTX PRO 6000, połączonym z ośmiowęzłowym klastrem pamięci masowej Petascale. Wykorzystany stos oprogramowania obejmował Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf oraz model openai/gpt-oss-120b. Warstwy pamięci podręcznej w pamięci GPU i systemowej pamięci DRAM wyłączono, aby odizolować współdzieloną warstwę G4.

Zapas przepustowości sieci i dobór wielkości wdrożenia

Sieć szkieletowo-dostępowa w teście składała się z trzech przełączników Spectrum-X SN5600. Redbook podaje przepustowość do 80 GB/s po stronie klientów, podczas gdy ośmiowęzłowy system pamięci masowej osiągnął przepustowość odczytu do 315 GB/s. Ograniczeniem konfiguracji była więc sieć po stronie klienta, a nie pełna przepustowość odczytu warstwy pamięci masowej.

W przykładach doboru wielkości wdrożenia Redbook zaleca cztery węzły pamięci masowej w małych wdrożeniach weryfikujących koncepcję, osiem w testowanej konfiguracji średniej oraz co najmniej 16 w dużych fabrykach AI. Właściwy projekt zależy od pojemności, przepustowości, liczby równoczesnych połączeń, rozmiaru modelu i charakterystyki obciążenia. Supermicro informuje, że usługi fabrycznej integracji szaf rackowych i wdrożenia na miejscu mogą skrócić czas wdrożenia z tygodni do dni.

Ogłoszenie obejmuje przygotowaną do wdrożenia, wcześniej udokumentowaną i wspólnie zweryfikowaną architekturę, ale uzyskiwane korzyści zależą od konkretnego modelu, zestawu promptów, poziomu równoczesności i sieci. Kluczową kwestią przy wdrożeniu jest dopasowanie pojemności pamięci masowej i przepustowości po stronie klienta do rzeczywistego zapotrzebowania na ponowne wykorzystanie kontekstu: większy zapas przepustowości odczytu pamięci masowej nie poprawi wnioskowania, jeśli sieć kliencka nie będzie w stanie go zapewnić.