Partnerstwa
SambaNova łączy układy GPU Intel z SN50, by chłodzić wnioskowanie AI powietrzem

Kluczowe punktySambaNova dzieli wnioskowanie tak, że procesory graficzne Intel obsługują prefill…
Zobacz więcej
- SambaNova dzieli wnioskowanie tak, że procesory graficzne Intel obsługują prefill, podczas gdy jego RDU obsługują ograniczone pamięcią dekodowanie.
- Standardowy Ethernet i otwarte oprogramowanie serwujące łączą dwie pule akceleratorów bez zastrzeżonych połączeń.
- Chłodzona powietrzem konstrukcja jest przeznaczona dla istniejących centrów danych, w których modernizacja do chłodzenia cieczą jest niepraktyczna.
SambaNova Systems ogłosiła 15 listopada 2026 r., że wspólnie z Intelem zaprezentowała podczas SuperComputing 2026 chłodzony powietrzem system do wnioskowania AI, który uruchamiał GLM-5.3 na czterech akceleratorach Intel GPU z serii D-Series, obsługujących przetwarzanie promptów, oraz na SambaRack SN50, który generował tokeny.
System dzieli wnioskowanie na etap prefill, który przetwarza otrzymany prompt i tworzy pamięć podręczną klucz-wartość (KV), oraz etap dekodowania, podczas którego generowane są tokeny wyjściowe. Sprzęt Intela obsługuje wymagający obliczeniowo etap prefill, a piąta generacja układów SambaNova Reconfigurable Dataflow Units (RDU) odpowiada za dekodowanie, które wymaga dużej przepustowości pamięci. SambaNova przedstawia nagrany system jako rozwiązanie, które klienci będą mogli wdrożyć w istniejących centrach danych.
Różny sprzęt dla poszczególnych etapów wnioskowania
Prezentacja obejmowała znacznie mniejszą konfigurację niż referencyjna konfiguracja Intela. SambaNova opisuje referencyjną szafę D-Series z 80 układami GPU, zapewniającą szczytową moc obliczeniową FP4 wynoszącą 208 petaflopów oraz od 12 TB do 38 TB pamięci, zależnie od konfiguracji. Wartości te dotyczą większej konfiguracji do obsługi etapu prefill; nie są wynikami pomiarów wydajności uzyskanymi podczas prezentacji na SuperComputing.
W specyfikacji produktu D270 Intel podaje, że jest to chłodzony powietrzem układ GPU o mocy 350 W, wyposażony w 32 rdzenie Xe3P, 256 silników macierzowych XMX, standardowy interfejs PCIe 5.0 oraz maksymalnie 480 GB pamięci LPDDR5X na kartę. Standardowy format ma umożliwiać instalację w istniejących serwerach bez zastrzeżonych rozwiązań sieciowych ani niestandardowych systemów.
Każda szafa SambaRack SN50 zawiera 16 układów RDU i podczas wnioskowania zwykle wymaga 20 kW mocy. Maksymalnie 16 szaf może pracować jako jedna jednostka, obejmująca do 256 układów RDU, co pozwala rozłożyć obciążenie między szafy o niższym poborze mocy. SambaNova twierdzi, że jej architektura przepływu danych łączy operacje modelu między układami, zamiast przesyłać dane z powrotem do pamięci między oddzielnymi jądrami GPU. Podczas generowania tokenów ogranicza to ruch danych w pamięci i narzut związany z ponownym uruchamianiem jąder.
Otwarte oprogramowanie łączy pule sprzętowe
NVIDIA Dynamo działa przed dwiema pulami akceleratorów i ma kierować każde żądanie do sprzętu, który przechowuje już jego kontekst w pamięci podręcznej. vLLM obsługuje zarówno ścieżkę prefill na układach Intel, jak i ścieżkę dekodowania na SN50, a NIXL przesyła dane pamięci podręcznej KV za pośrednictwem UCX/RDMA, korzystając ze standardowej sieci Ethernet RoCEv2. Dzięki temu do przekazywania danych można użyć sprawdzonej infrastruktury Ethernet zamiast zastrzeżonego połączenia między różnymi typami sprzętu.
SN50 przechowuje prefiksy KV z wcześniejszych promptów w podłączonej pamięci DDR, a pamięci SRAM i HBM na układzie obsługują aktywne dekodowanie. Gdy agent wraca do rozmowy lub współdzielonego kontekstu, routing uwzględniający pamięć podręczną może skierować żądanie do SN50 przechowującego dany prefiks. Dzięki temu przez etap prefill na GPU przechodzą tylko nowe informacje, a przez sieć przesyłanych jest mniej danych stanu KV. SambaNova twierdzi, że trafienia w pamięć podręczną skracają czas do wygenerowania pierwszego tokenu i zwalniają zasoby GPU na potrzeby nowych żądań. Wpis opisuje te korzyści, ale nie podaje pomiarów opóźnień ani przepustowości dla połączonej prezentowanej konfiguracji.
Rozbudowa w istniejących obiektach chłodzonych powietrzem
Takie rozdzielenie pozwala też dostawcom niezależnie zwiększać zasoby dla każdego etapu. Dłuższe prompty mogą wymagać większej mocy obliczeniowej D-Series do obsługi etapu prefill, a agenci generujący dłuższe odpowiedzi — większej mocy obliczeniowej SN50 do dekodowania, bez konieczności proporcjonalnego zwiększania zasobów drugiej puli.
Takie rozwiązanie jest przeznaczone dla operatorów, których obiekty nie mogą łatwo pomieścić systemów chłodzonych cieczą. Intel twierdzi, że standardowy format D270 zgodny z PCIe i profil chłodzenia powietrzem przy mocy 350 W zostały zaprojektowane z myślą o istniejących szafach, bez konieczności przeprowadzania specjalistycznej modernizacji układu chłodzenia cieczą. W połączeniu z charakterystyką poboru mocy SN50 na poziomie szafy rozwiązanie ma zwiększać możliwości wnioskowania w istniejących środowiskach chłodzonych powietrzem.
Znaczenie prezentacji tkwi w integracji: dwie architektury akceleratorów, połączone za pomocą powszechnie używanego oprogramowania do obsługi modeli i standardowej sieci Ethernet, mogą obsługiwać różne etapy wnioskowania, a ich zasoby można skalować zależnie od obciążenia. Dostawcy, którzy muszą zmagać się ze stałymi limitami mocy i chłodzenia, wciąż muszą odpowiedzieć na pytanie, czy w rzeczywistych obciążeniach korzyści z buforowania i wykorzystania zasobów będą wystarczające, by uzasadnić utrzymywanie obu pul.












