Partnerství
SambaNova spojuje GPU Intel s SN50 pro vzduchem chlazenou inferenci AI

Klíčové bodySambaNova rozděluje inferenci tak, že GPU Intel zpracovávají prefill, zatímco jeho RDU…
Zobrazit více
- SambaNova rozděluje inferenci tak, že GPU Intel zpracovávají prefill, zatímco jeho RDU zpracovávají dekódování vázané na paměť.
- Standardní Ethernet a otevřený software pro obsluhu propojují oba fondy akcelerátorů bez proprietárních propojení.
- Vzduchem chlazený design cílí na stávající datová centra, kde jsou dodatečné úpravy pro kapalinové chlazení nepraktické.
Společnost SambaNova Systems oznámila 15. listopadu 2026, že spolu s Intelem předvedla na konferenci SuperComputing 2026 systém pro vzduchem chlazenou inferenci AI, který zpracovával model GLM-5.3 pomocí čtyř akcelerátorů Intel GPU D-Series pro zpracování promptů a zařízení SambaRack SN50 pro generování tokenů.
Systém rozděluje inferenci na fázi prefill, která zpracovává příchozí prompt a vytváří jeho mezipaměť klíčů a hodnot (KV), a fázi dekódování, při níž se generují výstupní tokeny. Hardware Intelu zajišťuje výpočetně náročný prefill, zatímco pátá generace jednotek Reconfigurable Dataflow Units (RDU) od SambaNova zajišťuje dekódování, při němž je úzkým hrdlem paměť. SambaNova představuje zaznamenaný systém jako návrh, který budou zákazníci moci nasadit ve stávajících datových centrech.
Odlišný hardware pro každou fázi inference
Předvedená sestava je mnohem menší než referenční konfigurace Intelu. SambaNova popisuje referenční rack D-Series s 80 GPU, který poskytuje špičkový výpočetní výkon 208 petaflopů ve formátu FP4 a podle konfigurace disponuje pamětí o kapacitě 12 až 38 TB. Tyto údaje se vztahují k rozsáhlejšímu návrhu pro fázi prefill; nejde o měření výkonu sestavy předvedené na konferenci SuperComputing.
Technické specifikace produktu D270 od Intelu uvádějí vzduchem chlazenou GPU s příkonem 350 W, 32 jádry Xe3P, 256 maticovými jednotkami XMX, standardním rozhraním PCIe 5.0 a až 480 GB paměti LPDDR5X na kartu. Standardní provedení má fungovat ve stávajících serverech bez proprietární síťové infrastruktury nebo systémů vyrobených na zakázku.
Každý systém SambaRack SN50 obsahuje 16 jednotek RDU a při inferenci obvykle vyžaduje příkon 20 kW. Až 16 racků může fungovat jako jeden celek s maximálně 256 jednotkami RDU, takže se úloha rozloží mezi racky s nižším příkonem. SambaNova uvádí, že její architektura toku dat řetězí operace modelu napříč čipy, místo aby mezi jednotlivými jádry GPU vracela data do paměti, čímž při generování tokenů omezuje přenosy dat v paměti i režii opětovného spouštění jader.
Otevřený software propojuje hardwarové skupiny
NVIDIA Dynamo stojí před oběma skupinami akcelerátorů a je navrženo tak, aby směrovalo každý požadavek k hardwaru, který již uchovává jeho kontext v mezipaměti. vLLM zajišťuje obsluhu jak cesty prefill na Intelu, tak cesty dekódování na SN50, zatímco NIXL přenáší data mezipaměti KV přes UCX/RDMA pomocí standardního ethernetového rozhraní RoCEv2. Předání dat tak může využívat zavedenou ethernetovou infrastrukturu, nikoli proprietární propojení mezi jednotlivými typy hardwaru.
SN50 uchovává prefixy KV z dřívějších promptů v připojené paměti DDR, zatímco SRAM na čipu a HBM podporují právě probíhající dekódování. Když se agent vrátí ke konverzaci nebo sdílenému kontextu, směrování zohledňující mezipaměť může požadavek odeslat do SN50, která daný prefix uchovává, takže přes GPU pro fázi prefill prochází pouze nový obsah a po síti se přenáší méně dat KV. SambaNova uvádí, že tyto zásahy do mezipaměti zkracují dobu do vygenerování prvního tokenu a uvolňují kapacitu GPU pro nové požadavky. Příspěvek popisuje tyto přínosy, neuvádí však naměřené výsledky latence ani propustnosti předvedené kombinované sestavy.
Škálování ve stávajících vzduchem chlazených provozech
Toto rozdělení také umožňuje poskytovatelům nezávisle rozšiřovat kapacitu každé fáze. Delší prompty mohou vyžadovat větší kapacitu D-Series pro fázi prefill, zatímco agenti generující delší výstupy mohou potřebovat další kapacitu SN50 pro dekódování, aniž by bylo nutné úměrně rozšiřovat i druhou skupinu.
Tato flexibilita je určena provozovatelům, jejichž zařízení nemohou snadno pojmout systémy chlazené kapalinou. Intel uvádí, že standardní provedení D270 pro PCIe a profil vzduchového chlazení s příkonem 350 W jsou navrženy pro stávající racky bez nutnosti specializované přestavby na kapalinové chlazení. V kombinaci s příkonem SN50 na úrovni racku má tento návrh umožnit zvýšit kapacitu pro inferenci ve stávajících prostředích se vzduchovým chlazením.
Význam předvedené sestavy spočívá v integraci: dvě architektury akcelerátorů lze propojit běžně používaným softwarem pro obsluhu modelů a standardním ethernetovým rozhraním, přiřadit je různým fázím inference a škálovat podle konkrétní úlohy. Pro poskytovatele, kteří se potýkají s pevně danými limity napájení a chlazení, zůstává otázkou, zda provozní úlohy skutečně přinesou dostatečné přínosy popsaného ukládání do mezipaměti a využití zdrojů, aby se vyplatilo provozovat obě skupiny.












