Partnerskap
SambaNova kombinerar Intel-GPU:er med SN50 för luftkyld AI-inferens

Viktiga punkterSambaNova delar upp inferensen så att Intel-GPU:er hanterar prefill medan dess RDU:er…
Visa mer
- SambaNova delar upp inferensen så att Intel-GPU:er hanterar prefill medan dess RDU:er hanterar minnesbundna decode.
- Standard Ethernet och öppen serveringsprogramvara kopplar samman de två acceleratorklasserna utan proprietära interconnect.
- Den luftkylda designen riktar sig mot befintliga datacenter där eftermontering av vätskekylning är opraktisk.
SambaNova Systems meddelade den 15 november 2026 att företaget och Intel hade demonstrerat ett luftkylt AI-inferenssystem på SuperComputing 2026. Systemet körde GLM-5.3 på fyra Intel-GPU-acceleratorer i D-Series för promptbearbetning och på en SambaRack SN50 för tokengenerering.
Systemet delar upp inferensen i prefill, som bearbetar en inkommande prompt och bygger upp dess nyckel-värde-cache (KV-cache), och avkodning, som genererar utdata-token. Intels maskinvara hanterar den beräkningsintensiva prefill-fasen, medan SambaNovas femte generation av omkonfigurerbara dataflödesenheter (RDU:er) hanterar den minnesbundna avkodningen. SambaNova presenterar det inspelade systemet som en lösning som kunder kommer att kunna driftsätta i befintliga datacenter.
Olika maskinvara för varje inferensfas
Demonstrationen är betydligt mindre än Intels referenskonfiguration. SambaNova beskriver ett D-Series-referensrack med 80 GPU:er, som levererar en maximal FP4-beräkningskapacitet på 208 petaflops och har 12 TB till 38 TB minne beroende på konfiguration. Dessa siffror avser den större prefill-lösningen; de är inte prestandamätningar från SuperComputing-konfigurationen.
I Intels produktspecifikationer för D270 anges en luftkyld GPU på 350 W med 32 Xe3P-kärnor, 256 XMX-matrisenheter, standardiserad PCIe 5.0 och upp till 480 GB LPDDR5X-minne per kort. Standardformatet är avsett att fungera i befintliga servrar utan proprietära nätverkslösningar eller specialbyggda system.
Varje SambaRack SN50 innehåller 16 RDU:er och kräver vanligtvis 20 kW för inferens. Upp till 16 rack kan fungera som en enhet med sammanlagt upp till 256 RDU:er, vilket fördelar arbetsbelastningen över rack med lägre effektbehov. SambaNova uppger att företagets dataflödesarkitektur kedjar samman modelloperationer över flera chip i stället för att skicka tillbaka data till minnet mellan separata GPU-kärnor. Det minskar minnestrafiken och omstartskostnaderna för kärnor under tokengenereringen.
Öppen programvara kopplar samman maskinvarupoolerna
NVIDIA Dynamo fungerar som ett lager framför de två acceleratorpoolerna och är utformat för att styra varje förfrågan till den maskinvara som redan har den aktuella kontexten i cacheminnet. vLLM hanterar både Intel-systemets prefill-flöde och SN50-systemets avkodningsflöde, medan NIXL överför KV-cachedata via UCX/RDMA med standardiserat RoCEv2-Ethernet. Överföringen kan därmed ske via ett etablerat Ethernet-nät i stället för en proprietär sammankoppling mellan de olika maskinvarutyperna.
SN50 behåller KV-prefix från tidigare promptar i anslutet DDR-minne, medan SRAM och HBM på chipet stöder aktiv avkodning. När en agent återvänder till en konversation eller delad kontext kan cachemedveten dirigering skicka förfrågan till den SN50-enhet som har prefixet, så att bara nytt material går igenom GPU-systemets prefill-fas och mindre KV-data behöver skickas över nätverket. SambaNova uppger att dessa cacheträffar förkortar tiden till den första tokenen och frigör GPU-kapacitet för nya förfrågningar. Inlägget beskriver fördelarna utan att redovisa uppmätta resultat för latens eller genomströmning i den kombinerade demonstrationen.
Skalning på befintliga luftkylda anläggningar
Uppdelningen gör det också möjligt för leverantörer att utöka kapaciteten i varje fas oberoende av de andra. Längre promptar kan kräva mer D-Series-kapacitet för prefill, medan agenter som genererar längre utdata kan behöva ytterligare SN50-kapacitet för avkodning, utan att den andra poolen behöver byggas ut i motsvarande grad.
Denna flexibilitet riktar sig till operatörer vars anläggningar inte enkelt kan anpassas för vätskekylda system. Intel uppger att D270:s standardiserade PCIe-format och luftkylda effektprofil på 350 W är utformade för befintliga rack utan omfattande efterinstallation av vätskekylning. Tillsammans med SN50:s effektprofil på racknivå är lösningen avsedd att öka inferenskapaciteten i etablerade luftkylda miljöer.
Demonstrationens betydelse ligger i integrationen: två acceleratorarkitekturer kan, med hjälp av vanligt förekommande serveringsprogramvara och standardiserat Ethernet, tilldelas olika inferensfaser och skalas efter arbetsbelastningen. För leverantörer som måste förhålla sig till fasta effekt- och kylgränser återstår frågan om produktionsarbetsbelastningar ger tillräckligt stor nytta av de beskrivna cache- och kapacitetsutnyttjandefördelarna för att motivera driften av båda poolerna.












