合作伙伴
SambaNova携手Intel GPU与SN50,打造风冷AI推理系统

要点SambaNova将推理拆分,使英特尔GPU处理预填充,而其RDU处理内存受限的解码。
查看更多
- SambaNova将推理拆分,使英特尔GPU处理预填充,而其RDU处理内存受限的解码。
- 标准以太网和开放服务软件连接这两个加速器池,无需专有互连。
- 风冷设计面向无法进行液冷改造的棕地数据中心。
SambaNova Systems于2026年11月15日宣布,该公司与Intel在SuperComputing 2026上展示了一套风冷AI推理系统:使用四块Intel GPU D-Series加速器处理提示词,并通过SambaRack SN50生成词元,运行的是GLM-5.3。
该系统将推理分为预填充和解码两个阶段:预填充负责处理输入提示词并构建键值(KV)缓存,解码则负责生成输出词元。Intel硬件负责计算密集型的预填充,而SambaNova第五代可重构数据流单元(RDU)负责内存密集型的解码。SambaNova将演示中展示的系统定位为一种设计方案,客户未来可将其部署在现有数据中心。
为推理的不同阶段配置不同硬件
这次演示的规模远小于Intel的参考配置。SambaNova介绍称,其D-Series参考机架配备80块GPU,峰值FP4算力为208 petaflops,内存容量则根据配置在12 TB至38 TB之间。这些数据描述的是规模更大的预填充设计,并非SuperComputing演示系统的性能测量结果。
Intel的D270产品规格列明,这款风冷GPU的功耗为350 W,配备32个Xe3P核心和256个XMX矩阵引擎,支持标准PCIe 5.0,每张卡最多配备480 GB LPDDR5X内存。其标准外形规格旨在适配现有服务器,无需专有网络或定制系统。
每台SambaRack SN50配备16个RDU,推理时通常需要20 kW的功率。最多可将16台机架作为一个整体运行,配备多达256个RDU,并将工作负载分散到功耗较低的机架上。SambaNova表示,其数据流架构会让模型运算在芯片之间接续执行,而不是在不同GPU内核之间将数据送回内存,从而减少词元生成过程中的内存流量和内核重新启动开销。
开放软件连接两类硬件资源池
NVIDIA Dynamo位于两类加速器资源池的前端,旨在将每个请求路由至已持有其缓存上下文的硬件。vLLM同时为Intel预填充路径和SN50解码路径提供服务;NIXL则通过标准RoCEv2以太网,利用UCX/RDMA传输KV缓存数据。因此,两类硬件之间的交接可以使用成熟的以太网架构,而无需依赖专有互连。
SN50会将先前提示词中的KV前缀保留在连接的DDR内存中,同时利用芯片上的SRAM和HBM支持正在进行的解码。当智能体返回某段对话或共享上下文时,具备缓存感知能力的路由机制可以将请求发送到保存该前缀的SN50上,因此只有新增内容需要经过GPU预填充,跨网络传输的KV状态也会减少。SambaNova表示,这些缓存命中可以缩短首个词元生成时间,并释放GPU容量以处理新请求。该博文描述了这些益处,但没有报告这套组合演示的实测延迟或吞吐量结果。
在现有风冷场地扩展规模
这种拆分也让服务提供商能够分别扩展每个阶段。较长的提示词可能需要增加D-Series预填充容量,而生成较长输出的智能体可能需要增加SN50解码容量,无需按相同比例扩展另一类资源池。
这种灵活性面向的是难以在设施中部署液冷系统的运营商。Intel表示,D270采用标准PCIe外形规格,风冷功耗为350 W,设计上可安装在现有机架中,无需进行专门的液冷改造。结合SN50的机架级功耗特性,这套设计旨在现有风冷环境中增加推理容量。
这次演示的意义在于实现了集成:两种加速器架构通过常用的推理服务软件和标准以太网连接,可分别承担不同的推理阶段,并根据工作负载进行扩展。对于面临固定电力和散热限制的服务提供商而言,仍有待回答的问题是:生产工作负载能否充分实现所述的缓存和利用率优势,从而证明同时运行这两类资源池是值得的。












