Supermicro 将打造并销售搭载 SambaNova 技术的 AI 推理系统

SambaNova 和 Supermicro 于2026 年 11 月 3 日宣布，Supermicro 将打造、销售并支持 AI 推理系统，在 NVIDIA GPU 与 SambaNova SN50 可重构数据流单元之间分配计算任务。双方初步计划部署 10,000 颗 SN50 芯片。

这些系统将纳入 Supermicro 的 Data Center Building Block Solutions 产品组合。Supermicro 将负责系统集成、测试、交付和支持，包括现场服务；SambaNova 工程师则将使模型在 SN50 上运行并完成调优，同时协助客户部署。因此，这项合作将服务器制造与服务渠道同异构加速器部署所需的模型工程工作结合起来。

推理为何由 GPU 和 RDU 分担

这种架构将推理分为两个阶段。在预填充阶段，NVIDIA GPU 处理输入提示词，这是一项受计算能力限制的任务。SN50 RDU 则负责解码，逐个生成响应词元；这一阶段受内存带宽限制。SambaNova 表示，将每个阶段交由适合的硬件处理，相比单独使用任一类硬件，可实现更快、更高效的推理。

SambaNova 在随附公告中将智能体式 AI 列为核心应用场景：智能体可能需要多次调用大型语言模型，调用次数可达数千次，每次调用可能耗时数分钟，而智能体工作负载的大部分时间都花在解码上。因此，词元生成会成为智能体采取下一步行动的关键环节。两家公司因而将解码视为一项独立的基础设施问题，计划通过增加 RDU 来加快响应，同时继续由 GPU 处理提示词。

深入了解 SN50 的设计

SN50 是 SambaNova 的第五代 RDU。其官方数据手册列出的规格包括台积电 5 纳米制程、432 MB 片上 SRAM 和 64 GB HBM2E，DDR5 则构成第三层内存。该芯片采用 SambaNova 的可重构数据流架构，专为受内存带宽限制的解码阶段设计，而非面向通用加速器工作负载。

SambaNova 的产品文档称，该设计能够提升推理速度和吞吐量，并改善能效。各项操作被串联成连续的数据流，从而减少重复的内存传输，以及每个阶段重新启动任务所带来的开销。各层内存也各有用途：SRAM 将频繁访问的本地数据保存在靠近计算单元的位置；HBM2E 存放正在使用的模型权重和热 KV 缓存；DDR5 则用于提示词缓存、更大的模型池以及冷 KV 缓存。

SambaNova 表示，SN50 最多可扩展至分布在多个机架中的 256 个 RDU，适用于交互式智能体、编程助手及其他多步骤推理工作负载，也包括需要在多个模型之间切换的应用。多机架设计与双方按机架部署的合作计划相契合：Supermicro 将把 RDU 和 GPU 集成到系统中，并负责验证和支持这些系统。

渠道推广与数据中心限制

客户将能够通过 Supermicro 购买 SN50 RDU 和 GPU，采购渠道与其他 AI 基础设施相同。推广将从 NeoClouds 和主权云服务商开始，之后扩展至在自有数据中心运行 AI 的企业。这种分阶段部署方式先面向云运营商，随后将相同的 GPU-RDU 组合架构引入企业设施。

供电和散热是部署方案的关键考量。两家公司表示，SN50 能以高速和高吞吐量运行大型模型，同时无需极高的机架功率密度，因此更容易部署在现有数据中心。这种功率特性也支持双方提出的改造部署方案：RDU 旨在为运营商已经在使用的设施增加容量。

两家公司还表示，增加 RDU 负责解码，可在不必等待受供电和散热条件限制的新设施建成的情况下提升推理容量，同时延长已部署 GPU 的使用寿命。因此，该方案将新增容量与运营商现有的设施和 GPU 联系起来。

SambaNova 和 Supermicro 预计，这项合作将在 2027 年帮助实现远超原本可能达到的高性能推理容量。该计划的意义在于将专用于解码的硬件与 Supermicro 的部署渠道结合起来。对于面临供电和散热限制的运营商而言，尚待观察的是，计划部署的 RDU 能否在现有设施内，按两家公司预期的规模增加有效推理容量。