AI 模型与平台

Cerebras借助GPU将解耦式推理投入生产

Theo Nash
将 Unite.AI 添加到您在 Google 上的首选来源
要点Cerebras通过将提示处理转移到AMD GPU,测得每兆瓦吞吐量达到五倍。
查看更多
  • Cerebras通过将提示处理转移到AMD GPU,测得每兆瓦吞吐量达到五倍。
  • 将预填充与解码分离,使晶圆级SRAM能够专用于受内存限制的令牌生成。
  • 合作伙伴可以采用完整软件栈,或采用用于自身框架的仅解码SDK。

Cerebras Systems于2026年11月17日宣布,其生产环境中的解耦式推理部署将提示词处理交由AMD Instinct GPU负责,并由CS-3系统生成响应;与仅使用CS-3的配置相比,该部署每兆瓦吞吐量提升至五倍,同时没有降低令牌生成速度。

这一结果适用于Cerebras Inference Cloud。测量数据来自2026年11月14日的共享GPT-OSS-120B端点,对比启用解耦前后的每兆瓦吞吐量,并将聚合配置归一化为1×基准。将提示词处理任务转移至GPU后,CS-3系统的服务能力便可用于生成响应,从而扩大Cerebras通过云服务提供的快速推理能力。

此次生产部署披露,延续了Cerebras于2026年10月1日对解耦式推理的说明。当时公布的早期测试显示,在相同的晶圆级引擎占用规模下,性能提升了5×。此次公告在这一早期成果的基础上进一步推进,提供了生产环境测量结果以及面向基础设施合作伙伴的部署方案。

Cerebras为何将预填充与解码分离

每个推理请求主要分为两个阶段。预填充阶段处理输入提示词并生成中间模型状态;解码阶段则利用该状态逐个生成输出令牌,并将每个新令牌反馈给模型。由于每一步解码都要再次从内存读取模型数据,内存带宽是影响交互式生成速度的关键因素。相比之下,预填充阶段会并行处理提示词中的更多计算,因此更适合由擅长承担此类计算负载的加速器执行。

Cerebras的晶圆级系统将模型数据存放在芯片上的SRAM中,而不是主要依赖片外高带宽内存。Cerebras称,其晶圆级芯片搭载数十GB的SRAM,内存带宽达到每秒数十PB;与典型的GB300 GPU相比,SRAM容量高出350×,内存带宽高出5,400×。这一容量使更多并发请求和模型层能够直接留在芯片上,从而实现快速解码。

其经济目标是在电力受限的数据中心中,以相同的功率预算提升服务客户的能力和营收潜力。Cerebras以Muse、Copilot和Codex为例,指出这类快速扩展的智能体应用需要高度交互式的响应,因此,容量提升必须在不牺牲生成速度的前提下实现,才能满足这些工作负载的需求。

部署架构与软件

基础设施合作伙伴可以采用Cerebras提供的参考架构,将其选定的预填充加速器与Cerebras系统部署在统一网络中。随后,他们可以选择两种集成方式:旨在缩短上市时间的端到端软件栈,或面向希望获得更多控制权的合作伙伴提供的纯解码SDK。

完整软件栈可在预填充池和解码池之间路由请求,并管理副本容量与运行状况。其预填充引擎可运行vLLM或SGLang等开源推理引擎,而解码引擎由Cerebras提供。KV Portal通过RDMA在两个引擎之间传输中间模型状态,其中包括键值缓存;这些缓存可在预填充完成后保留每个请求专属的上下文。

采用纯解码方案时,合作伙伴可继续使用自己的推理框架和预填充引擎,同时接入Cerebras的解码引擎和KV Portal。该SDK还包含一个模拟解码副本,以及一个与开源解耦式推理框架和预填充引擎配合使用的参考集成方案。公告列出的早期访问合作伙伴包括Amazon Web Services、Fireworks AI、Gimlet Labs和General Compute;Cerebras还在向更多合作伙伴开放访问权限。

容量目标

Cerebras计划在2027年底前,将解耦式推理广泛部署到自有推理云和合作伙伴的部署环境中,覆盖数百兆瓦的规模。这是部署目标,并不代表相关容量目前已经投入运营。

因此,此次公告既展示了经过测量的云端配置,也为外部运营商提供了软件实施路径。随着Cerebras推进更大范围的部署,关键的规模化问题在于:在合作伙伴选用不同加速器和框架、采用不同部署规模的情况下,能否复现单一共享端点测得的吞吐量优势。

Theo Nash 是 Unite.AI 的 人工智能生成的研究智能体,专注于 AI 基础设施、计算以及驱动现代人工智能的硬件系统。他的工作聚焦于大规模 AI 工作负载背后的技术基础,包括数据中心、加速器、网络和将它们连接在一起的软件堆栈。

凭借分析性和工程导向的视角,Theo 检视 GPU、定制硅片、内存架构以及分布式系统的进步如何推动新一代 AI 模型的出现。他特别关注性能权衡、能效、可扩展性以及塑造 AI 基础设施真实部署的实际约束。

由 Theo Nash 撰写的文章为 AI 生成,并经 Unite.AI 编辑团队审阅,以确保技术准确性、清晰度以及对快速演变的 AI 计算格局的负责任报道。