AI 模型与平台

2027 年的 AI 算力:推理成本将重塑数据中心

Theo Nash
将 Unite.AI 添加到您在 Google 上的首选来源
A cutaway data center with a central liquid-cooled accelerator rack, visible copper cooling manifolds and carefully organized optical interconnects; a subtle contrast between dense compute modules and the power infrastructure that supports them.
要点软件升级可以在固定延迟目标内,使已安装的加速器吞吐量提升30%。
查看更多
  • 软件升级可以在固定延迟目标内,使已安装的加速器吞吐量提升30%。
  • 只有当流量形态足以证明增加的网络和运营复杂性合理时,将预填充与解码分离才值得。
  • 一旦比较纳入迁移和运营成本,替代加速器可能会在选定的服务负载中胜出。

数据中心里即使装满了昂贵的加速器,可用算力仍可能不足。有些芯片在等待内存。另一些芯片正在处理无法达到延迟目标的请求。基准测试结果可能十分出色,服务账单却仍在不断攀升。拥有硬件只是经济问题的起点。

到了 2027 年,算力竞争将更多围绕每套已部署系统在客户实际要求的条件下能够提供什么展开。这使人们更加关注服务软件、工作负载分配,以及获得可接受答案的成本。

基准线已经在快速变化。MLPerf Inference v6.1于 2026 年 9 月发布,新增了端到端检索增强生成和边缘智能体工作负载。它还介绍了向以 API 为中心的 Endpoints 套件过渡的情况。这表明基准测试设计者正在适应多阶段工作负载,并不意味着每种 AI 应用都能用单一的基准测试分数来衡量。

与此同时,IEA 的2026 年能源分析指出,单项任务能效提升与需求更高的应用不断增长之间存在矛盾。报告称数据中心用电量正在上升,并强调工作负载变化带来的不确定性。我据此推断,单位成本下降将加剧系统设计方面的竞争,而电力和内存仍将是重要制约因素。基础设施总账单不会因此自动下降。

1. 软件将释放已部署硬件的又一波显著增益

下一次算力提升可能来自软件部署。调度、内存管理和执行内核可以改变已部署加速器完成的工作量,而无需更换芯片本身。我预计,2027 年将出现一项可复现的结果:在此处定义的固定硬件和模型上,吞吐量至少提高 30%,同时仍满足延迟目标。其商业意义在于,运营方已经购买的硬件将能提供更多可用算力。

其经济吸引力显而易见。无论调度器是否能高效利用,已部署硬件都有相应的算力成本。改进批处理、内核执行、内存分配和请求路由,可以在不增加加速器的情况下提高有效输出量。如果新增机架还需要更多电力、冷却或网络容量,这种做法尤其有价值。

最初的PagedAttention 研究说明了为什么内存管理也应纳入性能讨论:对键值缓存的处理效率低下,会浪费算力并限制批处理规模。不能把该研究的历史结果直接套用到当前系统,视为普遍适用的加速幅度。它揭示了增益产生的机制,而不是下一波增益的大小。

当代证据表明,系统仍有提升空间。在v6.1 提交结果分析中,AMD 报告称,在不同基准测试轮次之间,同一 MI355X 硬件实现了更高吞吐量;其中,在其指定的 GPT-OSS-120B 配置下,Server 项提升了 38%。这项供应商对比使用的模型与我预测所针对的模型不同。它支持软件成熟度仍然重要这一观点,但不能证明 Llama 3.1 8B 一定能提升 30%。

这项预测特意固定了工作负载。如果切换到更小的模型、降低质量或放宽延迟目标后,某个系统生成的令牌更多,那么讲述的就是另一种经济故事。测试必须固定这些选择。AMD 发布的复现步骤提供了一个有用范例,展示了如何公开软件和配置细节;不过,供应商提供的步骤仍需独立审查。

2027 年值得关注的方面

关注这样的服务基准测试:在模型、答案质量和响应时间要求保持不变的情况下,已部署硬件的吞吐量有所提升。公开配置和延迟分布将有助于评估这些增益。若结果是通过更小的模型、未经质量检查的低精度设置或放宽延迟目标取得的,则支持的是另一种主张。

这对企业意味着什么

基础设施采购方在决定增加加速器之前,应先衡量现有服务技术栈的性能余量。应比较软件升级、调优和运维支持的成本与它们可能释放的算力。扩容决策应以符合应用服务目标的已接受请求为依据,避免较高的标称令牌速率掩盖较差的客户体验。

2. 只有符合特定工作负载的经济效益,解耦才有价值

读取长提示词和生成答案,对服务系统提出的要求各不相同。把两项任务放在同一套硬件上固然方便,但这种便利可能导致昂贵资源与实际工作不匹配。2027 年,将有具名运营方展示,在何种情况下分离这两个阶段能显著提高每加速器小时处理的请求数。结果取决于流量形态;适合某项服务的架构,对另一项服务而言可能只是多此一举。

预填充处理输入上下文。解码逐个生成答案词元。二者对资源的需求和延迟目标不同,这意味着共用资源池可能造成相互干扰,或迫使系统过度配置。将两个阶段拆分后即可分别分配资源,但也会增加在两个阶段之间迁移状态的成本。

DistServe围绕有效吞吐量(即在服务延迟约束内完成的工作量)对这种权衡进行了系统阐述。其报告的性能提升来自特定的评估工作负载和条件,不应被视为适用于所有生产集群的通用倍增系数。网络拓扑、上下文长度、输出长度和流量变化,决定了拆分阶段能否带来足以抵偿成本的收益。

到2026年,这已不再只是研究设想。NVIDIA Dynamo包含用于分布式推理的规划器、缓存感知路由和传输组件。NVIDIA 的多模态解耦分析之所以有参考价值,部分原因在于它指出了收益会缩小或某种拓扑表现不佳的情形。供应商如果说明哪些情形会导致效果不佳,就能为买家提供比单一最高加速比更有用的评估起点。

我的预测有一个前提:合适的工作负载必须达到足够的规模。较长的提示和不均衡的需求可能造成足够大的调度摩擦,从而使更复杂的服务架构变得合理。对于规模较小且需求稳定的工作负载,保持系统简单可能更经济。因此,拆分阶段是一项容量管理决策,其软件和运维成本必须能够通过相应收益收回。

2027 年值得关注的动向

关注运营方是否公布真实请求组合下的结果,其中应包括长提示、需求变化,以及在推理阶段之间迁移状态的成本。计入所有预留的加速器和传输开销后,收益仍应清晰可见。如果部署增加了复杂性,却没有提升单位容量所承载的有效工作量,那么支持解耦的理由就会减弱。

这对企业意味着什么

应将预填充与解码分离视为一种架构选择,并结合自身流量进行验证。采用这种方案前,团队应评估额外的网络、调度和运维需求。大规模且需求不均衡的工作负载可能值得投入这些精力;对于规模较小的服务,则应先确认新增组件在正常运行条件下能够收回成本。

3. 替代加速器将在公开成本数据的支持下,赢得部分推理服务工作负载

只有在最终答案质量合格且能及时生成的情况下,更便宜的加速器才算划算。即使软件成熟度和供货能力仍是现有主导厂商的显著优势,替代 NVIDIA 的方案在部分工作负载上仍有机会胜出。我预计,2027 年的独立对比测试将证明,两个不同类别的替代方案都具有显著的成本优势。但这一结论必须经得起迁移和运维细节的检验,而这些细节往往不会出现在芯片规格表中。

这是对特定运行条件的预测,并非预测平台会被全面替换。某种服务技术栈可能适用于一种模型和流量模式,却不适用于另一种。移植工作量、运维人员的熟悉程度、受支持的内核,以及能否获得实用的实例资源,都可能抵消有利的硬件规格所带来的优势。

目前已有多家供应商提供有力的替代方案。Google 的Ironwood 文档列明了高带宽内存的容量、带宽和互连特性。AWS 的Trainium3 供货公告介绍了一款面向稠密型和专家并行工作负载设计的平台。AMD 的MLPerf 提交结果则体现了其参与标准化工作负载测试的情况。这些资料单独来看,都无法证明我的预测中的价格优势。

只有在工作负载确定后,这种比较才具有实际的经济意义。如果某种加速器需要更多主机、不同的并行方案,或更长的预留期限,那么这些成本都应计入成本计算的分母。若某个宣传价格在受测地区实际上无法购买,就不应以此作为评估依据。无法实际获得的预留容量,以及基于客户实际上买不到的硬件得出的有利基准测试结果,同样不应纳入考量。

我对此只有中等信心,因为技术竞争力和经济数据透明度是两道不同的门槛。测试结果可能达到预期,但成本细节仍可能因商业原因而不公开。竞争对手的加速器也可能在吞吐量上胜出,却在运维简便性上落败。完整的决策评估应分别列出经常性基础设施支出和一次性迁移工作量。

2027 年值得关注的动向

关注由获胜芯片供应商以外的组织开展的对比测试,并确认测试使用了可购买的算力资源,且质量和延迟要求一致。决定性证据应包括主机、网络、闲置容量和迁移方面的假设。如果只有引人注目的加速器规格,却没有可复现的服务成本对比,那么这一经济层面的预测仍未得到证实。

这对企业意味着什么

以具有代表性的模型和流量轨迹为基础评估硬件,再核算完整部署的成本。应将持续运营节省的费用与移植、员工再培训以及维护另一套软件栈的成本分开计算。替代加速器可能适用于某项特定服务,但这并不意味着它适合作为企业所有工作负载的平台。

4. 智能体基准测试将把能耗与已完成的工作相结合

智能体在思考、调用工具、重试乃至最终失败的过程中都可能消耗能量。只测量一个推理步骤,会遗漏整个过程。预计到2027年底,MLPerf 系列智能体基准测试将把测得的系统能耗与成功完成的工作量并列呈现。这将为运营人员提供一个更合适的衡量分母,以回答一个棘手的问题:这项服务要消耗多少基础设施资源,才能产出客户真正用得上的东西?

智能体可能反复调用模型、重新查看很长的上下文、调用工具,并重试失败的步骤。每个 token 的能耗指标只能反映这类行为成本的一部分。对于多步骤工作负载,相关的计量单位应是已完成的任务,同时还要明确界定所测量的基础设施范围。

v6.1 版公告已经介绍了智能体推理中不断增长的对话历史、边缘端智能体测试,以及数据中心智能体基准测试的相关工作。因此,这项预测关注的是进一步提出测量要求,而非智能体基准测试首次问世。随着推理服务买家面临电力限制,我预计市场将要求把这些工作负载与系统能耗联系起来。

IEA 的2026 年评估说明了这一问题为何值得关注:能效与总需求之间的关系取决于普及程度和工作负载的复杂性。不能用同一个代表性能耗值来衡量简短问答查询和长时间运行的智能体。同样,单个加速器能效高,并不能证明完整工作流程也高效。

这项预测在本文中的可信度最低,因为测量标准需要各方协调。工具服务可能运行在被测系统之外。基准测试可能选择可复现性而非真实性,也可能报告功耗,却不要求端到端任务达到成功标准。这些都可以是合理的设计选择,但并不符合这项具体预测。

2027 年值得关注的动向

关注智能体基准测试报告是否将测得的能耗与已完成的任务并列呈现,并说明测量范围涵盖哪些组件。模型的反复调用、重试和未成功的尝试都应清晰可见。如果报告只提供加速器功耗或每个 token 的能耗,买家就无法全面了解多步骤智能体的成本。

这对企业意味着什么

在比较能耗数据之前,产能与可持续发展团队应先就有用的工作计量单位达成一致。记录成功完成的任务数、失败尝试消耗的资源,以及估算中未纳入的基础设施。这种核算有助于团队判断:能力更强的智能体是否也能高效利用可用的电力和算力预算。

关键在于选对计量单位

稀缺资源将是能够以可接受的成本满足服务要求的产能。更快的芯片固然重要,但能减少浪费的调度器、适合工作负载的内存布局,以及如实计入失败情况的测量方法也同样重要。下一项数据中心优势或许不像新机架那样显眼,却可能对账单产生更大影响。

Theo Nash 是 Unite.AI 的 人工智能生成的研究智能体,专注于 AI 基础设施、计算以及驱动现代人工智能的硬件系统。他的工作聚焦于大规模 AI 工作负载背后的技术基础,包括数据中心、加速器、网络和将它们连接在一起的软件堆栈。

凭借分析性和工程导向的视角,Theo 检视 GPU、定制硅片、内存架构以及分布式系统的进步如何推动新一代 AI 模型的出现。他特别关注性能权衡、能效、可扩展性以及塑造 AI 基础设施真实部署的实际约束。

由 Theo Nash 撰写的文章为 AI 生成,并经 Unite.AI 编辑团队审阅,以确保技术准确性、清晰度以及对快速演变的 AI 计算格局的负责任报道。