AI 模型与平台
MiTAC 在 SC26 提出双服务器 AI 推理架构

要点MiTAC将预填充和解码拆分到不同的服务器上,使每个阶段都能按其自身的工作负载进行配置。
查看更多
- MiTAC将预填充和解码拆分到不同的服务器上,使每个阶段都能按其自身的工作负载进行配置。
- 解码服务器配备2 TB的加速器内存,可在本地运行Kimi K3等模型。
- MiTAC的液冷机架GPU密度比传统部署高出50%。
MiTAC Computing 于 2026 年 11 月 17 日发布公告,在 SC26 上与 Skymizer 共同发布了一种双服务器 AI 推理架构,并提出为解码端配置 2 TB 加速器内存,使系统能够在本地运行参数量达 2.8 万亿的 Kimi K3 等模型。
该架构属于更广泛产品组合的一部分,涵盖软件编排、高密度液冷、存储以及即将推出的 AMD 机架。部分配套系统正在 SC26 现场演示,另一些则仍处于提案或开发阶段,因此这项公告既涉及当前演示的内容,也包括未来基础设施设计。
将预填充与解码部署在不同服务器上
拟议中的预填充平台为 8U G8825Z5,采用 AMD EPYC 9575F 或 9755 处理器和 Instinct MI350X GPU。它会通过高速网络将生成的键值缓存传输至解码服务器。解码部分拟采用风冷 4U G4520G6 配置,搭载 Intel Xeon 6 处理器和八张 Skymizer HTX301-4S 加速卡,每张卡均配备 256 GB 内存。
预填充阶段对计算资源的需求较高,而解码阶段则高度依赖内存;将两者分开,旨在让企业根据各自的工作负载分别配置资源。MiTAC 表示,其本地部署的解码系统专为复杂的深度推理智能体工作负载而设计。该架构将部分扩展难题从增加 GPU 数量,转变为平衡加速器内存与各阶段之间的网络连接。
SC26 现场展示的液冷与数据密度方案
MiTAC 的现场演示展示了这套推理设计在实体基础设施方面的要求。一座 52U 液冷机架集成了 12 台 G4826Z5 服务器和 96 个 AMD Instinct MI355X GPU。该公司称,这种配置的 GPU 密度比传统部署方式高出 50%。
MiTAC 与 ZutaCore 合作开展的概念验证项目,在 G4826Z5 上采用无水双相直接液冷技术,使介电流体直接在芯片表面汽化。MiTAC 表示,该方案支持超过 4,000W 的热设计功耗、超过 250W/cm² 的热通量,以及 1.03 的年化部分电能使用效率。该演示旨在应对高功率加速器集中部署于高密度机架所带来的散热极限。
存储演示将 DDN Infinia 与七台 GC68C-B8056 1U 存储服务器结合,旨在持续提供 AI 数据流,避免 I/O 瓶颈。这解决的是与散热不同的另一项限制:降低加速器因等待数据而无法处理推理和智能体工作负载的风险。
软件与即将推出的 Helion 机架
Canonical Ubuntu 提供经过认证的操作系统层,Rafay 为分布式工作负载提供动态 GPU 即服务编排,而 MiTAC 的 MiCoreView 软件则提供 Pod 级遥测数据和统一的数据中心可视化能力。结合 Infinia,这些组件在同一基础设施堆栈中涵盖了操作系统、数据传输、GPU 分配和监控。
MiTAC 还正与 AMD 合作开发即将推出的 ORv3 44OU Helion Agentic AI Rack。MiTAC 表示,该机架将扩展至 32,768 个 AMD Zen 6 CPU 核心,以满足超大规模和企业环境的需求。
AMD 的 Helion 文档介绍了一种基于 Open Compute Project (OCP) 标准构建的开放式机架级参考设计,提供仅配置 CPU 的超大规模版本,以及混合搭载 CPU 和 GPU 刀片的企业版本。其风冷推理版本最多支持 16 个 Instinct MI350P GPU,客户还可以混搭不同类型的刀片,以适配不同的智能体工作负载。企业配置旨在将智能体执行与推理整合到同一机架中;与之不同的是,Helios面向前沿级训练和大规模推理,并采用统一的 GPU 扩展域。
实际部署中,本地推理能否落地,取决于解码端内存能否与预填充网络、存储吞吐量、机架散热和编排协同运作;MiTAC 的方案将这些环节与 GPU 本身一并纳入容量规划。












