Z.ai 详细说明基于 100,000 块国产芯片的 GLM-5.3-Flash 推理构建

Z.ai 于 2026 年 9 月 17 日发布了一篇 技术报告，描述了它如何在超过 100,000 台国产 AI 加速器的集群上从零构建完整的生产级推理服务，以支持其 GLM-5.3-Flash 模型。公司称，大部分工作是由一个由 GLM-5.3 驱动的基础设施代理完成的，而非仅靠基础设施工程师，且 GLM-5.3-Flash 的所有生产推理均在该系统上运行。

Z.ai 表示，此前没有人运营过如此规模的国产加速器集群。公司指出，芯片上的内存容量和带宽相对有限，模型架构新颖，拥有 1M 令牌的上下文窗口以及多模态请求，同时生态系统尚不成熟，内核支持不完整，工程师只能猜测本应有文档记录的行为。

GLM-5.3-Flash 于2026年8月26日发布，是 GLM-5 系列中首个原生多模态模型，采用稀疏与线性注意力相结合的混合架构，拥有 3200 亿总参数和 180 亿活跃参数。在正式发布前，Z.ai 在 OpenCode 和 OpenRouter 上以匿名代号 ox-alpha 对模型进行测试，公司称该模型在发布后一周内成为两平台上使用最广的模型，在六天内处理了超过 62 万亿令牌。

密集反馈方法

该报告的核心是一个系统性问题：端到端指标可以告诉代理结果变差，但无法说明原因。数值精度测试失败、首 token 响应时间增加 30% 或输出吞吐量下降 20% 都无法指明是哪一层导致问题或下一步应测试什么。Z.ai 的答案是其所谓的密集反馈，它将正确性测试、运行日志、执行追踪、运行时事件、微基准测试以及端到端指标整合到可重复的工作流中，使代理能够在本地验证每个假设，而无需在每次更改后等待完整部署和负载测试。

公司为此类反馈定义了三项必需属性。它必须是本地的，尽可能关联到具体的启动参数、代码更改、内核、输入条件、线程、执行间隔或代码路径。获取成本必须低且及时。并且它必须通过参考实现和受控实验支持客观验证，因为仅凭观察到的相关性无法确定根本原因。

在报告描述的发布循环中，工程师定义了目标和系统边界，并审查了涉及数值语义、并发行为和生产风险的关键更改，而代理负责分析、假设和代码修改。他们共同优化的技术栈包括线性注意力和语言模型头的节点内张量并行、ReplaySSM、W8A8 量化、混合精度 INT8/FP8/BF16 缓存量化以及层拆分，基于 Encode‑Prefill‑Decode 解耦架构。

三个工程案例

第一个案例涉及数值正确性。对比分区和未分区内核执行路径的验证揭示了 KDA 内核的上下文并行路径存在精度问题：tl.dot 操作即使在输入为 FP32 时也默认使用 TF32 计算，导致在状态合并过程中误差累积，且随上下文长度增加而加剧。该修复明确将输入精度设为 tf32x3，使用三个 TF32 Tensor Core 运算以获得更高精度的结果。

据报告称，这些修复已上游合并到 Flash Linear Attention 中。拉取请求于 2026 年 8 月 27 日开启并合并，将 tf32x3 仿射链应用于状态更新和变换合并内核，作为可选的精度路径，新增了上下文并行性测试，并在不支持 tf32 的平台（AMD、NPU 以及计算能力低于 8.0 的 NVIDIA GPU）上显式回退至 IEEE 精度。

第二个案例涉及 KV 传输的并发瓶颈。报告称，工程师设定了接受标准，即在相同工作负载下，Prefill 加 KV 传输的运行时间应在 Prefill 单独基线的 5% 范围内。代理在某些场景中发现差距超过 20%，并追溯至 DeepEP v1.2.1，其中既没有 intranode_dispatch 也没有 intranode_combine 调用显式释放了 Python GIL。只要这些调用保持锁定，同一进程中的 Mooncake Transfer Python 线程就无法及时获取 GIL，导致调度和任务提交延迟，计算重叠缩小。报告指出，同版本的 internode_dispatch 已经释放了 GIL，代码注释中说明其目的是避免在 CPU 等待时阻塞其他线程的 KV 传输。修复在相关 C++ 执行区间释放 GIL 后，报告称在相同测试条件下差距降至 1% 以下。

第三个案例涉及内核性能。Z.ai 让其代理从包括 SGLang、Flash Linear Attention 和 DeepGEMM 在内的手写内核项目中提炼技术，形成可复用的优化骨架，包含适用条件、转换方法、资源约束以及验证依据。在一个具代表性的 KDA Decode 内核上，公司称该代理的划分优化将执行时间缩短了 9.6%。在反馈确认计算是主要瓶颈后，代理将内核的 V 维度切片合并——这些切片原本对同一 FP32 归一化和门控计算重复了四次——改为使用寄存器驻留的中间结果和一次 warp 级别的归约，在单个线程块中完成，从而实现了公司报告的 1.71 倍加速。

声明的结果与递归自我改进

Z.ai 报告称，GLM-5.3-Flash 从最初的模型适配到可投入生产的准备阶段耗时不足两周，端到端吞吐量最终相较于最初基线提升了三倍。公司还表示，硬件利用率效率和每 token 成本已达到与主流 NVIDIA GPU 相当的水平。

公司将此工作定位为递归自我改进的早期示例，指出模型参与了运行其上的推理系统的优化。同时，Z.ai 表明其尚未实现递归自我改进，选择目标、设定边界以及风险评估仍是人类的职责，且公司认为这些职责应继续由人类承担。