百度发布 ERNIE 5.5 Flash Base，供进一步训练

百度 ERNIE 团队于 2026 年 11 月 5 日宣布推出 ERNIE-5.5-Flash-Base，并开放可下载的模型权重。这是一款仅处理文本的混合专家模型，总参数量为 2800 亿，每个 token 激活 140 亿个参数。该检查点止于预训练阶段，尚未经过中期训练或后训练，为开发者开展领域适配、指令微调和强化学习研究提供了共同的起点。

此次发布还提供了一个固定基线，可用于对训练方法进行受控比较。百度表示，后续将推出经过后训练的 ERNIE 5.5 Flash 模型。

架构与训练系统

模型卡列出了 43 层、4096 的隐藏维度和 64 个注意力头。其中 37 层采用重度压缩注意力：其缓存为每个包含 128 个 token 的块保存一条记录，此外还保留一个较短窗口，用于存放近期未压缩的 token。6 层多头潜在注意力可按 token 访问完整上下文，并使用索引器选取得分最高的先前位置。百度表示，这种稀疏选择方式能使每次查询的核心注意力计算成本在上下文增长时保持不变。

除第一层外，所有层都采用混合专家模块，其中包含 512 个路由专家，每次激活 10 个，另有 1 个共享专家。专家在 2048 维的潜在空间中运算，而非使用模型完整的隐藏层维度。百度表示，与使用完整维度的专家相比，这种设计可将专家调度与组合产生的数据流量以及专家 FLOPs 大致减半。该设计还通过流形约束超连接设置了 4 条并行残差流，并采用带有可学习分段温度的 MultiMax 输出头。

预训练使用了 33.5 万亿个 token、Muon 优化器和 FP8 混合精度。训练期间使用的上下文长度逐步扩展至 128K 个 token；微调和推理则支持 100 万个 token。除多语言网页数据外，语料还包含代码及软件开发记录，例如提交记录、问题单、拉取请求、评审、生成的测试和经 CI 验证的修复。经过筛选的长文档、包含语义相似干扰项的序列，以及合成的检索和问答数据，为长上下文训练提供了素材。这些选择使基础模型的发布面向代码库级推理、智能体软件工程和扩展输入场景。

随附的 FlashMask 代码库介绍了适用于 Hopper 和 Blackwell GPU 的注意力内核；Blackwell 配置支持的头维度上限为：查询和键均为 576，值为 512。百度报告称，在 SM100 硬件上，与 FlashAttention-4 MaskMod 相比，前向计算速度最高提升 175%，反向计算速度提升 74%。分布式 Muon 系统还将密集参数和 MoE 参数的同步合并为一次集合通信操作，并使优化器状态在各节点间的分布更加均衡，同时不改变优化器的更新方式。

百度的基准测试结果

百度使用相同的测试框架、提示词和少样本示例，对 ERNIE 与公开发布的 DeepSeek-V4-Flash-Base、Hy3-preview-Base 和 MiMo-V2.5-Base 检查点进行了评估；对于开放式问答，也使用了同一个 LLM 评判模型。其表格中的部分结果展示了该模型的领先之处和落后之处：

百度的比较结果因任务而异，并非全面领先：在所列结果中，ERNIE 在 MMLU 和 HumanEval+ 上领先，Hy3 在 FullStackBench 上领先，DeepSeek 则在 InfiniteBench 上领先。该表显示，在百度的评估中，ERNIE 在考试和编程任务上表现强劲，同时也呈现了上述例外。

部署与许可条件

可下载的模型采用 FP8 和 BF16 safetensors 格式。模型卡介绍了如何通过 completions API，使用 SGLang 和 vLLM 在生产环境中提供服务，这与该检查点作为基础模型的定位相符。NVIDIA 的 Megatron Bridge 配方提供了一套监督微调流程，涵盖数据准备、训练以及导出为 Hugging Face 格式。其全模型配方使用 16 个节点，每个节点配备 4 块 GB300 GPU。NVIDIA 已在 Blackwell GB200 和 GB300 系统上验证这些配方；相关组件支持 Hopper，但尚未在 Hopper 上完成验证。

定制的 ERNIE 5.5 Flash Base 模型许可协议 v1.0规定了地域和商业使用条件。许可区域不包括欧盟、英国和韩国；在该区域以外开展包括使用、修改和分发在内的活动均未获授权。非商业用途无需支付模型许可费用。对于相关产品或服务年收入不超过 5000 万美元的商业用途，用户须一次性提交通知，并在显著位置标注“Powered by ERNIE”。超过这一门槛，用户须事先获得百度另行出具的书面授权。

该协议还禁止使用获许可的材料、衍生模型或其输出，来改进与之无关的人工智能或机器学习系统。这项限制对模型蒸馏和合成数据工作流程尤为重要；协议在界定衍生模型及输出使用限制时，明确涉及了这些工作流程。

ERNIE 5.5 Flash Base 为研究人员和开发者提供了一个固定检查点，可用于测试后续训练方法，而无需重复百度的预训练过程。其设计着重控制活跃计算量和长上下文成本，但此次发布的实际适用范围受到两方面限制：一是完整模型微调所需的硬件，二是对适用地域、大规模商业使用以及将能力转移至无关模型的行为设限的许可协议。