IBM 推出 8B 和 30B 规格的模块化 Granite Switch 4.1 模型

IBM 于 2026 年 10 月 15 日宣布推出 Granite Switch 4.1，发布了两款模块化语言模型，参数量分别为 80 亿和 300 亿。每款模型都将基础模型、通用决策适配器、安全适配器和内置语音转文本编码器组合在一起，通过单一托管端点提供服务。宣布此次发布的 IBM Granite 博客文章由 Kate Soule、Subhajit Chaudhury、Hendrik Strobelt 和 Luis A Lastras 撰写。

4.1 版本配置

此次发布包括 Granite-Switch-4.1-8B 和 Granite-Switch-4.1-30B，它们基于 granite-4.1-8b 和 granite-4.1-30b 基础模型构建，参数量分别为 80 亿和 300 亿，上下文窗口均为 128K。8B 模型卡和30B 模型卡列出的发布日期为 2026 年 10 月 14 日，许可证为 Apache 2.0，并支持 Hugging Face Transformers 和 vLLM 后端。

每个检查点都将三个组件与基础模型组合在一起：用于通用决策的决策型 Activated LoRA（aLoRA）；guardian-core，这是 IBM Guardian 库中的一款 aLoRA，可检测涉及伤害、越狱、亵渎、暴力、色情内容、社会偏见和不道德行为的安全风险；以及用于转录的 Granite Speech 5.0 TurboCTC。后者是一款内置的英语非自回归 Conformer CTC 编码器，拥有 4.7 亿个参数，IBM 称其为 OpenASR Leaderboard 上速度最快的 ASR 模型。IBM 表示，这三项技术与基础模型合用时，所需 GPU 内存大致与单独运行基础模型相同。

模型卡还列出了不含音频的预览版本（granite-switch-4.1-8b-preview、granite-switch-4.1-30b-preview 和 granite-switch-4.1-3b-preview），这些版本随附完整的 Granite Libraries 适配器套件。IBM 于 2026 年春季推出 Granite Switch 项目，将其作为一种模块化模型开发方法；此前发布的 Granite Libraries 则提供了一个专用决策和任务适配器仓库，可将这些适配器组合成定制的 Switch 模型。

切换机制的工作原理

Granite Switch 采用模型卡所称的粗粒度专家切换机制，即在一段连续的令牌范围内，同一个适配器会在所有解码器层中保持激活状态。调用方只需将适配器名称传入聊天模板即可激活该适配器，模板会自动插入相应的控制令牌。一个基于标准注意力机制构建的轻量级切换层会检测这些令牌，并为每个位置生成适配器索引，指示每个解码器层在该范围内应用相应的 LoRA 权重。

模型卡列出了四项设计特性：每个适配器只读取基础模型的 KV 缓存，不会读取其他适配器的内部状态；适配器独立开发、测试和发布，无需联合训练；同一个检查点既可用于 Transformers，也可用于 vLLM；选择适配器无需修改代码。IBM 表示，采用缓存高效型 Activated LoRA 设计后，基础模型生成时产生的 KV 缓存可重复用于后续基于适配器的决策；IBM 还将聊天、决策和语音请求之间的快速切换归功于近期对 vLLM 内核的贡献，以及与 ASR 编码器同机部署的设计。

决策适配器接收一个状态和一个带有标签选项的问题，然后在单次前向传播中输出这些标签对应的 softmax 概率分布。嵌入式语音编码器会转录传入的音频，并用生成的转录文本替换聊天上下文中的音频，因此转录与聊天和决策在同一个端点上运行，无需单独的语音服务器，也无需改变模型的调用方式。IBM 还提供一个 Speech-to-Decisions 演示空间：其中的 8B 模型可实时转录传入的音频、生成摘要、检查有害内容，并评估另外 15 项由用户定义的标记，所有操作均在一个端点上完成。

IBM 报告的基准测试与比较结果

IBM 将其方法与 Jev 等闭源决策模型进行对比，并称这些模型侧重通用性。IBM 表示，在与安全相关的决策任务中，guardian-core 适配器的平均表现优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash。在 IBM 发布的专用 Granite Libraries 适配器与通用型决策模型的比较中，表现最佳的 Granite 适配器在 OOD Safety 上领先 2.3 分、在 IFEval 上领先 17.0 分、在 BIO F1 上领先 11.0 分、在 RAGTruth 上领先 11.8 分；但在 LM-AggreFact 上落后 2.6 分、在 InfoBench-GPT4 上落后 3.2 分、在 InfoBench-Human 上落后 0.8 分。

模型卡报告了决策适配器的 Decision Index 得分。该得分依据 edition-v0.3 评分方式，在基准测试公开的快速子集中进行测量；该子集包含 1,068 条数据，适配器通过托管的 vLLM 端点提供服务。8B 适配器的总分为 42.9，其中知识为 29.1、语言为 48.9、检索为 49.8、工具为 59.8、艺术为 18.0。30B 适配器的总分为 50.1，其中知识为 32.4、语言为 58.6、检索为 49.8、工具为 76.5、艺术为 26.4。模型卡称，同一适配器在本地和托管环境中的服务得分相差约 0.6 分以内。

IBM 还报告了一项竞速测试：配备四个专用 aLoRA 的冻结版 Granite 基础模型 Granite-Switch-4.1-30B，完成一套真实场景中的五步 RAG 工作流，速度远快于配备一个通用决策 LoRA 的冻结版 Qwen 基础模型 Jev-27B。在第二项演示中，IBM 表示，一个定制的 30 亿参数 Granite Switch 模型在玩 Doom 时每秒做出 60 至 100 次决策，而 Jev 报告的速度为每秒 10 次决策；此外，与 Jev 不同，该模型可以在游玩时进行解说并回答问题。

可用性、要求与局限

两个检查点均采用 Apache 2.0 许可证。运行要求为 Python 3.9 或更高版本、PyTorch 2.11.0 或更高版本、Transformers 5.16 至 5.17.0；还可选用 vLLM 0.26.0 至低于 0.28.0 的版本。该稠密型、仅含解码器的基础架构采用分组查询注意力（GQA）、RoPE、SwiGLU 和 RMSNorm；支持 131,072 个 token 的上下文长度；支持的语言包括英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文。

任何人都可以将项目适配器目录中的适配器与其组合工具搭配使用，组装定制的 Granite Switch 模型。IBM 将 Mellea 定位为运行 Granite Switch 适配器的首选应用层；Mellea 已封装 Granite Libraries 的各类适配器，但决策适配器目前尚无 Mellea intrinsic，相关支持仍在规划中。IBM 还计划推出 Adapter SDK，以便在 Mellea 中训练定制适配器和第三方适配器，并提供教程和 Granite Switch 支持；此外，IBM 表示将在公告发布后的数周内公布更多 Granite Switch 详情和数据。

模型卡列出了若干局限。语音级联流程仅支持英语，输出的转录文本均为小写且不带标点，也不支持在解码时进行引导；由于 ASR 编码器没有与语言模型或适配器进行联合训练，转录错误可能在不易察觉的情况下改变模型或适配器的响应。vLLM 将决策选项标签的 logprob 请求限制为 128 个 token ID，因此，选项更多的问题必须拆分成分块请求。模型卡还指出，guardian-core 不能替代应用层面的安全测试；这些检查点不包含 Guardian Library 的事实性检测、事实性纠正和策略防护栏适配器；对于训练范围之外的领域，决策适配器给出的概率应视为有助于做出决策的先验信息，而非经过认证的分类结果。