Baseten 将推理专业能力带入 NVIDIA 的 Nemotron 联盟

Baseten 于 2026 年 11 月 5 日宣布加入 NVIDIA Nemotron 联盟，将来自企业工作负载的见解以及后训练和推理方面的专业能力用于开放模型开发。此次加入进一步拓展了 Baseten 与 NVIDIA 在模型发布、强化学习、定制和专属推理方面的合作。

NVIDIA 于 2026 年 3 月 16 日发起了该联盟，旨在汇集研究成果、专业知识、数据和算力，共同开发开放的前沿模型。NVIDIA 在发布公告中表示，首个项目将是一款由 Mistral AI 与 NVIDIA 联合开发的基础模型，在 NVIDIA DGX Cloud 上训练，以开源形式发布，供开发者和组织进行专门化定制，并作为即将推出的 Nemotron 4 系列的基础。

Baseten 是 Nemotron 3.5 Super VL 和 Nemotron 3 Ultra 首发合作伙伴之一。它在联盟中的角色不止于提供已完成的模型，还包括构建训练环境，以及贡献由企业使用经验塑造的运营知识。实际工作的重点是针对具体业务需求进行定制，并将部署质量、成本和灵活性视为相互关联的考量。

面向生产工作负载进行训练

该公司开发了用于强化学习的环境，以应对复杂的指令层级、忽略无关信息并遵循详细的风格偏好。其他环境则通过对复杂生物数据集进行统计分析、证明数学定理和参与竞技游戏，来处理长周期推理与规划。这些任务旨在应对生产环境中的指令传达方式：指令会通过系统提示、工具定义、用户后续消息、工具响应和错误消息陆续到达。

其多模态工作还加入了视觉与空间推理任务，以及需要视觉理解的多轮工具调用。Baseten 表示，后训练提升了模型在 MMMU-Pro 上的表现；MMMU-Pro 是一项专家级多模态推理基准测试。一篇于 2026 年 10 月 5 日提交的相关论文介绍了一种拥有 5000 万参数的投影器，该投影器将 Kimi K2.6 的视觉编码器连接到 GLM 5.2 和 GLM 5.3，同时保持预训练权重不变，并在 MMMU-Pro 和 BLINK 上进行了评估。

定制化效果的量化结果

CodeRabbit 于2026 年 8 月 11 日发布的研究报告介绍了其与 NVIDIA 和 Baseten 合作开展的一个项目：先通过监督微调，再通过带有可验证奖励的强化学习，对 Nemotron 3.5 Lightning 进行定制，用于代码审查任务路由。在一项固定的 1000 项任务评估中，路由完全一致率从基线模型的 75.8% 提升至监督微调后的 80.4%，并在奖励训练后达到 80.7%。衡量超出偶然一致程度的 Cohen κ 系数则从 0.429 升至 0.461，随后进一步升至 0.544。

CodeRabbit 将路由一致率最终增加的 0.3 个百分点视为未退步，而非具有统计显著性的决定性改善，因为配对置信区间跨越了零。其服务成本比较估算，在吞吐量饱和时成本降低了 50.4%：同一项评估在基线模型上的成本为 2.34 美元，在一台 Baseten A100 上则为 1.16 美元。持续负载和生产流量测试仍留待后续阶段进行。

Harvey展示了另一种定制化案例。Baseten 表示，这家法律 AI 平台在 Baseten 上对 Nemotron 进行后训练，以支持专业工作流程，每天为数万名律师提供服务。Harvey 与 Baseten 于 2026 年 9 月 8 日发表的研究将一个并购数据室载入 Python 环境，并让一个根代理将范围明确的审查工作分配给多个子代理。Harvey 报告称，在 50 个留出数据室上测试 7 个模型后，该代理框架将评分标准的平均通过率从 23.3% 提高到 62.4%。

Harvey 的报告还指出，在根模型 Qwen3.5-122B-A10B 上进行强化学习后，该模型在这 50 个数据室上的通过率从 29.9% 提升至 63.0%；报告同时说明，这些实验仍属初步探索，与接近满分的通过率之间仍存在显著差距。

部署与语音 AI

Baseten Loops 将托管式强化学习工作流程与专属推理连接起来，同时由客户保留训练所得模型权重的所有权。Loops 支持 Nemotron 3.5 Super VL 和 Nemotron 3 Ultra；Super VL 可采用 BF16 和 NVFP4 进行训练。

这些公司还在评估由 Nemotron 驱动的语音代理在完整应用中的表现，包括模型质量和响应速度。Baseten 于2026 年 8 月 4 日发布的语音识别基准测试报告称，一台 NVIDIA H100 可持续处理多达 100 路并发实时 WebSocket 音频流。最终结果延迟，即说话者结束发言到最终转录文本准备就绪所需的时间，从 8 路音频流时的 98 毫秒升至 100 路时的 138 毫秒。

Baseten 加入联盟，将模型适配与服务这些模型所需的基础设施连接起来。客户成果为这一做法提供了具体依据；与此同时，CodeRabbit 在吞吐量饱和时的成本估算和尚未完成的生产测试，以及 Harvey 仍处于早期阶段的实验，也界定了这一做法的局限。核心问题在于，经过测量的收益能否在持续的生产环境使用中保持。