Baseten 推出 Grid，为企业级 AI 编程任务进行路由与治理

Baseten 于 2026 年 11 月 4 日宣布推出 Grid，并开放其面向企业级 AI 编程的路由、网关和安全防护层的公开预览。该公司称，Baseten Router 在初步基准测试中将每项任务的成本降低了近 70%，代价是质量比 Opus 5.5 低 0.9 个百分点；用户可通过候补名单申请早期访问。

路由决策不止看令牌价格

Grid 可自动完成开发者原本需要自行做出的选择：每项编程任务应由哪个获批模型处理。对于每个请求，Baseten Router 都会评估组织获批使用的开源和闭源模型，并权衡它们可能达到的任务表现与成本。

路由器不会仅按令牌价格给模型排名，还会将重试、工具调用失败和答案不完整所带来的成本纳入考量。其目标是在满足团队对质量和性能要求的同时，降低完成任务的成本。自动路由可以侧重成本、智能水平，或兼顾两者。

组织还可以选择共享追踪记录，以便据此针对自身特定工作负载训练定制路由器，实现帕累托效率。Baseten 表示，实际节省的成本会因工作负载特征以及客户期望的成本与质量平衡而异，因此基准测试结果仅表明潜在效果，并不意味着成本普遍都会下降。

Opendoor 工程主管 Chintan Parikh 表示，Grid 集中呈现了内部 AI 支出的情况，并在质量损失极小的前提下自动降低了支出。Opendoor 几乎人人都在使用 AI，而大多数员工并不想自行决定选择哪个模型。

集中管理访问权限，无需更换开发者工具

Grid Gateway 提供管理层。平台团队可以批准模型、授予团队级访问权限、设定预算，并使用由公司管理的凭据，同时监控各团队、应用和智能体的使用情况。仪表板按模型细分支出，并显示总支出、令牌用量、缓存命中率和节省的成本。

Grid 上线时支持来自 OpenAI、Anthropic、Gemini Enterprise Agent Platform、Amazon Bedrock 和 Baseten 的模型。开发者只需运行一条设置命令，即可连接 Claude Code、Codex、OpenCode 和 Pi；管理员则可通过移动设备管理自动完成配置。

使用 Anthropic 或 OpenAI API 的内部应用和智能体，只需更改基础 URL 和模型 ID 即可接入。这样一来，现有软件便可纳入同一端点，无需组织替换已在使用的开发者工具。

平台团队还可以为每个智能体运行框架指定一个默认编程模型，以及一个规模更小、用于摘要等辅助任务的后台模型。开发者在设置过程中会获得这些默认配置，之后也可以更换模型。

共享安全防护与推理基础设施

Grid 在网关层设置可配置的安全策略，集中检查请求和响应。策略可根据工作负载有所不同，记录则会说明哪些内容被标记，以及后续如何处理。所识别的风险包括：文档中藏有会误导智能体的指令、未经授权的操作，以及客户信息出现在不该出现的地方。

这些安全防护与执行控制并不相同。安全检查用于审查有风险的请求和响应，执行控制则决定智能体可以访问什么以及可以执行哪些操作。Baseten 表示，企业需要这两个层面的控制。

在网关之下，Baseten 的推理平台负责路由、模型与运行框架协议之间的转换、缓存、扩缩容和优化。当 Baseten 提供所选模型时，可以将持续多轮对话的智能体会话路由至热键值缓存，以降低成本。其模型性能研究、后训练和基础设施团队还致力于定制内核、推测解码，以及每个模型上线前都必须通过的评测。

公开预览之后，Baseten 计划支持将耗时较长的任务委派给托管在云端的智能体，并协调多个智能体共同处理复杂任务。其他规划中的功能还包括针对客户数据和使用场景优化的路由、更丰富的安全信号，以及支持客户使用自己的安全防护措施。

因此，衡量经济效益的标准应是以所需质量完成任务的成本，而令牌价格只是其中一个因素。由于已报告的节省幅度取决于工作负载特征，且多项智能体管理功能仍在规划中，此次公开预览尚未说明这些基准测试结果能否在生产环境的编程工作中稳定重现。