Bito推出Governor，借助上下文和模型路由降低编程智能体成本

编程智能体可能会在一次会话中花费大量时间寻找合适的文件，之后才能做出有用的修改。每次搜索都会增加上下文，而这些上下文可能在后续轮次中再次发送给模型，使一项原本规模不大的任务逐渐累积成高昂的推理费用。Bito推出了新的模型路由器Governor，旨在从这两方面降低成本：它将代码库上下文与模型选择结合起来，判断应由哪个模型处理任务。

Governor于10月27日发布，位于现有编程智能体与它们调用的模型之间。Bito表示，通过减少不必要的搜索上下文，并选择合适的模型和推理级别，Governor可以在保持质量的同时，将智能体支出降低40%至70%。这一降幅是公司报告的结果，并不保证每个团队都能节省同等幅度的成本。

该产品支持使用Claude Code、Cursor和Codex等工具的工作流程。团队只需将智能体指向一个统一端点，无需替换开发者已经在使用的编程环境。

为什么漫长的编程会话可能比预期更昂贵

每个令牌的价格只是智能体成本的一部分。一次会话可能涉及反复搜索、读取文件、编辑和运行测试；随后调用模型时，还会再次提供由此产生的对话内容。因此，任务早期读取的大型文件，可能在智能体首次打开它很久之后仍然影响成本。

Bito以一次Claude Code会话为例说明这一问题：搜索返回的内容约有65,000个令牌。公司称，到会话结束时，反复处理不断累积的上下文使令牌总数达到600万个。这些数字反映的是一次实际测量的会话，并不代表每项编程任务的典型成本。

提示缓存可以降低重复输入的成本，但缓存令牌与新处理的令牌采用不同的定价。因此，总费用取决于智能体的工作方式、保留了哪些上下文，以及切换模型时能否保留有用的缓存状态，还是会失去这些状态带来的收益。

Bito联合创始人兼首席执行官Amar Goel在公告中表示：“选择合适的模型很重要，但同样重要的是智能体搜索代码，以及反复发送它已经看过的所有内容所产生的成本。”

代码上下文引擎减少重复探索

Governor会维护一份公司的实时代码图谱。当智能体需要调查代码库时，Bito表示，Governor可以使用更小、更快的模型完成这项研究，并返回提炼后的答案及相关代码上下文。

预期的节省来自避免使用前沿模型反复探索，并防止不必要的搜索结果进入主智能体的对话。返回聚焦的答案，改变的是后续轮次中携带的上下文量，而不仅仅是首次查询的费用。

Bito的平台文档进一步介绍了底层图谱的详情。该图谱会为代码符号、服务拓扑、依赖关系以及各代码库之间的关联建立索引，并整合来自问题跟踪系统、设计文档和工程讨论等来源的上下文。它还会映射数据库架构、架构模式和部署上下文。

因此，该产品的检索范围比匹配文本片段更广。关于身份验证变更的问题，可能需要找出负责某个接口的服务、依赖该接口的调用方，以及早前设计决策背后的理由。关联这些信息，有助于智能体在提出代码方案前调查变更的影响。

关键在于输出仍须是可用的证据。Bito的Governor产品介绍称，Governor会提供简明的研究答案，并附上文件和行号引用，让主智能体能够依据实际代码库中的内容来确定下一步操作。

路由选择取决于任务和缓存

Governor还会根据正在执行的工作选择模型和推理级别。Bito表示，它会考虑任务类型、答案肤浅或错误可能造成的后果、用户意图，以及会话中已经建立的缓存。

当简短消息包含重要指令时，这些上下文就显得尤为重要。“继续吧”可能是在授权执行一项复杂计划，尽管消息本身只有寥寥数语。如果路由器把消息长度当作任务难度的替代指标，就可能无法理解开发者实际要求智能体做什么。

Bito称，Governor会在开发者提出新请求时开始进行路由决策，并在智能体处理任务期间维持这一选择。它还会权衡切换模型可能节省的费用，是否足以弥补失去现有缓存收益所带来的损失。

因此，较便宜的模型并不一定能让下一次调用的总成本最低。较昂贵模型中的热缓存可能改变成本计算，尤其是在对话已经很长时。推理设置则带来了另一个变量：需要深入分析的任务可能值得投入更多计算，而常规步骤则未必需要。

Governor 的部署设计旨在保留现有工作流程。Bito 表示，它支持兼容 Anthropic 和 OpenAI 的 API，使用团队自己的服务提供商密钥运行，并可与现有网关并行工作。这描述的是路由层；团队仍需配置自己打算使用的智能体和服务提供商访问权限。

Privado 报告称成本更低、步骤更少

在公告附带的客户案例中，隐私软件公司 Privado 使用 Claude Code，针对自身工程任务开展了一项受控测试。Bito 报告称，每项任务的成本从 4.12 美元降至 2.14 美元，降幅为 48%；同时，智能体每项任务所需的步骤从 47 步减少到 23 步。

该公司表示，任务质量保持不变，完成速度则提高了 38%。Bito 网站指出，客户 A/B 对比测试涵盖 40 项工程任务，使用相同的任务、模型和测试框架，并将 Governor 作为变量。

这些细节让测试结果比笼统的节省成本说法更有参考价值，同时也表明其适用范围仍有限。换用不同的代码库、任务组合、服务提供商配置或初始模型，都会改变检索、缓存使用和推理成本之间的平衡。

Bito 还发布了有关编码模型成本与质量的研究。其 9 月的研究介绍了对 29 个模型进行的测试，测试涵盖 60 项工程任务，并对 1,740 个答案进行了评分。部分任务通过运行代码或检测预设故障来检验；其他任务则由 AI 评审员依据测试运行前制定的标准进行评估。这项涵盖范围更广的模型研究，与 Privado 的客户对比测试是分开的。

通过控制选项，团队可在改变流量前测试路由

Governor 提供质量、均衡和成本三种设置，还提供影子模式，可记录其将如何路由团队流量，而不改变请求的处理方式。这样，工程负责人就能在启用这些路由决策前先行查看。

其他防护措施包括设置硬性价格上限、限制未经授权路由至更昂贵的模型，以及在发生问题时回退到请求指定的模型。系统还会记录路由决策及其原因。

Bito 计划将 Governor 的适用范围扩展到编码智能体之外。目前，此次发布针对的是一个具体的工程问题：在漫长的软件开发过程中，反复探索和调用模型所产生的成本。

衡量成效的关键指标将是成功完成工作的成本，同时还要考量所需的质量和时间。Governor 的主张是，团队可以通过为智能体提供更充分的上下文、更有针对性地分配模型能力来改善这一指标，同时无需开发人员放弃已经在使用的工具。