Bito lança Governor para reduzir os custos dos agentes de programação com contexto e roteamento de modelos

Um agente de programação pode passar boa parte de uma sessão procurando os arquivos certos antes de fazer uma alteração útil. Cada busca acrescenta contexto que pode ser enviado novamente ao modelo em interações posteriores, transformando uma tarefa modesta em uma conta de inferência cada vez maior. Bito busca reduzir os dois componentes desse custo com o Governor, um novo roteador de modelos que combina o contexto da base de código com decisões sobre qual modelo deve realizar o trabalho.

Lançado em 27 de outubro, o Governor fica entre os agentes de programação existentes e os modelos que eles chamam. A Bito afirma que ele pode reduzir os gastos com agentes de 40% a 70% sem comprometer a qualidade, eliminando contexto de busca desnecessário e selecionando um modelo e um nível de raciocínio adequados. Essa faixa é um resultado informado pela empresa, não uma economia garantida para todas as equipes.

O produto é compatível com fluxos de trabalho que usam ferramentas como Claude Code, Cursor e Codex. As equipes direcionam seus agentes a um ponto de acesso comum, em vez de substituir o ambiente de programação que os desenvolvedores já utilizam.

Por que uma longa sessão de programação pode custar mais do que o esperado

O preço por token é apenas uma parte do custo de um agente. Uma sessão pode envolver buscas repetidas, leitura de arquivos, edições e execução de testes; a conversa resultante é enviada novamente em chamadas posteriores ao modelo. Por isso, a leitura de um arquivo extenso no início da tarefa pode continuar influenciando os custos muito depois de o agente tê-lo aberto pela primeira vez.

A Bito ilustra o problema com uma sessão do Claude Code em que as buscas retornaram aproximadamente 65.000 tokens. Ao final, o processamento repetido do contexto acumulado elevou o total da sessão a seis milhões de tokens, segundo a empresa. Esses números descrevem uma sessão medida, não o custo típico de toda tarefa de programação.

O cache de prompts pode baratear entradas repetidas, mas os tokens em cache e os processados pela primeira vez têm preços diferentes. Isso significa que o custo total depende de como o agente trabalha, de qual contexto ele mantém e de se a mudança de modelo preserva ou sacrifica o estado útil do cache.

“Escolher o modelo certo é importante, mas também é fundamental considerar o custo de o agente pesquisar o código e reenviar tudo o que já viu”, afirmou Amar Goel, cofundador e CEO da Bito, no anúncio.

Um mecanismo de contexto de código reduz a exploração repetida

O Governor mantém um grafo atualizado do código de uma empresa. Quando um agente precisa investigar a base de código, a Bito afirma que o Governor pode realizar essa pesquisa usando um modelo menor e mais rápido e retornar uma resposta sintetizada com o contexto de código relevante.

A economia pretendida vem de evitar a exploração repetida com um modelo de ponta e de manter resultados de busca desnecessários fora da conversa do agente principal. Retornar uma resposta objetiva altera a quantidade de contexto levada às interações seguintes, não apenas o preço da primeira consulta.

A documentação da plataforma da Bito descreve com mais detalhes o grafo subjacente. Ela indexa símbolos, a topologia dos serviços, dependências e relações entre repositórios, além de contexto proveniente de fontes como rastreadores de problemas, documentos de design e discussões de engenharia. Também mapeia esquemas de bancos de dados, padrões arquitetônicos e contexto de implantação.

Isso dá ao produto um escopo de recuperação mais amplo do que a simples correspondência entre trechos de texto. Uma pergunta sobre uma alteração na autenticação pode exigir a identificação do serviço responsável por uma interface, dos componentes que dependem dela e dos motivos por trás de uma decisão de design anterior. Conectar essas relações pode ajudar um agente a investigar o impacto antes de propor código.

O resultado mais importante ainda precisa ser uma evidência útil. A apresentação do Governor da Bito descreve respostas de pesquisa concisas, vinculadas a referências de arquivos e linhas, que permitem ao agente principal fundamentar a próxima etapa na base de código real.

O roteamento depende da tarefa e do cache

O Governor também escolhe o modelo e o nível de raciocínio de acordo com o trabalho a ser realizado. A Bito afirma que ele leva em conta o tipo de tarefa, as consequências de uma resposta superficial ou incorreta, a intenção do usuário e o cache já formado durante a sessão.

Esse contexto é importante quando uma mensagem curta contém uma instrução ampla. “Pode prosseguir” pode autorizar a implementação de um plano complexo, embora a mensagem em si tenha pouco texto. Um roteador que usa o tamanho da mensagem como indicador de dificuldade pode não perceber o que o desenvolvedor está realmente pedindo ao agente.

A Bito descreve o Governor como um sistema que toma uma decisão de roteamento no início de cada nova solicitação do desenvolvedor e mantém essa escolha enquanto o agente executa a tarefa. Ele também avalia se a economia potencial proporcionada pela troca de modelo compensa a perda dos benefícios de um cache já existente.

Portanto, um modelo mais barato não é automaticamente a opção mais econômica para a próxima chamada. Um cache aquecido em um modelo mais caro pode alterar o cálculo, sobretudo quando a conversa já é longa. As configurações de raciocínio acrescentam outra variável: uma tarefa que exige uma análise mais profunda pode justificar computação adicional, enquanto uma etapa rotineira talvez não.

O design de implantação do Governor foi concebido para preservar os fluxos de trabalho existentes. A Bito afirma que oferece suporte a APIs compatíveis com Anthropic e OpenAI, funciona com as chaves dos provedores da equipe e pode operar junto a um gateway existente. Isso descreve a camada de roteamento; as equipes ainda precisam configurar os agentes e o acesso aos provedores que pretendem usar.

Privado relata custos menores e menos etapas

No exemplo de cliente apresentado junto com o anúncio, a empresa de software de privacidade Privado realizou um teste controlado em tarefas de engenharia no Claude Code. A Bito informa que o custo por tarefa caiu de US$ 4,12 para US$ 2,14, uma redução de 48%, enquanto o agente passou a precisar de 23 etapas por tarefa, em vez de 47.

A empresa afirma que a qualidade se manteve e que as tarefas foram concluídas 38% mais rápido. O site da Bito informa que a comparação A/B com o cliente abrangeu 40 tarefas de engenharia e usou as mesmas tarefas, o mesmo modelo e o mesmo ambiente de testes, tendo o Governor como variável.

Esses detalhes tornam o resultado mais informativo do que uma alegação genérica de economia, mas também deixam claro que há limites para sua generalização. Um repositório diferente, outra combinação de tarefas, uma configuração distinta de provedores ou um modelo inicial diferente podem gerar outro equilíbrio entre recuperação de informações, uso de cache e custo de raciocínio.

A Bito também publica pesquisas sobre custo e qualidade de modelos de programação. Seu estudo de setembro descreve 29 modelos testados em 60 tarefas de engenharia, com 1.740 respostas avaliadas. Algumas tarefas foram verificadas pela execução de código ou pela detecção de falhas inseridas intencionalmente; outras foram avaliadas por um juiz de IA com base em critérios definidos antes dos testes. Esse estudo mais amplo sobre modelos é independente da comparação com o cliente Privado.

Os controles permitem testar o roteamento antes de alterar o tráfego

O Governor oferece as configurações Qualidade, Equilibrado e Custo, além de um modo de observação que registra como rotearia o tráfego de uma equipe sem alterar a forma como as solicitações são processadas. Isso permite que líderes de engenharia examinem as decisões propostas antes de ativá-las.

As proteções adicionais incluem um limite máximo rígido de preço, restrições ao roteamento para modelos mais caros sem autorização e o retorno ao modelo solicitado caso algo dê errado. As decisões de roteamento são registradas junto com seus motivos.

A Bito planeja expandir o Governor para além dos agentes de programação. Por enquanto, o lançamento aborda um problema concreto de engenharia: o custo da exploração repetida e das chamadas a modelos durante longas sessões de desenvolvimento de software.

O que será útil medir é o custo para concluir o trabalho com sucesso, considerando também a qualidade e o tempo necessário. A proposta do Governor é que as equipes possam melhorar essa medida ao fornecer contexto melhor aos agentes e alocar os recursos dos modelos de forma mais deliberada, sem exigir que os desenvolvedores abandonem as ferramentas que já usam.