Bito lanza Governor para reducir los costes de los agentes de programación mediante el contexto y el enrutamiento de modelos

Un agente de programación puede dedicar buena parte de una sesión a buscar los archivos adecuados antes de realizar un cambio útil. Cada búsqueda añade contexto que puede volver a enviarse a un modelo en turnos posteriores, convirtiendo una tarea modesta en una factura de inferencia cada vez mayor. Bito aborda ambos aspectos de ese coste con Governor, un nuevo enrutador de modelos que combina el contexto de la base de código con decisiones sobre qué modelo debe encargarse del trabajo.

Lanzado el 27 de octubre, Governor se sitúa entre los agentes de programación existentes y los modelos a los que estos llaman. Bito afirma que puede reducir el gasto en agentes entre un 40 % y un 70 % sin perder calidad, al eliminar contexto de búsqueda innecesario y seleccionar un modelo y un nivel de razonamiento adecuados. Ese intervalo corresponde a un resultado comunicado por la empresa, no a un ahorro garantizado para todos los equipos.

El producto es compatible con flujos de trabajo que utilizan herramientas como Claude Code, Cursor y Codex. Los equipos dirigen sus agentes a un punto de conexión común, en lugar de sustituir el entorno de programación que ya utilizan los desarrolladores.

Por qué una sesión de programación larga puede costar más de lo esperado

El precio por token es solo una parte de la factura de un agente. Una sesión puede incluir búsquedas repetidas, lecturas de archivos, modificaciones y ejecuciones de pruebas, y la conversación resultante se vuelve a proporcionar en llamadas posteriores al modelo. Por eso, la lectura de un archivo grande al principio de la tarea puede seguir influyendo en los costes mucho después de que el agente lo haya abierto.

Bito ilustra el problema con una sesión de Claude Code en la que las búsquedas devolvieron aproximadamente 65.000 tokens. Al final, el procesamiento repetido del contexto acumulado elevó el total de la sesión a seis millones de tokens, según la empresa. Esas cifras corresponden a una sesión medida, no al coste habitual de todas las tareas de programación.

El almacenamiento en caché de las instrucciones puede abaratar las entradas repetidas, pero los tokens almacenados en caché y los procesados por primera vez tienen precios distintos. Por tanto, la factura total depende de cómo trabaja el agente, qué contexto conserva y de si un cambio de modelo mantiene o sacrifica el estado útil de la caché.

«Elegir el modelo adecuado es importante, pero igual de importante es el coste de que el agente busque en el código y vuelva a enviar todo lo que ya ha visto», afirmó Amar Goel, cofundador y director ejecutivo de Bito, en el anuncio.

Un motor de contexto de código reduce la exploración repetida

Governor mantiene un grafo actualizado en tiempo real del código de una empresa. Cuando un agente necesita investigar la base de código, Bito afirma que Governor puede realizar esa investigación con un modelo más pequeño y rápido, y devolver una respuesta condensada con el contexto de código pertinente.

El ahorro previsto se debe a evitar la exploración repetida con un modelo de vanguardia y a mantener los resultados de búsqueda innecesarios fuera de la conversación del agente principal. Devolver una respuesta concreta modifica la cantidad de contexto que se arrastra en los turnos posteriores, no solo el precio de la primera consulta.

La documentación de la plataforma de Bito describe con más detalle el grafo subyacente. Indexa símbolos, la topología de los servicios, dependencias y relaciones entre repositorios, además del contexto de fuentes como sistemas de seguimiento de incidencias, documentos de diseño y conversaciones de ingeniería. También representa esquemas de bases de datos, patrones arquitectónicos y contexto de despliegue.

Esto proporciona al producto un objetivo de recuperación más amplio que la mera búsqueda de fragmentos de texto. Una pregunta sobre un cambio de autenticación puede requerir identificar qué servicio es responsable de una interfaz, qué componentes dependen de ella y los motivos de una decisión de diseño anterior. Conectar esas relaciones puede ayudar al agente a investigar el impacto antes de proponer código.

Lo importante es que el resultado siga siendo evidencia útil. La presentación de Governor de Bito describe respuestas de investigación concisas vinculadas a referencias de archivos y líneas, que permiten al agente principal fundamentar el siguiente paso en la base de código real.

El enrutamiento depende de la tarea y de la caché

Governor también elige el modelo y el nivel de razonamiento en función del trabajo que se está realizando. Bito afirma que tiene en cuenta el tipo de tarea, las consecuencias de una respuesta superficial o incorrecta, la intención del usuario y la caché generada durante la sesión.

Ese contexto importa cuando un mensaje breve contiene una instrucción importante. «Adelante» puede autorizar la implementación de un plan complejo, aunque el propio mensaje apenas contenga texto. Un enrutador que tome la longitud del mensaje como indicador de dificultad puede no entender lo que el desarrollador realmente pide al agente.

Bito describe Governor como un sistema que decide el enrutamiento al inicio de una nueva solicitud del desarrollador y mantiene esa elección mientras el agente trabaja en la tarea. También sopesa si el posible ahorro de cambiar de modelo compensa la pérdida de las ventajas de una caché ya existente.

Por tanto, un modelo más barato no implica automáticamente que la siguiente llamada vaya a costar menos. Una caché activa en un modelo más caro puede cambiar el cálculo, sobre todo si la conversación ya es larga. La configuración del razonamiento añade otra variable: una tarea que requiere un análisis más profundo puede justificar un cómputo adicional, mientras que un paso rutinario quizá no.

El diseño de implementación de Governor está pensado para preservar los flujos de trabajo existentes. Bito afirma que es compatible con las API de Anthropic y OpenAI, funciona con las claves de los proveedores de cada equipo y puede operar junto con una pasarela existente. Eso describe la capa de enrutamiento; los equipos aún deben configurar los agentes y el acceso a los proveedores que tengan previsto utilizar.

Privado informa de menores costos y menos pasos

En el ejemplo de cliente incluido en el anuncio, la empresa de software de privacidad Privado realizó una prueba controlada con sus tareas de ingeniería en Claude Code. Bito informa que el costo por tarea bajó de 4,12 $ a 2,14 $, una reducción del 48 %, mientras que el agente necesitó 23 pasos por tarea en lugar de 47.

La empresa afirma que la calidad se mantuvo y que las tareas se completaron un 38 % más rápido. El sitio web de Bito indica que la comparación A/B con el cliente abarcó 40 tareas de ingeniería y utilizó las mismas tareas, el mismo modelo y el mismo entorno de pruebas, con Governor como variable.

Estos detalles hacen que el resultado sea más informativo que una afirmación general sobre el ahorro, aunque también dejan claro que existen límites a la hora de generalizarlo. Un repositorio distinto, una combinación diferente de tareas, otra configuración de proveedores o un modelo inicial diferente pueden dar lugar a un equilibrio distinto entre la recuperación de información, el uso de la caché y el costo del razonamiento.

Bito también publica investigaciones sobre el costo y la calidad de los modelos de programación. Su estudio de septiembre describe 29 modelos evaluados en 60 tareas de ingeniería, con 1.740 respuestas calificadas. Algunas tareas se comprobaron ejecutando código o detectando fallos introducidos deliberadamente; para otras se utilizó un evaluador de IA según criterios definidos antes de las pruebas. Este estudio más amplio de modelos es independiente de la comparación con el cliente Privado.

Los controles permiten probar el enrutamiento antes de modificar el tráfico

Governor ofrece las opciones Calidad, Equilibrado y Costo, además de un modo sombra que registra cómo enrutaría el tráfico de un equipo sin cambiar la forma en que se gestionan las solicitudes. Esto permite a los responsables de ingeniería inspeccionar las decisiones propuestas antes de activarlas.

Entre las medidas de protección adicionales se incluyen un límite máximo estricto para los precios, restricciones al enrutamiento hacia modelos más caros sin autorización y la posibilidad de recurrir al modelo solicitado si algo falla. Las decisiones de enrutamiento se registran junto con sus motivos.

Bito tiene previsto ampliar Governor más allá de los agentes de programación. Por ahora, el lanzamiento aborda un problema concreto de ingeniería: el costo de la exploración repetida y de las llamadas a modelos durante sesiones prolongadas de desarrollo de software.

La medida útil será el costo de completar el trabajo con éxito, junto con la calidad y el tiempo necesarios. La propuesta de Governor es que los equipos pueden mejorar esa medida si proporcionan mejor contexto a los agentes y asignan la capacidad de los modelos de forma más deliberada, sin pedir a los desarrolladores que abandonen las herramientas que ya utilizan.