Bito lance Governor pour réduire les coûts des agents de codage grâce au contexte et au routage des modèles

Un agent de codage peut consacrer une grande partie d’une session à trouver les bons fichiers avant d’apporter une modification utile. Chaque recherche ajoute du contexte susceptible d’être renvoyé à un modèle lors des échanges suivants, transformant une tâche modeste en une facture d’inférence qui ne cesse de grimper. Bito s’attaque aux deux aspects de ce coût avec Governor, un nouveau routeur de modèles qui associe le contexte de la base de code au choix du modèle le mieux adapté au travail.

Lancé le 27 octobre, Governor s’intercale entre les agents de codage existants et les modèles auxquels ils font appel. Bito affirme que l’outil peut réduire les dépenses liées aux agents de 40 % à 70 % tout en maintenant la qualité, en limitant le contexte de recherche superflu et en sélectionnant un modèle et un niveau de raisonnement adaptés. Cette fourchette correspond à un résultat communiqué par l’entreprise, et non à une économie garantie pour toutes les équipes.

Le produit prend en charge les flux de travail utilisant des outils tels que Claude Code, Cursor et Codex. Les équipes configurent leurs agents pour qu’ils utilisent un point de terminaison commun, au lieu de remplacer l’environnement de codage dont les développeurs se servent déjà.

Pourquoi une longue session de codage peut coûter plus cher que prévu

Le prix par jeton ne représente qu’une partie de la facture d’un agent. Une session peut comporter des recherches répétées, la lecture de fichiers, des modifications et des exécutions de tests, la conversation qui en résulte étant de nouveau transmise lors des appels ultérieurs au modèle. La lecture d’un fichier volumineux au début de la tâche peut donc continuer d’influer sur les coûts longtemps après que l’agent l’a ouvert pour la première fois.

Bito illustre le problème avec une session de Claude Code au cours de laquelle les recherches ont renvoyé environ 65 000 jetons. À la fin, le traitement répété du contexte accumulé avait porté le total de la session à six millions de jetons, selon l’entreprise. Ces chiffres décrivent une session mesurée, et non le coût typique de chaque tâche de codage.

La mise en cache des invites peut réduire le coût des entrées répétées, mais les jetons mis en cache et ceux qui sont nouvellement traités ne sont pas facturés au même tarif. La facture totale dépend donc de la façon dont l’agent travaille, du contexte qu’il conserve et de la possibilité qu’un changement de modèle préserve ou fasse perdre un état de cache utile.

« Choisir le bon modèle est important, mais le coût des recherches de code effectuées par l’agent et de la retransmission de tout ce qu’il a déjà vu l’est tout autant », a déclaré Amar Goel, cofondateur et PDG de Bito, dans l’annonce.

Un moteur de contexte du code limite les explorations répétées

Governor tient à jour un graphe évolutif du code d’une entreprise. Lorsqu’un agent doit examiner la base de code, Bito affirme que Governor peut effectuer cette recherche à l’aide d’un modèle plus petit et plus rapide, puis fournir une réponse synthétique accompagnée du contexte de code pertinent.

Les économies visées reposent sur l’élimination des explorations répétées avec un modèle de pointe et sur l’exclusion des résultats de recherche superflus de la conversation de l’agent principal. Une réponse ciblée modifie la quantité de contexte conservée lors des échanges suivants, et pas seulement le prix de la première recherche.

La documentation de la plateforme de Bito décrit plus en détail le graphe sous-jacent. Celui-ci indexe les symboles, la topologie des services, les dépendances et les relations entre les dépôts, ainsi que le contexte provenant de sources telles que les outils de suivi des problèmes, les documents de conception et les échanges techniques. Il cartographie également les schémas de bases de données, les modèles architecturaux et le contexte de déploiement.

Le produit peut ainsi effectuer des recherches plus larges que le simple repérage de fragments de texte. Une question portant sur une modification de l’authentification peut nécessiter de déterminer quel service gère une interface, quels appelants en dépendent et quelles raisons ont motivé une décision de conception antérieure. La mise en relation de ces éléments peut aider un agent à étudier les répercussions avant de proposer du code.

L’essentiel est de fournir des éléments probants exploitables. La présentation de Governor par Bito décrit des réponses de recherche concises, associées à des références de fichiers et de lignes, qui permettent à l’agent principal d’appuyer l’étape suivante sur la base de code réelle.

Le routage dépend de la tâche et du cache

Governor choisit également le modèle et le niveau de raisonnement en fonction du travail à effectuer. Bito affirme que l’outil prend en compte le type de tâche, les conséquences d’une réponse superficielle ou erronée, l’intention de l’utilisateur et le cache déjà constitué au cours de la session.

Ce contexte compte lorsqu’un message bref contient une instruction importante. « Vas-y » peut autoriser la mise en œuvre d’un plan complexe, même si le message lui-même comporte peu de texte. Un routeur qui prend la longueur du message pour un indicateur de difficulté risque de ne pas comprendre ce que le développeur demande réellement à l’agent.

Bito explique que Governor prend une décision de routage au début de chaque nouvelle demande d’un développeur, puis maintient ce choix pendant que l’agent exécute la tâche. L’outil évalue également si les économies potentielles d’un changement de modèle justifient la perte des avantages du cache existant.

Un modèle moins cher ne garantit donc pas que le prochain appel le sera aussi. Un cache déjà alimenté sur un modèle plus coûteux peut changer la donne, en particulier lorsque la conversation est déjà longue. Les paramètres de raisonnement constituent une variable supplémentaire : une tâche nécessitant une analyse plus approfondie peut justifier davantage de calcul, tandis qu’une étape courante ne le nécessite pas forcément.

La conception du déploiement de Governor vise à préserver les flux de travail existants. Bito indique que Governor prend en charge les API compatibles avec Anthropic et OpenAI, fonctionne avec les clés des fournisseurs de l’équipe et peut coexister avec une passerelle déjà en place. Cela décrit la couche de routage ; les équipes doivent toujours configurer les agents et les accès aux fournisseurs qu’elles comptent utiliser.

Privado fait état de coûts réduits et d’un nombre d’étapes moindre

Dans l’exemple client fourni avec l’annonce, Privado, une entreprise spécialisée dans les logiciels de protection de la vie privée, a mené un test contrôlé sur ses tâches d’ingénierie dans Claude Code. Bito indique que le coût par tâche est passé de 4,12 $ à 2,14 $, soit une baisse de 48 %, tandis que l’agent n’avait besoin que de 23 étapes par tâche, contre 47 auparavant.

L’entreprise affirme que la qualité est restée la même et que les tâches ont été réalisées 38 % plus rapidement. Le site Web de Bito précise que la comparaison client A/B portait sur 40 tâches d’ingénierie, réalisées avec les mêmes tâches, le même modèle et le même banc d’essai, Governor étant la seule variable.

Ces précisions rendent le résultat plus instructif qu’une affirmation générale d’économies, tout en soulignant les limites de sa généralisation. Un autre dépôt de code, une combinaison de tâches différente, une configuration de fournisseurs distincte ou un modèle de départ différent peuvent entraîner un autre équilibre entre la récupération de données, l’utilisation du cache et le coût du raisonnement.

Bito publie également des recherches sur le coût et la qualité des modèles de génération de code. Son étude de septembre présente 29 modèles testés sur 60 tâches d’ingénierie, avec 1 740 réponses évaluées. Certaines tâches ont été vérifiées en exécutant du code ou en détectant des défauts introduits à dessein ; pour d’autres, un évaluateur IA a appliqué des critères définis avant les essais. Cette étude plus vaste sur les modèles est distincte de la comparaison menée auprès du client Privado.

Des contrôles permettent aux équipes de tester le routage avant de modifier le trafic

Governor propose les réglages Qualité, Équilibré et Coût, ainsi qu’un mode fantôme qui consigne la manière dont il routerait le trafic d’une équipe sans modifier le traitement des requêtes. Les responsables de l’ingénierie peuvent ainsi examiner les décisions proposées avant de les activer.

Parmi les garde-fous supplémentaires figurent un plafond de prix strict, des restrictions empêchant le routage vers des modèles plus coûteux sans autorisation, ainsi qu’un basculement vers le modèle demandé en cas de problème. Les décisions de routage sont enregistrées avec leurs motifs.

Bito prévoit d’étendre Governor au-delà des agents de programmation. Pour l’instant, ce lancement répond à un problème concret d’ingénierie : le coût des explorations répétées et des appels aux modèles au cours de longues sessions de développement logiciel.

Le critère pertinent sera le coût nécessaire pour mener à bien le travail, en tenant compte également de la qualité et du temps requis. Governor propose aux équipes d’améliorer ce critère en fournissant aux agents un meilleur contexte et en attribuant les capacités des modèles de manière plus réfléchie, sans demander aux développeurs d’abandonner les outils qu’ils utilisent déjà.