Bito lanceert Governor om de kosten van programmeeragenten te verlagen met context- en modelroutering

Een programmeeragent kan een groot deel van een sessie besteden aan het zoeken naar de juiste bestanden voordat hij een nuttige wijziging aanbrengt. Elke zoekopdracht voegt context toe die bij latere beurten opnieuw naar een model kan worden gestuurd, waardoor een bescheiden taak steeds hogere inferentiekosten met zich meebrengt. Bito pakt beide kanten van die kosten aan met Governor, een nieuwe modelrouter die context uit de codebase combineert met beslissingen over welk model het werk moet uitvoeren.

Governor werd op 27 oktober gelanceerd en bevindt zich tussen bestaande programmeeragenten en de modellen die zij aanroepen. Volgens Bito kan het de uitgaven aan agenten met 40% tot 70% verlagen zonder kwaliteitsverlies, door onnodige zoekcontext te beperken en een passend model en redeneerniveau te kiezen. Dat percentage is een door het bedrijf gerapporteerd resultaat, geen gegarandeerde besparing voor elk team.

Het product ondersteunt workflows met tools als Claude Code, Cursor en Codex. Teams laten hun agenten verbinding maken met één gemeenschappelijk eindpunt, in plaats van de programmeeromgeving te vervangen die ontwikkelaars al gebruiken.

Waarom een lange programmeersessie meer kan kosten dan verwacht

De prijs per token is slechts een deel van de kosten van een agent. Een sessie kan bestaan uit herhaalde zoekopdrachten, het lezen van bestanden, bewerkingen en testruns, waarbij het resulterende gesprek bij volgende modelaanroepen opnieuw wordt meegestuurd. Een bestand dat vroeg in de taak in zijn geheel wordt gelezen, kan de kosten daardoor nog beïnvloeden lang nadat de agent het voor het eerst heeft geopend.

Bito illustreert het probleem aan de hand van één Claude Code-sessie waarin zoekopdrachten ongeveer 65.000 tokens opleverden. Tegen het einde was het totaal van de sessie door herhaalde verwerking van de opgebouwde context volgens het bedrijf opgelopen tot zes miljoen tokens. Die cijfers beschrijven één gemeten sessie, niet de gebruikelijke kosten van elke programmeertaak.

Promptcaching kan herhaalde invoer goedkoper maken, maar voor gecachte en nieuw verwerkte tokens gelden verschillende prijzen. De totale rekening hangt daardoor af van hoe de agent werkt, welke context hij bewaart en of een modelwissel de bruikbare cache intact laat of verloren laat gaan.

‘Het is belangrijk om het juiste model te kiezen, maar net zo belangrijk zijn de kosten van de agent die de code doorzoekt en alles wat hij al heeft gezien opnieuw verstuurt’, zei Amar Goel, medeoprichter en CEO van Bito, in de aankondiging.

Een contextengine voor code beperkt herhaald verkennen

Governor houdt een actuele graaf van de code van een bedrijf bij. Wanneer een agent de codebase moet onderzoeken, kan Governor dat onderzoek volgens Bito uitvoeren met een kleiner, sneller model en een beknopt antwoord met de relevante codecontext teruggeven.

De beoogde besparing komt voort uit het voorkomen dat een geavanceerd model herhaaldelijk de code verkent en uit het buiten het gesprek van de hoofdagent houden van onnodige zoekresultaten. Een gericht antwoord verandert hoeveel context in volgende beurten wordt meegenomen, en niet alleen de kosten van de eerste zoekopdracht.

De platformdocumentatie van Bito beschrijft de onderliggende graaf uitvoeriger. Het systeem indexeert symbolen, de topologie van services, afhankelijkheden en relaties tussen repositories, en combineert die met context uit bronnen zoals issuetrackers, ontwerpdocumenten en technische discussies. Ook brengt het databaseschema’s, architectuurpatronen en de implementatiecontext in kaart.

Daardoor kan het product informatie uit meer bronnen ophalen dan alleen overeenkomende tekstfragmenten. Voor een vraag over een wijziging in de authenticatie moet mogelijk worden vastgesteld welke service verantwoordelijk is voor een interface, welke aanroepers ervan afhankelijk zijn en wat de reden was voor een eerdere ontwerpbeslissing. Door die relaties met elkaar te verbinden, kan een agent de gevolgen onderzoeken voordat hij code voorstelt.

De belangrijkste uitvoer bestaat nog altijd uit bruikbaar bewijs. De introductie van Governor van Bito beschrijft beknopte onderzoeksantwoorden met verwijzingen naar bestanden en regelnummers, zodat de hoofdagent de volgende stap kan baseren op de daadwerkelijke codebase.

De routering hangt af van de taak en de cache

Governor kiest ook het model en het redeneerniveau op basis van het werk dat wordt uitgevoerd. Volgens Bito houdt het systeem rekening met het type taak, de gevolgen van een oppervlakkig of onjuist antwoord, de bedoeling van de gebruiker en de cache die tijdens de sessie al is opgebouwd.

Die context is van belang wanneer een kort bericht een uitgebreide opdracht bevat. ‘Ga je gang’ kan toestemming geven om een complex plan uit te voeren, ook al bevat het bericht zelf weinig tekst. Een router die de lengte van een bericht gebruikt als maatstaf voor de moeilijkheidsgraad, kan missen wat de ontwikkelaar de agent daadwerkelijk vraagt te doen.

Bito beschrijft Governor als een systeem dat aan het begin van een nieuw verzoek van een ontwikkelaar een routeringsbeslissing neemt en die keuze handhaaft terwijl de agent de taak uitvoert. Het systeem weegt ook af of de mogelijke besparing door van model te wisselen opweegt tegen het verlies van het voordeel van een bestaande cache.

Een goedkoper model is dus niet automatisch de voordeligste keuze voor de volgende aanroep. Een reeds gevulde cache op een duurder model kan de berekening veranderen, vooral wanneer het gesprek al lang is. Ook de redeneerinstellingen spelen mee: een taak die diepgaandere analyse vereist, kan extra rekenwerk rechtvaardigen, terwijl dat voor een routinematige stap misschien niet nodig is.

Het implementatieontwerp van Governor is bedoeld om bestaande werkprocessen intact te laten. Bito zegt dat het compatibel is met de API’s van Anthropic en OpenAI, werkt met de provider-API-sleutels van een team en naast een bestaande gateway kan draaien. Dit beschrijft de routeringslaag; teams moeten de agents en providerstoegang die ze willen gebruiken nog steeds configureren.

Privado meldt lagere kosten en minder stappen

In het klantvoorbeeld bij de aankondiging voerde privacysoftwarebedrijf Privado een gecontroleerde test uit met zijn technische taken in Claude Code. Volgens Bito daalden de kosten per taak van $4,12 naar $2,14, een afname van 48%, terwijl de agent per taak 23 stappen nodig had in plaats van 47.

Het bedrijf zegt dat de kwaliteit gelijk bleef en dat taken 38% sneller werden afgerond. Op de website van Bito staat dat de A/B-vergelijking bij de klant 40 technische taken omvatte, waarbij dezelfde taken, hetzelfde model en dezelfde testopstelling werden gebruikt en Governor de variabele was.

Dankzij die details is het resultaat informatiever dan een algemene besparingsclaim, maar blijft het onduidelijk in hoeverre het kan worden veralgemeniseerd. Een andere repository, taakverdeling, providerconfiguratie of een ander uitgangsmodel kan leiden tot een andere balans tussen het ophalen van informatie, cachegebruik en redeneerkosten.

Bito publiceert ook onderzoek naar de kosten en kwaliteit van coderingsmodellen. In het onderzoek van september worden 29 modellen beschreven die zijn getest aan de hand van 60 technische taken, met 1.740 beoordeelde antwoorden. Sommige taken werden gecontroleerd door code uit te voeren of opzettelijk aangebrachte fouten op te sporen; bij andere werd een AI-beoordelaar ingezet aan de hand van criteria die vóór de tests waren opgesteld. Dit bredere modelonderzoek staat los van de klantvergelijking met Privado.

Met deze opties kunnen teams de routering testen voordat ze het verkeer omleiden

Governor biedt de instellingen Kwaliteit, Gebalanceerd en Kosten, naast een schaduwmodus die registreert hoe het het verkeer van een team zou routeren zonder de afhandeling van verzoeken te veranderen. Zo kunnen technische leidinggevenden de voorgestelde beslissingen bekijken voordat ze die inschakelen.

Aanvullende waarborgen zijn onder meer een harde prijslimiet, beperkingen op routering naar duurdere modellen zonder toestemming en terugvallen op het aangevraagde model als er iets misgaat. Routeringsbeslissingen worden met de bijbehorende redenen vastgelegd.

Bito is van plan Governor ook beschikbaar te maken voor andere toepassingen dan codeeragents. Voorlopig richt de lancering zich op een concreet technisch probleem: de kosten van herhaald verkennen en modelaanroepen tijdens lange softwareontwikkelsessies.

De relevante maatstaf is hoeveel het kost om werk succesvol af te ronden, in samenhang met de kwaliteit en de benodigde tijd. Governor belooft dat teams die maatstaf kunnen verbeteren door agents betere context te geven en modelcapaciteit doelgerichter in te zetten, zonder ontwikkelaars te vragen afstand te doen van de tools die ze al gebruiken.