Bito lanserer Governor for å kutte kostnadene ved kodeagenter med kontekst og modellruting

En kodeagent kan bruke mye av en økt på å finne de riktige filene før den gjør en nyttig endring. Hvert søk tilfører kontekst som kan sendes tilbake til en modell i senere runder, slik at en beskjeden oppgave gir en stadig større inferenskostnad. Bito retter seg mot begge sider av dette kostnadsbildet med Governor, en ny modellruter som kombinerer kontekst fra kodebasen med avgjørelser om hvilken modell som skal utføre arbeidet.

Governor ble lansert 27. oktober og ligger mellom eksisterende kodeagenter og modellene de bruker. Bito sier at løsningen kan redusere agentkostnadene med 40 % til 70 % uten at kvaliteten svekkes, ved å kutte unødvendig søkekontekst og velge en passende modell og et passende resonneringsnivå. Dette intervallet er et resultat rapportert av selskapet, ikke en garantert besparelse for alle team.

Produktet støtter arbeidsflyter med verktøy som Claude Code, Cursor og Codex. Teamene kobler agentene til et felles endepunkt i stedet for å erstatte utviklingsmiljøet utviklerne allerede bruker.

Hvorfor en lang kodeøkt kan koste mer enn ventet

Prisen per token utgjør bare en del av agentens kostnad. En økt kan omfatte gjentatte søk, filavlesninger, redigeringer og testkjøringer, og den resulterende samtalen sendes på nytt ved senere modellkall. En stor fil som leses tidlig i oppgaven, kan derfor påvirke kostnadene lenge etter at agenten først åpnet den.

Bito illustrerer problemet med én økt i Claude Code der søkene ga omtrent 65 000 tokens. Ifølge selskapet førte gjentatt behandling av den oppsamlede konteksten til at økten totalt nådde seks millioner tokens. Disse tallene beskriver én målt økt, ikke en typisk kostnad for alle kodeoppgaver.

Hurtigbufring av prompt kan gjøre gjentatte inndata billigere, men hurtigbufrede tokens og tokens som behandles på nytt, prises forskjellig. Det betyr at den samlede kostnaden avhenger av hvordan agenten arbeider, hvilken kontekst den beholder, og om et modellbytte bevarer eller gir avkall på nyttig hurtigbufret tilstand.

«Det er viktig å velge riktig modell, men like viktig er kostnaden ved at agenten søker i koden og sender alt den allerede har sett, på nytt», sa Amar Goel, medgrunnlegger og administrerende direktør i Bito, i kunngjøringen.

En kontekstmotor for kode reduserer gjentatt utforsking

Governor vedlikeholder en løpende oppdatert graf over selskapets kode. Når en agent må undersøke kodebasen, kan Governor ifølge Bito utføre dette arbeidet med en mindre og raskere modell og returnere et konsist svar med relevant kodekontekst.

Den tiltenkte besparelsen kommer av å unngå gjentatt utforsking med en frontiermodell og holde unødvendige søkeresultater utenfor hovedagentens samtale. Et fokusert svar endrer hvor mye kontekst som blir med videre i senere runder, ikke bare prisen på det første oppslaget.

Bitос plattformsdokumentasjon beskriver den underliggende grafen nærmere. Den indekserer symboler, tjenestetopologi, avhengigheter og relasjoner på tvers av kodebaser, sammen med kontekst fra kilder som sakssporingssystemer, designdokumenter og tekniske diskusjoner. Den kartlegger også databaseskjemaer, arkitekturmønstre og utrullingskontekst.

Dermed har produktet et bredere søkegrunnlag enn bare tekstfragmenter. Et spørsmål om en endring i autentisering kan kreve at man identifiserer tjenesten som eier et grensesnitt, kallene som er avhengige av det, og begrunnelsen for en tidligere designbeslutning. Ved å koble sammen disse relasjonene kan agenten undersøke konsekvensene før den foreslår kode.

Det viktigste resultatet er fortsatt dokumentasjon som kan brukes. Bitос introduksjon av Governor beskriver konsise undersøkelsessvar knyttet til fil- og linjereferanser, slik at hovedagenten kan forankre neste steg i den faktiske kodebasen.

Ruting avhenger av oppgaven og hurtigbufferen

Governor velger også modell og resonneringsnivå ut fra arbeidet som skal utføres. Bito sier at løsningen tar hensyn til oppgavetypen, konsekvensene av et overfladisk eller feilaktig svar, brukerens hensikt og hurtigbufferen som allerede er bygget opp i løpet av økten.

Denne konteksten er viktig når en kort melding rommer en omfattende instruksjon. «Kjør på» kan gi tillatelse til å gjennomføre en kompleks plan, selv om meldingen i seg selv inneholder lite tekst. En ruter som bruker meldingslengde som mål på vanskelighetsgrad, kan overse hva utvikleren faktisk ber agenten om å gjøre.

Bito beskriver Governor som en løsning som tar en rutingsbeslutning når en ny forespørsel fra utvikleren kommer, og opprettholder dette valget mens agenten arbeider med oppgaven. Den vurderer også om den mulige besparelsen ved å bytte modell veier opp for tapet av fordelen ved en eksisterende hurtigbuffer.

En billigere modell er derfor ikke automatisk det rimeligste valget for neste modellkall. En varm hurtigbuffer på en dyrere modell kan endre regnestykket, særlig når samtalen allerede er lang. Resonneringsinnstillinger utgjør en ytterligere variabel: En oppgave som krever grundigere analyse, kan forsvare ekstra beregninger, mens et rutinemessig steg kanskje ikke gjør det.

Utformingen av Governor for utrulling skal bevare eksisterende arbeidsflyter. Bito sier at løsningen støtter API-er som er kompatible med Anthropic og OpenAI, bruker teamets leverandørnøkler og kan kjøre parallelt med en eksisterende gateway. Dette beskriver rutingslaget; teamene må fortsatt konfigurere agentene og tilgangen til leverandører som de har tenkt å bruke.

Privado rapporterer om lavere kostnader og færre trinn

I kundecase-studien som fulgte kunngjøringen, gjennomførte personvernprogramvareselskapet Privado en kontrollert test av tekniske oppgaver i Claude Code. Bito rapporterer at kostnaden per oppgave falt fra 4,12 dollar til 2,14 dollar, en reduksjon på 48 prosent, samtidig som agenten trengte 23 trinn per oppgave i stedet for 47.

Selskapet sier at kvaliteten holdt seg på samme nivå, og at oppgavene ble fullført 38 prosent raskere. På nettstedet sitt opplyser Bito at kundens A/B-sammenligning omfattet 40 tekniske oppgaver, der de samme oppgavene, modellen og testoppsettet ble brukt, mens Governor var den eneste variabelen.

Disse detaljene gjør resultatet mer opplysende enn en generell påstand om besparelser, men viser også at det er grenser for hvor bredt resultatet kan generaliseres. Et annet kodelager, en annen oppgavefordeling, et annet leverandøroppsett eller en annen startmodell kan gi en annen balanse mellom gjenfinning, bruk av hurtigbuffer og kostnader til resonnering.

Bito publiserer også forskning på kostnader og kvalitet for kodemodeller. Septemberstudien beskriver 29 modeller som ble testet på 60 tekniske oppgaver, med 1 740 vurderte svar. Noen oppgaver ble kontrollert ved å kjøre kode eller oppdage innplantede feil; for andre ble en KI-dommer brukt opp mot kriterier som var fastsatt før testene ble gjennomført. Denne bredere modellstudien er atskilt fra Privados kundesammenligning.

Kontroller gjør det mulig for team å teste rutingen før trafikken endres

Governor tilbyr innstillingene Kvalitet, Balansert og Kostnad, samt en skyggemodus som registrerer hvordan løsningen ville rutet trafikken til et team, uten å endre hvordan forespørslene håndteres. Dermed kan tekniske ledere undersøke de foreslåtte beslutningene før de aktiverer dem.

Ytterligere sikkerhetstiltak omfatter en fast øvre prisgrense, begrensninger på ruting til dyrere modeller uten tillatelse og overgang til den forespurte modellen hvis noe går galt. Rutevalgene loggføres sammen med begrunnelsene for dem.

Bito planlegger å utvide Governor til også å omfatte mer enn kodeagenter. Foreløpig retter lanseringen seg mot et konkret teknisk problem: kostnadene ved gjentatt utforsking og modellforespørsler under lange økter med programvareutvikling.

Det relevante målet blir kostnaden ved å fullføre arbeidet på en vellykket måte, sett i sammenheng med kvaliteten og tiden det krever. Governor bygger på ideen om at team kan forbedre dette målet ved å gi agentene bedre kontekst og fordele modellkapasiteten mer bevisst, uten å be utviklerne om å gi opp verktøyene de allerede bruker.