Bito lancerer Governor for at sænke kodeagenters omkostninger med kontekst og modelrouting

En kodeagent kan bruge en stor del af en session på at finde de rigtige filer, før den foretager en nyttig ændring. Hver søgning tilføjer kontekst, som kan blive sendt tilbage til en model i senere runder og dermed forvandle en beskeden opgave til en voksende inferensregning. Bito vil reducere begge dele af disse omkostninger med Governor, en ny modelrouter, der kombinerer kontekst fra kodebasen med beslutninger om, hvilken model der skal udføre arbejdet.

Governor blev lanceret den 27. oktober og fungerer som bindeled mellem eksisterende kodeagenter og de modeller, de kalder. Bito oplyser, at løsningen kan reducere agenternes forbrug med 40 % til 70 % uden at gå på kompromis med kvaliteten ved at begrænse unødvendig søgekontekst og vælge en passende model og et passende ræsonneringsniveau. Dette interval er et resultat rapporteret af virksomheden, ikke en garanteret besparelse for alle teams.

Produktet understøtter arbejdsgange med værktøjer som Claude Code, Cursor og Codex. Teams indstiller deres agenter til at bruge et fælles slutpunkt i stedet for at udskifte det kodningsmiljø, udviklerne allerede bruger.

Derfor kan en lang kodningssession koste mere end forventet

Prisen pr. token udgør kun en del af en agents regning. En session kan omfatte gentagne søgninger, fillæsninger, redigeringer og testkørsler, og den resulterende samtale sendes igen ved efterfølgende modelkald. En stor fil, der læses tidligt i opgaven, kan derfor påvirke omkostningerne længe efter, at agenten først åbnede den.

Bito illustrerer problemet med en enkelt session i Claude Code, hvor søgningerne returnerede cirka 65.000 tokens. Ved sessionens afslutning havde gentagen behandling af den opsamlede kontekst ifølge virksomheden bragt det samlede forbrug op på seks millioner tokens. Tallene beskriver én målt session, ikke en typisk omkostning for enhver kodningsopgave.

Prompt-caching kan gøre gentagne input billigere, men cachelagrede tokens og nybehandlede tokens har forskellige priser. Derfor afhænger den samlede regning af, hvordan agenten arbejder, hvilken kontekst den bevarer, og om et skift af model bevarer eller går glip af nyttige cachedata.

»Det er vigtigt at vælge den rigtige model, men lige så vigtigt er det, hvad det koster for agenten at søge i koden og sende alt det, den allerede har set, igen,« sagde Amar Goel, Bitos medstifter og administrerende direktør, i meddelelsen.

En motor til kodekontekst begrænser gentagen udforskning

Governor vedligeholder en løbende opdateret graf over en virksomheds kode. Når en agent skal undersøge kodebasen, kan Governor ifølge Bito udføre undersøgelsen med en mindre og hurtigere model og returnere et kondenseret svar med den relevante kodekontekst.

Besparelsen skal opnås ved at undgå gentagen udforskning med en frontier-model og holde unødvendige søgeresultater ude af hovedagentens samtale. Et fokuseret svar ændrer mængden af kontekst, der føres videre gennem senere runder, og ikke kun prisen på det første opslag.

Bitos platformsdokumentation beskriver den underliggende graf mere detaljeret. Den indekserer symboler, tjenestetopologi, afhængigheder og relationer på tværs af kodearkiver samt kontekst fra kilder som fejlsporingssystemer, designdokumenter og tekniske diskussioner. Den kortlægger også databaseskemaer, arkitekturmønstre og implementeringskontekst.

Det giver produktet et bredere grundlag for informationssøgning end blot matchning af tekstfragmenter. Et spørgsmål om en ændring af godkendelsesmekanismen kan kræve, at man finder den tjeneste, der ejer en grænseflade, de kaldere, der er afhængige af den, og begrundelsen for en tidligere designbeslutning. Ved at forbinde disse relationer kan en agent undersøge konsekvenserne, før den foreslår kode.

Det afgørende er stadig, at resultatet er brugbar dokumentation. Bitos introduktion til Governor beskriver præcise undersøgelsessvar med henvisninger til filer og linjer, så hovedagenten kan basere næste skridt på den faktiske kodebase.

Routingen afhænger af opgaven og cachen

Governor vælger også model og ræsonneringsniveau ud fra det arbejde, der skal udføres. Bito oplyser, at løsningen tager højde for opgavetypen, konsekvenserne af et overfladisk eller forkert svar, brugerens hensigt og den cache, der allerede er opbygget i sessionen.

Denne kontekst er vigtig, når en kort besked rummer en omfattende instruktion. »Bare gå i gang« kan give tilladelse til at implementere en kompleks plan, selv om beskeden i sig selv indeholder meget lidt tekst. En router, der bruger beskedens længde som mål for sværhedsgraden, kan overse, hvad udvikleren faktisk beder agenten om at gøre.

Bito beskriver Governor som en løsning, der træffer en routingbeslutning, når en ny udvikleranmodning modtages, og fastholder valget, mens agenten arbejder med opgaven. Den afvejer også, om den mulige besparelse ved at skifte model opvejer tabet af fordelen ved en eksisterende cache.

En billigere model er derfor ikke automatisk det billigste valg til det næste kald. En varm cache på en dyrere model kan ændre regnestykket, især når samtalen allerede er lang. Indstillingerne for ræsonnering udgør endnu en faktor: En opgave, der kræver en dybere analyse, kan berettige yderligere beregning, mens et rutinepræget trin måske ikke gør det.

Governors implementeringsdesign skal bevare de eksisterende arbejdsgange. Bito oplyser, at løsningen understøtter API’er, der er kompatible med Anthropic og OpenAI, bruger teamets nøgler til udbyderne og kan køre side om side med en eksisterende gateway. Det beskriver routinglaget; teams skal stadig konfigurere de agenter og den adgang til udbydere, de har til hensigt at bruge.

Privado rapporterer lavere omkostninger og færre trin

I det kundecase-eksempel, der fulgte med lanceringen, gennemførte softwarevirksomheden Privado, der udvikler løsninger til beskyttelse af privatlivets fred, en kontrolleret test af sine tekniske opgaver i Claude Code. Bito rapporterer, at omkostningen pr. opgave faldt fra 4,12 $ til 2,14 $, et fald på 48 %, mens agenten kun behøvede 23 trin pr. opgave i stedet for 47.

Virksomheden oplyser, at kvaliteten forblev den samme, og at opgaverne blev løst 38 % hurtigere. På Bitos website beskrives kundens A/B-sammenligning som en test af 40 tekniske opgaver, hvor de samme opgaver, den samme model og det samme testmiljø blev brugt, mens Governor var den eneste variabel.

Disse oplysninger gør resultatet mere oplysende end en generel påstand om besparelser, men sætter samtidig grænser for, hvor bredt det kan generaliseres. Et andet repository, en anden opgavefordeling, en anden udbyderkonfiguration eller en anden startmodel kan føre til en anden balance mellem informationssøgning, cachebrug og omkostninger til ræsonnering.

Bito offentliggør også undersøgelser af omkostninger og kvalitet ved kodningsmodeller. Deres undersøgelse fra september beskriver 29 modeller, der blev testet på 60 tekniske opgaver, med 1.740 bedømte svar. Nogle opgaver blev kontrolleret ved at køre kode eller finde indplantede fejl; andre blev vurderet af en AI-dommer ud fra kriterier, der var fastlagt før testene. Denne bredere undersøgelse af modeller er adskilt fra kundesammenligningen med Privado.

Kontroller gør det muligt for teams at afprøve routing, før trafikken ændres

Governor tilbyder indstillingerne Kvalitet, Afbalanceret og Omkostning samt en skyggetilstand, der registrerer, hvordan løsningen ville dirigere et teams trafik, uden at ændre håndteringen af anmodningerne. Det giver tekniske ledere mulighed for at gennemgå de foreslåede beslutninger, før de aktiverer dem.

Yderligere sikkerhedsforanstaltninger omfatter et fast prisloft, begrænsninger på routing til dyrere modeller uden tilladelse samt en overgang til den ønskede model, hvis noget går galt. Routingbeslutningerne logges sammen med begrundelserne for dem.

Bito planlægger at udvide Governor til også at omfatte andre agenter end kodningsagenter. Lanceringen adresserer indtil videre et konkret teknisk problem: omkostningerne ved gentagne udforskninger og modelkald under lange softwareudviklingsforløb.

Det relevante mål vil være omkostningen ved at få arbejdet løst med succes, set i sammenhæng med den nødvendige kvalitet og tid. Governors påstand er, at teams kan forbedre dette mål ved at give agenterne bedre kontekst og fordele modelkapaciteten mere målrettet, uden at bede udviklerne om at opgive de værktøjer, de allerede bruger.