Bito lanserar Governor för att sänka kostnaderna för kodningsagenter med kontext och modellroutning

En kodningsagent kan ägna en stor del av en session åt att hitta rätt filer innan den gör en användbar ändring. Varje sökning tillför kontext som kan skickas tillbaka till en modell i senare turer, så att en måttlig uppgift leder till en växande inferenskostnad. Bito vill komma åt båda delarna av kostnaden med Governor, en ny modellrouter som kombinerar kontext från kodbasen med beslut om vilken modell som ska utföra arbetet.

Governor lanserades den 27 oktober och fungerar som ett mellanlager mellan befintliga kodningsagenter och modellerna de anropar. Bito uppger att lösningen kan minska agentkostnaderna med 40–70 procent utan att kvaliteten försämras, genom att begränsa onödig sökkontext och välja en lämplig modell och resonemangsnivå. Det spannet bygger på resultat som företaget rapporterat och innebär inte en garanterad besparing för varje team.

Produkten stöder arbetsflöden med verktyg som Claude Code, Cursor och Codex. I stället för att byta ut utvecklarnas befintliga kodningsmiljö riktar teamen sina agenter mot en gemensam slutpunkt.

Därför kan en lång kodningssession kosta mer än väntat

Priset per token är bara en del av agentens kostnad. En session kan omfatta upprepade sökningar, filläsningar, redigeringar och testkörningar, och den resulterande konversationen skickas med på nytt vid senare modellanrop. En stor fil som läses in tidigt i uppgiften kan därför påverka kostnaderna långt efter att agenten först öppnade den.

Bito illustrerar problemet med en session i Claude Code där sökningarna gav cirka 65 000 token. Enligt företaget uppgick sessionen till sammanlagt sex miljoner token när den ackumulerade kontexten hade bearbetats upprepade gånger. Siffrorna gäller en uppmätt session, inte den typiska kostnaden för varje kodningsuppgift.

Promptcachning kan göra upprepad indata billigare, men cachade och nybearbetade token prissätts olika. Den totala kostnaden beror därför på hur agenten arbetar, vilken kontext den behåller och om ett modellbyte bevarar eller går miste om värdefullt cacheinnehåll.

”Det är viktigt att välja rätt modell, men minst lika viktigt är kostnaden för att agenten söker igenom koden och skickar allt den redan har sett på nytt”, sade Amar Goel, Bitos medgrundare och vd, i tillkännagivandet.

En kodkontextmotor minskar behovet av upprepade sökningar

Governor upprätthåller en aktuell graf över ett företags kod. När en agent behöver undersöka kodbasen kan Governor enligt Bito utföra sökningen med en mindre och snabbare modell och returnera ett koncentrerat svar med relevant kodkontext.

Besparingen ska uppnås genom att undvika upprepade undersökningar med en frontiermodell och hålla onödiga sökresultat borta från huvudagentens konversation. Ett fokuserat svar förändrar hur mycket kontext som följer med i senare turer, inte bara kostnaden för den första sökningen.

Bitos plattformsdokumentation beskriver den underliggande grafen mer ingående. Den indexerar symboler, tjänstetopologi, beroenden och relationer mellan kodförråd, tillsammans med kontext från källor som ärendehanteringssystem, designdokument och tekniska diskussioner. Den kartlägger också databasscheman, arkitekturmönster och driftsättningskontext.

Det ger produkten ett bredare underlag för informationssökning än enbart matchning av textfragment. En fråga om en ändring i autentiseringen kan kräva att man identifierar tjänsten som ansvarar för ett gränssnitt, de anropare som är beroende av det och motiveringen bakom ett tidigare designbeslut. Genom att koppla samman de här relationerna kan en agent undersöka konsekvenserna innan den föreslår kod.

Det viktiga är att resultatet fortfarande är användbart underlag. Bitos introduktion till Governor beskriver kortfattade svar på undersökningar som hänvisar till filer och radnummer, så att huvudagenten kan grunda nästa steg i den faktiska kodbasen.

Routningen beror på uppgiften och cachen

Governor väljer också modell och resonemangsnivå utifrån arbetet som ska utföras. Bito uppger att lösningen tar hänsyn till uppgiftens typ, konsekvenserna av ett ytligt eller felaktigt svar, användarens avsikt och den cache som redan har byggts upp under sessionen.

Den kontexten spelar roll när ett kort meddelande innehåller en omfattande instruktion. ”Kör på” kan ge klartecken att genomföra en komplex plan, trots att själva meddelandet består av få ord. En router som använder meddelandets längd som mått på svårighetsgraden kan missa vad utvecklaren faktiskt ber agenten att göra.

Bito beskriver Governor som en lösning som fattar ett routningsbeslut när en ny utvecklarförfrågan kommer in och behåller det valet medan agenten arbetar med uppgiften. Den väger också in om den möjliga besparingen med att byta modell motiverar att man går miste om fördelen med en befintlig cache.

En billigare modell innebär därför inte automatiskt att nästa anrop blir billigast. En redan uppvärmd cache i en dyrare modell kan förändra kalkylen, särskilt när konversationen redan är lång. Resonemangsinställningarna är ytterligare en faktor: en uppgift som kräver djupare analys kan motivera mer beräkningsarbete, medan ett rutinmässigt steg kanske inte gör det.

Utformningen av Governors driftsättning är tänkt att bevara befintliga arbetsflöden. Bito uppger att lösningen stöder API:er som är kompatibla med Anthropic och OpenAI, använder teamets leverantörsnycklar och kan köras parallellt med en befintlig gateway. Det beskriver routningslagret; teamen behöver fortfarande konfigurera de agenter och den leverantörsåtkomst som de tänker använda.

Privado rapporterar lägre kostnader och färre steg

I kundexemplet som presenterades i samband med tillkännagivandet genomförde integritetsmjukvaruföretaget Privado ett kontrollerat test av sina tekniska arbetsuppgifter i Claude Code. Bito uppger att kostnaden per uppgift sjönk från 4,12 till 2,14 dollar, en minskning med 48 %, samtidigt som agenten behövde 23 steg per uppgift i stället för 47.

Företaget uppger att kvaliteten förblev densamma och att uppgifterna slutfördes 38 % snabbare. På Bitos webbplats anges att kundens A/B-jämförelse omfattade 40 tekniska arbetsuppgifter och använde samma uppgifter, modell och testmiljö, med Governor som enda variabel.

De här uppgifterna gör resultatet mer informativt än ett allmänt besparingspåstående, men visar också begränsningarna i hur långt det går att generalisera. Ett annat kodförråd, en annan blandning av uppgifter, en annan leverantörskonfiguration eller en annan utgångsmodell kan ge en annan balans mellan informationshämtning, cacheanvändning och kostnader för resonemang.

Bito publicerar också forskning om kodningsmodellernas kostnader och kvalitet. I studien från september beskrivs 29 modeller som testats på 60 tekniska arbetsuppgifter, med 1 740 bedömda svar. Vissa uppgifter kontrollerades genom att köra kod eller upptäcka inplanterade fel; för andra användes en AI-bedömare utifrån kriterier som hade fastställts före körningarna. Den här bredare modellstudien är fristående från kundjämförelsen med Privado.

Kontroller gör det möjligt för team att testa routningen innan trafiken ändras

Governor erbjuder inställningarna Kvalitet, Balanserad och Kostnad, samt ett skuggläge som registrerar hur lösningen skulle routa ett teams trafik utan att ändra hur förfrågningarna hanteras. Det ger tekniska chefer möjlighet att granska de föreslagna besluten innan de aktiverar dem.

Ytterligare skyddsåtgärder omfattar ett fast kostnadstak, begränsningar av routning till dyrare modeller utan tillstånd och återgång till den begärda modellen om något går fel. Routningsbesluten loggas tillsammans med motiveringarna.

Bito planerar att utöka Governor till fler områden än kodningsagenter. I nuläget tar lanseringen itu med ett konkret tekniskt problem: kostnaden för upprepad utforskning och upprepade modellförfrågningar under långa mjukvaruutvecklingssessioner.

Det relevanta måttet blir kostnaden för att slutföra arbetet framgångsrikt, tillsammans med den kvalitet och tid som krävs. Governors löfte är att team kan förbättra det måttet genom att ge agenterna bättre kontext och fördela modellkapaciteten mer medvetet, utan att be utvecklarna överge de verktyg de redan använder.