Bito julkaisee Governorin koodausagenttien kustannusten vähentämiseksi kontekstin ja mallien reitityksen avulla

Koodausagentti voi käyttää suuren osan työskentelyajastaan oikeiden tiedostojen etsimiseen ennen kuin se tekee hyödyllisen muutoksen. Jokainen haku lisää kontekstia, joka voidaan välittää mallille myöhemmillä vuoroilla, jolloin vaatimattomasta tehtävästä kertyy yhä suurempi inferenssilasku. Bito pyrkii pienentämään kustannuksia molemmista syistä Governorilla, uudella mallien reitittimellä, joka yhdistää koodikannan kontekstin päätöksiin siitä, minkä mallin tulisi hoitaa työ.

Governor julkaistiin 27. lokakuuta, ja se sijoittuu nykyisten koodausagenttien ja niiden kutsumien mallien väliin. Biton mukaan se voi vähentää agenttien kustannuksia 40–70 % laadusta tinkimättä karsimalla tarpeetonta hakukontekstia ja valitsemalla sopivan mallin ja päättelyn tason. Kyseessä on yrityksen ilmoittama tulos, ei jokaiselle tiimille taattu säästö.

Tuote tukee työnkulkuja, joissa käytetään esimerkiksi Claude Codea, Cursoria ja Codexia. Tiimit ohjaavat agenttinsa yhteiseen päätepisteeseen sen sijaan, että ne korvaisivat kehittäjien jo käyttämän koodausympäristön.

Miksi pitkä koodausistunto voi maksaa odotettua enemmän

Tokenin hinta on vain osa agentin kustannuksista. Istuntoon voi sisältyä toistuvia hakuja, tiedostojen lukemista, muokkauksia ja testiajoja, ja niiden tuloksena syntynyt keskustelu välitetään uudelleen mallille myöhemmillä kutsukerroilla. Siksi tehtävän alkuvaiheessa luettu suuri tiedosto voi vaikuttaa kustannuksiin vielä pitkään sen jälkeen, kun agentti avasi sen ensimmäisen kerran.

Bito havainnollistaa ongelmaa yhdellä Claude Code -istunnolla, jossa haut palauttivat noin 65 000 tokenia. Yrityksen mukaan istunnon kokonaismäärä nousi lopulta kuuteen miljoonaan tokeniin, kun kertynyttä kontekstia käsiteltiin toistuvasti. Nämä luvut kuvaavat yhtä mitattua istuntoa, eivät jokaisen koodaustehtävän tavanomaisia kustannuksia.

Kehot välimuistiin tallentamalla toistuva syöte voi tulla halvemmaksi, mutta välimuistista käytettyjen ja uutena käsiteltyjen tokenien hinnoittelu eroaa toisistaan. Siksi kokonaiskustannus riippuu siitä, miten agentti toimii, mitä kontekstia se säilyttää ja säilyttääkö mallin vaihtaminen hyödyllisen välimuistin vai heikentääkö se sen käyttöä.

”Oikean mallin valinta on tärkeää, mutta yhtä tärkeää on kustannus, joka syntyy siitä, että agentti etsii koodia ja lähettää uudelleen kaiken jo näkemänsä”, sanoi Biton toinen perustaja ja toimitusjohtaja Amar Goel tiedotteessa.

Koodikontekstimoottori vähentää toistuvaa tutkimista

Governor ylläpitää yrityksen koodista jatkuvasti päivittyvää graafia. Kun agentin on tutkittava koodikantaa, Bito kertoo Governorin voivan tehdä tutkimustyön pienemmällä ja nopeammalla mallilla ja palauttaa tiivistetyn vastauksen, joka sisältää olennaisen koodikontekstin.

Säästöjä on tarkoitus saada välttämällä toistuvaa tutkimista huippumallilla ja pitämällä tarpeettomat hakutulokset poissa pääagentin keskustelusta. Kun agentti saa rajatun vastauksen, myöhemmillä vuoroilla mukana kulkevan kontekstin määrä muuttuu — ei pelkästään ensimmäisen haun hinta.

Biton alustan dokumentaatiossa kuvataan taustalla olevaa graafia tarkemmin. Se indeksoi symbolit, palvelutopologian, riippuvuudet ja repositorioiden väliset yhteydet sekä eri lähteistä, kuten tehtävienseurantajärjestelmistä, suunnitteluasiakirjoista ja teknisistä keskusteluista, saatavan kontekstin. Se kartoittaa myös tietokantojen skeemat, arkkitehtuurimallit ja käyttöönottoympäristön.

Näin tuote pystyy hakemaan laajemmalta pohjalta kuin pelkkiä tekstikatkelmia täsmäämällä. Autentikointiin tehtävää muutosta koskeva kysymys voi edellyttää, että selvitetään, mikä palvelu vastaa rajapinnasta, mitkä sitä käyttävät komponentit ovat siitä riippuvaisia ja miksi aiempi suunnittelupäätös tehtiin. Näiden yhteyksien hahmottaminen voi auttaa agenttia selvittämään muutoksen vaikutukset ennen koodin ehdottamista.

Tärkeintä on silti saada käyttökelpoista näyttöä. Biton Governor-esittelyssä kuvataan tiiviitä tutkimusvastauksia, joissa viitataan tiedostoihin ja rivinumeroihin. Näin pääagentti voi perustaa seuraavan vaiheensa todelliseen koodikantaan.

Reititys riippuu tehtävästä ja välimuistista

Governor valitsee myös käytettävän mallin ja päättelyn tason tehtävän mukaan. Biton mukaan se huomioi tehtävän tyypin, pinnallisen tai virheellisen vastauksen seuraukset, käyttäjän tarkoituksen ja istunnon aikana jo kertyneen välimuistin.

Tällä kontekstilla on merkitystä, kun lyhyeen viestiin sisältyy laaja ohje. ”Jatka vain” voi antaa luvan toteuttaa monimutkaisen suunnitelman, vaikka viestissä itsessään on vain vähän tekstiä. Viestin pituutta vaikeuden mittarina käyttävä reititin voi tulkita väärin, mitä kehittäjä todella pyytää agenttia tekemään.

Biton mukaan Governor tekee reitityspäätöksen uuden kehittäjän pyynnön alussa ja pitää valitsemansa reitin voimassa, kun agentti työskentelee tehtävän parissa. Se arvioi myös, ovatko mallin vaihtamisesta saatavat mahdolliset säästöt riittäviä korvaamaan olemassa olevan välimuistin tuoman hyödyn menettämisen.

Halvempi malli ei siis automaattisesti tarkoita, että seuraava kutsu olisi kokonaisuudessaan edullisin. Kalliimman mallin valmiiksi kertynyt välimuisti voi muuttaa laskelmaa etenkin silloin, kun keskustelu on jo pitkä. Myös päättelyasetukset vaikuttavat: syvempää analyysia vaativa tehtävä voi perustella lisälaskennan, mutta rutiinivaihe ei välttämättä.

Governorin käyttöönottoratkaisun tarkoituksena on säilyttää nykyiset työnkulut. Bito kertoo tukevansa Anthropic- ja OpenAI-yhteensopivia API-rajapintoja, toimivansa tiimin palveluntarjoajien avaimilla ja voivansa toimia olemassa olevan yhdyskäytävän rinnalla. Tämä kuvaa reitityskerrosta; tiimien on silti määritettävä agentit ja palveluntarjoajien käyttöoikeudet, joita ne aikovat käyttää.

Privadon mukaan kustannukset laskivat ja työvaiheita tarvittiin vähemmän

Julkaisun yhteydessä esitellyssä asiakasesimerkissä tietosuojaratkaisuja tarjoava Privado testasi hallitusti Claude Codessa omia ohjelmistokehitystehtäviään. Biton mukaan tehtäväkohtaiset kustannukset laskivat 4,12 dollarista 2,14 dollariin eli 48 prosenttia, ja agentti tarvitsi tehtävää kohti 23 työvaihetta aiemman 47:n sijaan.

Yhtiön mukaan laatu pysyi samana ja tehtävät valmistuivat 38 prosenttia nopeammin. Biton verkkosivuston mukaan asiakkaan A/B-vertailu kattoi 40 ohjelmistokehitystehtävää, ja siinä käytettiin samoja tehtäviä, mallia ja testausympäristöä; muuttujana oli Governor.

Nämä tiedot tekevät tuloksesta valaisevamman kuin yleisluontoinen säästöväite, mutta samalla ne osoittavat, että tulosten yleistettävyydellä on rajansa. Eri koodivarasto, tehtäväjakauma, palveluntarjoajajärjestely tai lähtömalli voi tuottaa erilaisen tasapainon tiedonhaun, välimuistin käytön ja päättelykustannusten välillä.

Bito julkaisee myös tutkimusta koodausmallien kustannuksista ja laadusta. Syyskuussa julkaistussa tutkimuksessa esitellään 29 mallia, joita testattiin 60 ohjelmistokehitystehtävällä; vastauksia arvioitiin 1 740. Joissakin tehtävissä tuloksia tarkistettiin suorittamalla koodia tai etsimällä tarkoituksella lisättyjä virheitä. Toisissa käytettiin tekoälyarvioijaa, joka vertasi vastauksia ennen testejä laadittuihin kriteereihin. Tämä laajempi mallivertailu on erillinen Privadon asiakasvertailusta.

Hallintatoimintojen avulla tiimit voivat testata reititystä ennen liikenteen ohjaamisen muuttamista

Governor tarjoaa Laatu-, Tasapainoinen- ja Kustannus-asetukset sekä varjotilan, joka tallentaa, miten se reitittäisi tiimin liikenteen muuttamatta pyyntöjen käsittelytapaa. Näin teknologiajohtajat voivat tarkastella ehdotettuja päätöksiä ennen niiden käyttöönottoa.

Muita suojatoimia ovat ehdoton hintakatto, rajoitukset kalliimpiin malleihin reitittämiselle ilman lupaa sekä siirtyminen pyydettyyn malliin, jos jokin menee pieleen. Reitityspäätökset ja niiden perustelut kirjataan lokiin.

Bito aikoo laajentaa Governoria koodausagenttien ulkopuolelle. Toistaiseksi julkaisu vastaa konkreettiseen ohjelmistokehityksen ongelmaan: toistuvan tutkimisen ja mallikutsujen kustannuksiin pitkien ohjelmistokehityssessioiden aikana.

Hyödyllinen mittari on työn onnistuneen valmistumisen kustannus yhdessä vaadittavan laadun ja ajan kanssa. Governorin lähtökohtana on, että tiimit voivat parantaa tätä mittaria tarjoamalla agenteille parempaa kontekstia ja kohdentamalla mallien suorituskykyä harkitummin pakottamatta kehittäjiä luopumaan jo käyttämistään työkaluista.