Bito lansează Governor pentru a reduce costurile agenților de codare prin context și rutarea modelelor

Un agent de codare poate petrece o mare parte dintr-o sesiune căutând fișierele potrivite înainte de a face o modificare utilă. Fiecare căutare adaugă context care poate fi retrimis unui model în etapele următoare, transformând o sarcină modestă într-un cost de inferență tot mai mare. Bito vizează ambele componente ale acestui cost cu Governor, un nou router de modele care combină contextul bazei de cod cu deciziile privind modelul potrivit pentru fiecare sarcină.

Lansat pe 27 octombrie, Governor se interpune între agenții de codare existenți și modelele pe care aceștia le apelează. Bito afirmă că poate reduce cheltuielile cu agenții cu 40%–70%, menținând în același timp calitatea, prin eliminarea contextului de căutare inutil și selectarea unui model și a unui nivel de raționament adecvate. Acest interval reprezintă un rezultat raportat de companie, nu o economie garantată pentru fiecare echipă.

Produsul este compatibil cu fluxuri de lucru care folosesc instrumente precum Claude Code, Cursor și Codex. Echipele își conectează agenții la un punct final comun, în loc să înlocuiască mediul de codare pe care dezvoltatorii îl folosesc deja.

De ce o sesiune lungă de codare poate costa mai mult decât te-ai aștepta

Prețul per jeton reprezintă doar o parte din costul unui agent. O sesiune poate include căutări repetate, citirea fișierelor, editări și rulări de teste, iar conversația rezultată este transmisă din nou la apelurile ulterioare ale modelului. Prin urmare, citirea unui fișier mare la începutul sarcinii poate influența costurile mult timp după ce agentul l-a deschis prima dată.

Bito ilustrează problema printr-o sesiune Claude Code în care căutările au returnat aproximativ 65.000 de jetoane. Până la final, procesarea repetată a contextului acumulat a dus totalul sesiunii la șase milioane de jetoane, potrivit companiei. Aceste cifre descriu o singură sesiune măsurată, nu costul obișnuit al fiecărei sarcini de codare.

Memorarea în cache a prompturilor poate reduce costul intrărilor repetate, însă jetoanele din cache și cele procesate pentru prima dată au prețuri diferite. Asta înseamnă că factura totală depinde de modul în care lucrează agentul, de contextul pe care îl păstrează și de măsura în care schimbarea modelului menține sau sacrifică starea utilă a cache-ului.

„Alegerea modelului potrivit este importantă, dar la fel de important este costul căutărilor agentului prin cod și al retrimiterii tuturor informațiilor pe care le-a văzut deja”, a declarat Amar Goel, cofondatorul și directorul general al Bito, în anunț.

Un motor de context pentru cod reduce explorarea repetată

Governor menține un graf actualizat în timp real al codului unei companii. Când un agent trebuie să investigheze baza de cod, Bito afirmă că Governor poate efectua această cercetare folosind un model mai mic și mai rapid, apoi poate furniza un răspuns sintetizat, însoțit de contextul relevant din cod.

Economia urmărită provine din evitarea explorării repetate cu un model de vârf și din excluderea rezultatelor de căutare inutile din conversația agentului principal. Furnizarea unui răspuns concentrat schimbă cantitatea de context transmisă în etapele următoare, nu doar prețul primei căutări.

Documentația platformei Bito descrie mai detaliat graful de bază. Aceasta indexează simboluri, topologia serviciilor, dependențele și relațiile dintre depozitele de cod, precum și contextul din surse precum instrumentele de urmărire a problemelor, documentele de proiectare și discuțiile tehnice. De asemenea, cartografiază schemele bazelor de date, modelele arhitecturale și contextul implementării.

Astfel, produsul poate regăsi informații dintr-o gamă mai largă de surse decât prin simpla potrivire a fragmentelor de text. O întrebare despre o modificare a autentificării poate necesita identificarea serviciului care gestionează o interfață, a componentelor care depind de aceasta și a motivelor din spatele unei decizii de proiectare anterioare. Conectarea acestor relații poate ajuta un agent să investigheze impactul înainte de a propune cod.

Rezultatul important rămâne furnizarea unor dovezi utilizabile. Prezentarea Governor de către Bito descrie răspunsuri concise la cercetare, însoțite de referințe la fișiere și linii de cod, care îi permit agentului principal să își fundamenteze următorul pas în baza de cod reală.

Rutarea depinde de sarcină și de cache

Governor alege, de asemenea, modelul și nivelul de raționament în funcție de activitatea desfășurată. Bito afirmă că ia în considerare tipul sarcinii, consecințele unui răspuns superficial sau incorect, intenția utilizatorului și cache-ul creat deja în timpul sesiunii.

Acest context contează atunci când un mesaj scurt conține o instrucțiune amplă. „Dă-i drumul” poate autoriza implementarea unui plan complex, chiar dacă mesajul în sine conține puțin text. Un router care folosește lungimea mesajului ca indicator al dificultății poate să nu înțeleagă ce îi cere, de fapt, dezvoltatorul agentului să facă.

Bito descrie Governor ca luând o decizie de rutare la începutul unei noi solicitări a dezvoltatorului și păstrând această alegere pe parcursul executării sarcinii de către agent. De asemenea, evaluează dacă economia potențială obținută prin schimbarea modelelor justifică pierderea avantajului oferit de un cache existent.

Prin urmare, următorul apel nu este automat cel mai ieftin doar pentru că folosește un model mai ieftin. Un cache încă activ pe un model mai scump poate schimba calculul, mai ales când conversația este deja lungă. Setările de raționament adaugă o altă variabilă: o sarcină care necesită o analiză mai profundă poate justifica un calcul suplimentar, în timp ce un pas obișnuit poate să nu îl justifice.

Designul de implementare al Governor este conceput pentru a păstra fluxurile de lucru existente. Bito afirmă că acceptă API-uri compatibile cu Anthropic și OpenAI, funcționează cu cheile furnizorilor echipei și poate rula alături de un gateway existent. Aceasta descrie stratul de rutare; echipele trebuie în continuare să configureze agenții și accesul la furnizori pe care intenționează să le folosească.

Privado raportează costuri mai mici și mai puțini pași

În exemplul oferit odată cu anunțul, compania de software pentru protecția confidențialității Privado a efectuat un test controlat cu sarcinile sale de inginerie în Claude Code. Bito raportează că costul per sarcină a scăzut de la 4,12 $ la 2,14 $, o reducere de 48%, în timp ce agentul a avut nevoie de 23 de pași per sarcină, în loc de 47.

Compania afirmă că nivelul de calitate a rămas același, iar sarcinile au fost finalizate cu 38% mai repede. Site-ul Bito precizează că testul A/B comparativ cu clientul a inclus 40 de sarcini de inginerie și a folosit aceleași sarcini, același model și același cadru de testare, Governor fiind singura variabilă.

Aceste detalii fac rezultatul mai relevant decât o afirmație generală privind economiile, dar arată și că există limite în privința posibilității de a-l generaliza. Un alt depozit de cod, un alt amestec de sarcini, o altă configurație a furnizorilor sau un alt model inițial pot duce la un echilibru diferit între regăsire, utilizarea memoriei cache și costul raționamentului.

Bito publică, de asemenea, cercetări privind costurile și calitatea modelelor de programare. Studiul său din septembrie prezintă 29 de modele testate pe 60 de sarcini de inginerie, cu 1.740 de răspunsuri evaluate. Unele sarcini au fost verificate prin rularea codului sau detectarea defectelor introduse intenționat; pentru altele, s-a folosit un evaluator IA, pe baza unor criterii stabilite înainte de rularea testelor. Acest studiu mai amplu despre modele este separat de comparația cu clientul Privado.

Controalele permit echipelor să testeze rutarea înainte de a schimba traficul

Governor oferă setările Calitate, Echilibrat și Cost, precum și un mod de simulare care înregistrează cum ar ruta traficul echipei, fără să schimbe modul de gestionare a solicitărilor. Astfel, liderii echipelor de inginerie pot examina deciziile propuse înainte de a le activa.

Măsurile suplimentare de protecție includ un plafon maxim de preț, restricții privind rutarea către modele mai scumpe fără permisiune și revenirea la modelul solicitat dacă apare o problemă. Deciziile de rutare sunt înregistrate împreună cu motivele care le-au determinat.

Bito intenționează să extindă Governor dincolo de agenții de programare. Deocamdată, lansarea vizează o problemă concretă din inginerie: costul explorării repetate și al apelurilor către modele în timpul sesiunilor lungi de dezvoltare software.

Indicatorul relevant va fi costul finalizării cu succes a activității, alături de calitate și de timpul necesar. Propunerea Governor este că echipele pot îmbunătăți acest indicator oferindu-le agenților un context mai bun și alocând mai deliberat capacitatea modelelor, fără să le ceară dezvoltatorilor să renunțe la instrumentele pe care le folosesc deja.