Bito lancia Governor per ridurre i costi degli agenti di programmazione grazie al contesto e all’instradamento dei modelli

Un agente di programmazione può trascorrere gran parte di una sessione a cercare i file giusti prima di apportare una modifica utile. Ogni ricerca aggiunge contesto che può essere reinviato a un modello nei turni successivi, trasformando un’attività modesta in una spesa di inferenza sempre più elevata. Bito punta a ridurre entrambi gli aspetti di questo costo con Governor, un nuovo router di modelli che combina il contesto della base di codice con decisioni su quale modello dovrebbe occuparsi del lavoro.

Lanciato il 27 ottobre, Governor si interpone tra gli agenti di programmazione esistenti e i modelli che utilizzano. Bito afferma che può ridurre la spesa per gli agenti dal 40% al 70% mantenendo la qualità, eliminando il contesto di ricerca superfluo e selezionando un modello e un livello di ragionamento adeguati. Questa percentuale è un risultato riportato dall’azienda, non un risparmio garantito per ogni team.

Il prodotto supporta flussi di lavoro che utilizzano strumenti come Claude Code, Cursor e Codex. I team indirizzano i propri agenti verso un endpoint comune, invece di sostituire l’ambiente di programmazione già utilizzato dagli sviluppatori.

Perché una lunga sessione di programmazione può costare più del previsto

Il prezzo per token è solo una parte dei costi di un agente. Una sessione può includere ricerche ripetute, letture di file, modifiche ed esecuzioni di test; la conversazione risultante viene poi fornita di nuovo nelle chiamate successive al modello. Di conseguenza, la lettura di un file di grandi dimensioni all’inizio dell’attività può continuare a incidere sui costi molto tempo dopo che l’agente lo ha aperto per la prima volta.

Bito illustra il problema con una sessione di Claude Code in cui le ricerche hanno restituito circa 65.000 token. Alla fine, l’elaborazione ripetuta del contesto accumulato ha portato il totale della sessione a sei milioni di token, secondo l’azienda. Queste cifre descrivono una singola sessione misurata, non il costo tipico di ogni attività di programmazione.

La memorizzazione nella cache dei prompt può rendere meno costoso l’input ripetuto, ma i token memorizzati nella cache e quelli elaborati per la prima volta hanno prezzi diversi. Perciò, il costo totale dipende da come opera l’agente, dal contesto che conserva e dal fatto che il cambio di modello mantenga o sacrifichi lo stato utile della cache.

«Scegliere il modello giusto è importante, ma altrettanto importante è il costo delle ricerche dell’agente nel codice e del reinvio di tutto ciò che ha già esaminato», ha dichiarato Amar Goel, cofondatore e CEO di Bito, nell’annuncio.

Un motore di contesto del codice riduce le esplorazioni ripetute

Governor mantiene un grafo aggiornato del codice di un’azienda. Quando un agente deve esaminare la base di codice, secondo Bito Governor può svolgere la ricerca con un modello più piccolo e veloce e restituire una risposta sintetica corredata dal contesto del codice pertinente.

Il risparmio previsto deriva dall’evitare esplorazioni ripetute con un modello di frontiera e dal tenere i risultati di ricerca superflui fuori dalla conversazione dell’agente principale. Fornire una risposta mirata modifica la quantità di contesto mantenuta nei turni successivi, non soltanto il costo della prima ricerca.

La documentazione della piattaforma di Bito descrive più nel dettaglio il grafo sottostante. Indicizza simboli, topologia dei servizi, dipendenze e relazioni tra repository, insieme al contesto proveniente da fonti come sistemi di tracciamento delle attività, documenti di progettazione e discussioni tecniche. Mappa inoltre schemi di database, modelli architetturali e contesto di distribuzione.

Il prodotto può così recuperare informazioni più ampie rispetto alla semplice corrispondenza tra frammenti di testo. Una domanda relativa a una modifica dell’autenticazione può richiedere di individuare il servizio responsabile di un’interfaccia, i componenti che dipendono da essa e le ragioni alla base di una precedente decisione progettuale. Collegare queste relazioni può aiutare un agente a esaminare l’impatto prima di proporre del codice.

L’aspetto fondamentale è che le informazioni fornite siano comunque utilizzabili come riscontri. La presentazione di Governor di Bito descrive risposte concise alle ricerche, corredate da riferimenti a file e righe di codice, che consentono all’agente principale di basare il passo successivo sulla base di codice effettiva.

L’instradamento dipende dall’attività e dalla cache

Governor sceglie inoltre il modello e il livello di ragionamento in base al lavoro da svolgere. Bito afferma che tiene conto del tipo di attività, delle conseguenze di una risposta superficiale o errata, dell’intento dell’utente e della cache già creata durante la sessione.

Questo contesto è importante quando un messaggio breve contiene un’istruzione complessa. «Procedi» può autorizzare l’attuazione di un piano articolato, anche se il messaggio in sé contiene poche parole. Un router che usa la lunghezza del messaggio come indicatore della difficoltà può non cogliere ciò che lo sviluppatore sta effettivamente chiedendo all’agente.

Bito descrive Governor come un sistema che decide l’instradamento all’inizio di ogni nuova richiesta dello sviluppatore e mantiene tale scelta mentre l’agente svolge l’attività. Valuta inoltre se il potenziale risparmio derivante dal cambio di modello giustifichi la perdita dei vantaggi di una cache già esistente.

Un modello più economico, quindi, non comporta automaticamente che anche la chiamata successiva costi meno. Una cache già popolata su un modello più costoso può cambiare il calcolo, soprattutto quando la conversazione è già lunga. Anche le impostazioni di ragionamento aggiungono una variabile: un’attività che richiede un’analisi più approfondita può giustificare un maggiore impiego di risorse di calcolo, mentre un passaggio di routine potrebbe non richiederlo.

La progettazione della distribuzione di Governor è pensata per preservare i flussi di lavoro esistenti. Bito afferma che supporta le API compatibili con Anthropic e OpenAI, funziona con le chiavi dei provider del team e può affiancare un gateway esistente. Questo descrive il livello di instradamento; i team devono comunque configurare gli agenti e l’accesso ai provider che intendono utilizzare.

Privado segnala costi inferiori e meno passaggi

Nell’esempio fornito con l’annuncio, Privado, azienda specializzata in software per la privacy, ha condotto un test controllato sulle proprie attività di ingegneria in Claude Code. Bito riferisce che il costo per attività è sceso da 4,12 $ a 2,14 $, con una riduzione del 48%, mentre l’agente ha richiesto 23 passaggi per attività invece di 47.

L’azienda afferma che la qualità è rimasta invariata e che le attività sono state completate il 38% più velocemente. Sul proprio sito, Bito specifica che il confronto A/B con il cliente ha riguardato 40 attività di ingegneria e ha utilizzato le stesse attività, lo stesso modello e lo stesso ambiente di test, variando soltanto Governor.

Questi dettagli rendono il risultato più informativo di una generica dichiarazione di risparmio, pur lasciando dei limiti alla sua generalizzabilità. Un repository diverso, una diversa combinazione di attività, un diverso assetto dei provider o un diverso modello di partenza possono produrre un equilibrio differente tra recupero delle informazioni, uso della cache e costi di ragionamento.

Bito pubblica anche ricerche sui costi e sulla qualità dei modelli di programmazione. Il suo studio di settembre descrive 29 modelli testati su 60 attività di ingegneria, con 1.740 risposte valutate. Alcune attività sono state verificate eseguendo codice o rilevando difetti inseriti appositamente; per altre è stato utilizzato un giudice basato sull’IA, secondo criteri definiti prima delle prove. Questo studio più ampio sui modelli è distinto dal confronto con il cliente Privado.

I controlli consentono ai team di testare l’instradamento prima di modificare il traffico

Governor offre le impostazioni Qualità, Bilanciata e Costo, oltre a una modalità ombra che registra come instraderebbe il traffico di un team senza modificare la gestione delle richieste. In questo modo, i responsabili dell’ingegneria possono esaminare le decisioni proposte prima di attivarle.

Tra le misure di protezione aggiuntive figurano un limite massimo rigido al prezzo, restrizioni all’instradamento verso modelli più costosi senza autorizzazione e il ricorso al modello richiesto come soluzione di riserva in caso di problemi. Le decisioni di instradamento vengono registrate insieme alle relative motivazioni.

Bito prevede di estendere Governor oltre gli agenti di programmazione. Per ora, il lancio affronta un problema concreto dell’ingegneria: il costo delle ripetute esplorazioni e chiamate ai modelli durante lunghe sessioni di sviluppo software.

La misura utile sarà il costo necessario per completare con successo il lavoro, insieme alla qualità e al tempo richiesto. La proposta di Governor è che i team possano migliorare questo parametro fornendo agli agenti un contesto migliore e assegnando le capacità dei modelli in modo più mirato, senza chiedere agli sviluppatori di abbandonare gli strumenti che già utilizzano.