Bito spouští Governor, který má snížit náklady na programovací agenty díky kontextu a směrování mezi modely

Programovací agent může během jedné relace strávit spoustu času hledáním správných souborů, než provede užitečnou změnu. Každé hledání přidává kontext, který se při dalších krocích může znovu předávat modelu, takže se z poměrně nenáročného úkolu postupně stává stále dražší inference. Bito se s oběma složkami těchto nákladů vypořádává prostřednictvím nástroje Governor, nového směrovače modelů, který propojuje kontextové informace o kódové základně s rozhodováním o tom, který model má práci zpracovat.

Governor byl spuštěn 27. října a funguje jako prostředník mezi stávajícími programovacími agenty a modely, které využívají. Bito uvádí, že může snížit výdaje na agenty o 40 až 70 % při zachování kvality, a to omezením nepotřebného kontextu z vyhledávání a výběrem vhodného modelu i úrovně uvažování. Jde o výsledek uváděný společností, nikoli o zaručenou úsporu pro každý tým.

Produkt podporuje pracovní postupy s nástroji, jako jsou Claude Code, Cursor a Codex. Týmy nasměrují své agenty na společný koncový bod, místo aby nahrazovaly vývojové prostředí, které už vývojáři používají.

Proč může dlouhá programovací relace stát víc, než čekáte

Cena za token tvoří jen část nákladů na agenta. Během jedné relace může opakovaně vyhledávat, číst soubory, upravovat kód a spouštět testy; obsah konverzace se pak znovu předává při dalších voláních modelu. Velký soubor přečtený na začátku úkolu tak může ovlivňovat náklady ještě dlouho poté, co ho agent poprvé otevřel.

Bito tento problém ilustruje na jedné relaci Claude Code, v níž vyhledávání vrátilo přibližně 65 000 tokenů. Podle společnosti dosáhl celkový počet tokenů v relaci do jejího konce šesti milionů, protože nahromaděný kontext se opakovaně zpracovával. Tato čísla popisují jednu měřenou relaci, nikoli obvyklé náklady na každý programovací úkol.

Ukládání promptů do mezipaměti může zlevnit opakovaně předávaný vstup, ale cena za tokeny načtené z mezipaměti se liší od ceny za nově zpracované tokeny. Celkové náklady proto závisejí na tom, jak agent pracuje, jaký kontext uchovává a zda se při změně modelu zachová, nebo ztratí užitečný obsah mezipaměti.

„Výběr správného modelu je důležitý, ale stejně důležité jsou náklady na to, jak agent prohledává kód a znovu odesílá vše, co už viděl,“ uvedl v oznámení Amar Goel, spoluzakladatel a generální ředitel společnosti Bito.

Modul pro práci s kontextem kódu omezuje opakované prozkoumávání

Governor udržuje aktuální graf kódu dané společnosti. Když agent potřebuje prozkoumat kódovou základnu, Governor podle Bito může tento průzkum provést pomocí menšího a rychlejšího modelu a vrátit stručné shrnutí doplněné o relevantní kontext kódu.

Úspora má vznikat tím, že se omezí opakované prozkoumávání kódu pomocí špičkového modelu a z hlavní agentovy konverzace se vyřadí nepotřebné výsledky vyhledávání. Stručná a zaměřená odpověď mění objem kontextu přenášeného do dalších kroků, nejen cenu prvního vyhledání.

Dokumentace platformy Bito podrobněji popisuje, jak podkladový graf funguje. Indexuje symboly, topologii služeb, závislosti a vztahy napříč repozitáři a také kontext ze zdrojů, jako jsou systémy pro sledování úkolů, návrhové dokumenty a technické diskuse. Mapuje rovněž databázová schémata, architektonické vzory a kontext nasazení.

Produkt tak může vyhledávat v širším okruhu informací, než jsou pouhé shody textových úryvků. Dotaz týkající se změny v ověřování může vyžadovat určení služby, která vlastní dané rozhraní, volajících služeb, jež na něm závisejí, i důvodů předchozího návrhového rozhodnutí. Propojení těchto vztahů může agentovi pomoci prozkoumat dopady ještě předtím, než navrhne změnu kódu.

Důležité je, aby výstup stále poskytoval použitelné podklady. Představení nástroje Governor od Bito popisuje stručné odpovědi z průzkumu doplněné odkazy na soubory a řádky, které hlavnímu agentovi umožňují opřít další krok o skutečnou kódovou základnu.

Směrování závisí na úkolu a obsahu mezipaměti

Governor také vybírá model a úroveň uvažování podle právě prováděné práce. Bito uvádí, že zohledňuje typ úkolu, důsledky povrchní nebo nesprávné odpovědi, záměr uživatele i obsah mezipaměti vytvořený během relace.

Tento kontext je důležitý, když stručná zpráva obsahuje rozsáhlý pokyn. „Pusťte se do toho“ může znamenat souhlas s realizací složitého plánu, přestože samotná zpráva obsahuje jen málo textu. Směrovač, který délku zprávy považuje za ukazatel obtížnosti, nemusí správně rozpoznat, co vývojář po agentovi skutečně chce.

Bito popisuje Governor jako nástroj, který na začátku nového požadavku vývojáře rozhodne o směrování a toto rozhodnutí zachovává po dobu, kdy agent na úkolu pracuje. Zvažuje také, zda možná úspora při změně modelu stojí za ztrátu výhody plynoucí ze stávající mezipaměti.

Levnější model proto nemusí automaticky znamenat nejlevnější další volání. Výpočet může změnit již naplněná mezipaměť u dražšího modelu, zejména pokud je konverzace už dlouhá. Další proměnnou jsou nastavení uvažování: úkol vyžadující hlubší analýzu může ospravedlnit dodatečný výpočet, zatímco u běžného kroku nemusí být potřeba.

Návrh nasazení Governoru má zachovat stávající pracovní postupy. Bito uvádí, že podporuje rozhraní API kompatibilní s Anthropic a OpenAI, využívá klíče poskytovatelů, které má tým k dispozici, a může fungovat souběžně se stávající bránou. To popisuje vrstvu směrování; týmy stále musí nakonfigurovat agenty a přístup k poskytovatelům, které chtějí využívat.

Privado hlásí nižší náklady a méně kroků

V zákaznickém příkladu zveřejněném spolu s oznámením provedla společnost Privado, která vyvíjí software pro ochranu soukromí, kontrolovaný test svých inženýrských úloh v Claude Code. Podle Bito klesly náklady na jednu úlohu ze 4,12 $ na 2,14 $, tedy o 48 %, zatímco agent potřeboval na každou úlohu 23 kroků místo 47.

Společnost uvádí, že kvalita zůstala stejná a úlohy byly dokončeny o 38 % rychleji. Web Bito uvádí, že zákaznické srovnání A/B zahrnovalo 40 inženýrských úloh a že se při něm použily stejné úlohy, model i testovací prostředí; jedinou proměnnou byl Governor.

Díky těmto podrobnostem je výsledek výmluvnější než obecné tvrzení o úsporách, zároveň však zůstávají omezení toho, nakolik lze závěry zobecnit. Jiný repozitář, skladba úloh, uspořádání poskytovatelů nebo výchozí model mohou vést k odlišnému poměru mezi vyhledáváním, využitím mezipaměti a náklady na uvažování.

Bito zveřejňuje také výzkum nákladů a kvality modelů pro programování. Jeho zářijová studie popisuje testování 29 modelů na 60 inženýrských úlohách, při němž bylo ohodnoceno 1 740 odpovědí. Některé úlohy byly ověřeny spuštěním kódu nebo odhalením záměrně vložených chyb; u jiných rozhodoval hodnotitel s umělou inteligencí podle kritérií stanovených před zahájením testů. Tato rozsáhlejší studie modelů je oddělená od zákaznického srovnání společnosti Privado.

Ovládací prvky umožňují týmům otestovat směrování před změnou provozu

Governor nabízí nastavení Kvalita, Vyvážené a Náklady a také stínový režim, který zaznamenává, jak by směroval provoz týmu, aniž by měnil způsob zpracování požadavků. Inženýrští vedoucí si tak mohou navrhovaná rozhodnutí prohlédnout ještě před jejich aktivací.

Mezi další ochranná opatření patří pevně stanovený cenový strop, omezení směrování k dražším modelům bez povolení a přechod k požadovanému modelu, pokud se něco pokazí. Rozhodnutí o směrování se zaznamenávají spolu s uvedením důvodů.

Bito plánuje rozšířit Governor i mimo oblast programovacích agentů. V současnosti se jeho uvedení zaměřuje na konkrétní inženýrský problém: náklady na opakované zkoumání a volání modelů během dlouhých vývojových relací.

Užitečným měřítkem budou náklady na úspěšné dokončení práce spolu s její kvalitou a časem potřebným k dokončení. Governor slibuje, že týmy mohou toto měřítko zlepšit tím, že agentům poskytnou lepší kontext a budou schopnosti modelů přidělovat promyšleněji, aniž by vývojáři museli opouštět nástroje, které už používají.