Bito uruchamia Governor, aby obniżyć koszty agentów kodujących dzięki kontekstowi i routingowi modeli

Agent kodujący może poświęcić znaczną część sesji na szukanie odpowiednich plików, zanim wprowadzi użyteczną zmianę. Każde wyszukiwanie wzbogaca kontekst, który przy kolejnych wywołaniach może ponownie trafiać do modelu, zamieniając niewielkie zadanie w coraz wyższy rachunek za wnioskowanie. Bito chce ograniczyć oba źródła kosztów za pomocą Governor — nowego routera modeli, który łączy kontekst bazy kodu z wyborem modelu odpowiedniego do danego zadania.

Uruchomiony 27 października Governor działa między używanymi już agentami kodującymi a wywoływanymi przez nie modelami. Bito twierdzi, że może obniżyć wydatki na agentów o 40–70% bez pogorszenia jakości, ograniczając zbędny kontekst z wyszukiwań i dobierając odpowiedni model oraz poziom wnioskowania. Podany przedział to wynik zgłoszony przez firmę, a nie gwarantowana oszczędność dla każdego zespołu.

Produkt obsługuje przepływy pracy wykorzystujące narzędzia takie jak Claude Code, Cursor i Codex. Zespoły kierują agentów do wspólnego punktu końcowego, zamiast zastępować środowisko programistyczne, z którego deweloperzy już korzystają.

Dlaczego długa sesja kodowania może kosztować więcej, niż się spodziewasz

Cena za token to tylko część kosztów agenta. Sesja może obejmować wielokrotne wyszukiwanie, odczytywanie plików, wprowadzanie zmian i uruchamianie testów, a powstała w ten sposób rozmowa jest ponownie przekazywana przy kolejnych wywołaniach modelu. Dlatego plik odczytany na początku zadania może wpływać na koszty długo po tym, jak agent po raz pierwszy go otworzył.

Bito ilustruje ten problem przykładem jednej sesji Claude Code, w której wyszukiwania zwróciły około 65 000 tokenów. Według firmy wielokrotne przetwarzanie zgromadzonego kontekstu sprawiło, że do końca sesji łączna liczba tokenów wyniosła sześć milionów. Te liczby dotyczą jednej zmierzonej sesji, a nie typowego kosztu każdego zadania programistycznego.

Buforowanie promptów może obniżyć koszt wielokrotnie przekazywanych danych wejściowych, ale ceny buforowanych tokenów i tokenów przetwarzanych po raz pierwszy są różne. Oznacza to, że łączny koszt zależy od sposobu działania agenta, zachowywanego przez niego kontekstu oraz tego, czy zmiana modelu pozwala utrzymać przydatny stan pamięci podręcznej, czy też wiąże się z jego utratą.

„Wybór odpowiedniego modelu ma znaczenie, ale równie istotny jest koszt wyszukiwania w kodzie przez agenta i ponownego przesyłania wszystkiego, co już widział” — powiedział Amar Goel, współzałożyciel i dyrektor generalny Bito, w komunikacie.

Silnik kontekstu kodu ogranicza wielokrotne przeszukiwanie

Governor utrzymuje aktualny graf kodu firmy. Gdy agent musi zbadać bazę kodu, Governor może przeprowadzić takie rozeznanie z użyciem mniejszego i szybszego modelu, a następnie zwrócić zwięzłą odpowiedź wraz z odpowiednim kontekstem kodu — twierdzi Bito.

Oszczędności mają wynikać z uniknięcia wielokrotnego przeszukiwania kodu przez model czołowy oraz z pomijania zbędnych wyników wyszukiwania w rozmowie głównego agenta. Zwięzła odpowiedź zmienia ilość kontekstu przekazywanego w kolejnych turach, a nie tylko koszt pierwszego wyszukania.

Dokumentacja platformy Bito szczegółowo opisuje strukturę bazowego grafu. Indeksuje on symbole, topologię usług, zależności i powiązania między repozytoriami, a także kontekst pochodzący ze źródeł takich jak systemy śledzenia zgłoszeń, dokumenty projektowe i dyskusje inżynieryjne. Mapuje również schematy baz danych, wzorce architektoniczne i kontekst wdrożeń.

Dzięki temu produkt może wyszukiwać informacje w szerszym zakresie niż tylko fragmenty tekstu. Pytanie o zmianę w uwierzytelnianiu może wymagać ustalenia, która usługa odpowiada za dany interfejs, które elementy od niego zależą oraz jakie uzasadnienie stało za wcześniejszą decyzją projektową. Połączenie tych powiązań może pomóc agentowi zbadać skutki zmiany, zanim zaproponuje kod.

Najważniejsze jest, by wyniki dostarczały użytecznych dowodów. Wprowadzenie do Governor firmy Bito opisuje zwięzłe odpowiedzi z rozeznania, opatrzone odwołaniami do plików i wierszy kodu, które pozwalają głównemu agentowi oprzeć kolejny krok na rzeczywistej bazie kodu.

Routing zależy od zadania i pamięci podręcznej

Governor dobiera również model i poziom wnioskowania do wykonywanego zadania. Bito twierdzi, że bierze pod uwagę rodzaj zadania, konsekwencje powierzchownej lub błędnej odpowiedzi, intencje użytkownika oraz pamięć podręczną utworzoną już w trakcie sesji.

Ten kontekst ma znaczenie, gdy krótka wiadomość zawiera obszerne polecenie. „Działaj” może oznaczać zgodę na realizację złożonego planu, mimo że sama wiadomość składa się z niewielu słów. Router, który traktuje długość wiadomości jako miarę trudności, może nie rozpoznać, o co deweloper faktycznie prosi agenta.

Bito opisuje Governor jako system podejmujący decyzję o routingu na początku nowego polecenia dewelopera i utrzymujący ten wybór przez cały czas, gdy agent wykonuje zadanie. Uwzględnia również to, czy potencjalne oszczędności wynikające ze zmiany modelu uzasadniają utratę korzyści z już istniejącej pamięci podręcznej.

Tańszy model nie musi więc oznaczać, że następne wywołanie będzie tańsze. Rozgrzana pamięć podręczna w droższym modelu może zmienić kalkulację, zwłaszcza gdy rozmowa jest już długa. Kolejną zmienną są ustawienia wnioskowania: zadanie wymagające głębszej analizy może uzasadniać dodatkowe obliczenia, podczas gdy rutynowy etap — nie.

Sposób wdrożenia Governor ma pozwolić zachować dotychczasowe procesy pracy. Bito twierdzi, że rozwiązanie obsługuje interfejsy API zgodne z Anthropic i OpenAI, działa z kluczami dostawców należącymi do zespołu i może współpracować z już używaną bramą. Opisuje to warstwę routingu; zespoły nadal muszą skonfigurować agentów i dostęp do dostawców, z których zamierzają korzystać.

Privado informuje o niższych kosztach i mniejszej liczbie kroków

W przykładzie klienta przedstawionym w komunikacie firma Privado, zajmująca się oprogramowaniem do ochrony prywatności, przeprowadziła kontrolowany test zadań inżynieryjnych w Claude Code. Bito podaje, że koszt wykonania jednego zadania spadł z 4,12 USD do 2,14 USD, czyli o 48%, a agent potrzebował 23 kroków na zadanie zamiast 47.

Firma twierdzi, że jakość pozostała bez zmian, a zadania kończono o 38% szybciej. Na stronie Bito podano, że porównanie A/B u klienta obejmowało 40 zadań inżynieryjnych i przeprowadzono je z użyciem tych samych zadań, modelu i środowiska testowego, przy czym zmienną był Governor.

Dzięki tym szczegółom wynik mówi więcej niż ogólna deklaracja oszczędności, choć nadal nie wiadomo, w jakim stopniu można go uogólnić. Inne repozytorium, zestaw zadań, konfiguracja dostawców lub model wyjściowy mogą przynieść inny bilans korzyści z wyszukiwania kontekstu i wykorzystania pamięci podręcznej oraz kosztów rozumowania.

Bito publikuje również badania nad kosztami i jakością modeli do programowania. We wrześniowym badaniu opisano 29 modeli przetestowanych na 60 zadaniach inżynieryjnych, obejmujących 1740 ocenionych odpowiedzi. Niektóre zadania weryfikowano przez uruchomienie kodu lub wykrywanie celowo wprowadzonych błędów; w innych oceny dokonywał model AI na podstawie kryteriów ustalonych przed testami. To szersze badanie modeli jest odrębne od porównania przeprowadzonego u klienta Privado.

Mechanizmy kontroli pozwalają zespołom przetestować routing przed zmianą ruchu

Governor oferuje ustawienia Jakość, Zrównoważony i Koszt, a także tryb obserwacyjny, który rejestruje, jak rozwiązanie przekierowałoby ruch zespołu, nie zmieniając sposobu obsługi żądań. Dzięki temu liderzy zespołów inżynieryjnych mogą sprawdzić proponowane decyzje przed ich włączeniem.

Dodatkowe zabezpieczenia obejmują sztywny limit ceny, ograniczenia dotyczące kierowania żądań do droższych modeli bez pozwolenia oraz przełączenie na żądany model, jeśli coś pójdzie nie tak. Decyzje dotyczące routingu są rejestrowane wraz z uzasadnieniem.

Bito planuje rozszerzyć działanie Governor poza agentów programistycznych. Na razie rozwiązanie odpowiada na konkretny problem zespołów inżynieryjnych: koszty wielokrotnego eksplorowania i wywoływania modeli podczas długich sesji tworzenia oprogramowania.

Najbardziej miarodajny będzie koszt pomyślnego wykonania pracy, rozpatrywany łącznie z jakością i wymaganym czasem. Governor zakłada, że zespoły mogą poprawić ten wskaźnik, zapewniając agentom lepszy kontekst i bardziej przemyślanie dobierając możliwości modeli, bez konieczności rezygnowania przez programistów z używanych już narzędzi.