Bito запускає Governor, щоб скоротити витрати на агентів для програмування завдяки контексту й маршрутизації моделей

Агент для програмування може витратити значну частину сеансу на пошук потрібних файлів, перш ніж внести корисну зміну. Кожен пошук додає контекст, який під час наступних запитів може знову передаватися моделі, перетворюючи нескладне завдання на дедалі більший рахунок за інференс. Bito прагне скоротити витрати з обох боків за допомогою Governor — нового маршрутизатора моделей, який поєднує контекст кодової бази з рішеннями про те, якій моделі доручити роботу.

Запущений 27 жовтня, Governor працює між наявними агентами для програмування та моделями, до яких вони звертаються. За словами Bito, він може скоротити витрати на агентів на 40%–70% без втрати якості завдяки усуненню зайвого контексту з пошуку та вибору відповідної моделі й рівня міркування. Цей діапазон ґрунтується на результатах, про які повідомила компанія, а не є гарантованою економією для кожної команди.

Продукт підтримує робочі процеси з такими інструментами, як Claude Code, Cursor та Codex. Команди спрямовують своїх агентів на спільну кінцеву точку замість того, щоб замінювати середовище програмування, яким розробники вже користуються.

Чому тривалий сеанс програмування може коштувати дорожче, ніж очікувалося

Ціна за токен — лише частина витрат на агента. Сеанс може включати повторні пошуки, читання файлів, редагування та запуски тестів, а сформована розмова знову передається під час наступних звернень до моделі. Тож файл, прочитаний на початку завдання, може впливати на витрати ще довго після того, як агент уперше його відкрив.

Bito ілюструє цю проблему на прикладі одного сеансу Claude Code, під час якого пошуки повернули приблизно 65 000 токенів. За даними компанії, зрештою повторне опрацювання накопиченого контексту збільшило загальну кількість токенів у сеансі до шести мільйонів. Ці цифри стосуються одного виміряного сеансу, а не типових витрат на кожне завдання з програмування.

Кешування промптів може здешевити повторне введення даних, але ціни на кешовані токени й токени, оброблені вперше, різняться. Тому загальний рахунок залежить від того, як працює агент, який контекст він зберігає і чи зміна моделі зберігає корисний стан кешу або призводить до його втрати.

«Важливо вибрати правильну модель, але не менш важливо враховувати витрати на пошук коду агентом і повторне надсилання всього, що він уже бачив», — сказав у повідомленні співзасновник і генеральний директор Bito Амар Ґоел.

Механізм контексту коду скорочує повторне дослідження

Governor підтримує актуальний граф коду компанії. Коли агенту потрібно дослідити кодову базу, Governor, за словами Bito, може виконати це дослідження за допомогою меншої та швидшої моделі й повернути стислу відповідь із релевантним контекстом коду.

Очікувана економія досягається завдяки тому, що не потрібно знову й знову досліджувати кодову базу за допомогою передової моделі, а зайві результати пошуку не потрапляють до розмови основного агента. Стисла відповідь змінює обсяг контексту, що зберігається в наступних запитах, а не лише ціну першого пошуку.

У документації платформи Bito докладніше описано граф, що лежить в основі продукту. Він індексує символи, топологію сервісів, залежності та зв’язки між репозиторіями, а також контекст із таких джерел, як системи відстеження завдань, проєктна документація й обговорення інженерних команд. Крім того, він відображає схеми баз даних, архітектурні шаблони та контекст розгортання.

Завдяки цьому продукт може шукати не лише збіги текстових фрагментів. Щоб відповісти на запитання про зміну автентифікації, може знадобитися визначити, який сервіс відповідає за інтерфейс, які компоненти від нього залежать і чим було обґрунтовано попереднє архітектурне рішення. Виявлення цих зв’язків може допомогти агенту дослідити наслідки зміни, перш ніж пропонувати код.

Важливо, щоб результат усе одно містив придатні до використання підтвердження. У вступі до Governor від Bito описано стислі відповіді за результатами дослідження з посиланнями на файли й рядки коду, завдяки яким основний агент може обґрунтувати наступний крок реальним вмістом кодової бази.

Маршрутизація залежить від завдання та кешу

Governor також вибирає модель і рівень міркування залежно від виконуваної роботи. За словами Bito, під час вибору враховуються тип завдання, наслідки поверхневої або хибної відповіді, намір користувача та кеш, накопичений під час сеансу.

Цей контекст важливий, коли за коротким повідомленням стоїть велике завдання. «Продовжуй» може означати дозвіл на виконання складного плану, хоча саме повідомлення містить мало тексту. Маршрутизатор, який оцінює складність за довжиною повідомлення, може не зрозуміти, що саме розробник просить агента зробити.

За описом Bito, Governor ухвалює рішення про маршрутизацію на початку кожного нового запиту розробника й зберігає цей вибір, поки агент виконує завдання. Він також оцінює, чи виправдовує потенційна економія від переходу на іншу модель втрату переваг наявного кешу.

Тож дешевша модель не обов’язково означає, що наступний запит коштуватиме найменше. Прогрітий кеш у дорожчій моделі може змінити розрахунок, особливо коли розмова вже тривала. Налаштування рівня міркування додають ще одну змінну: завдання, що потребує глибшого аналізу, може виправдати додаткові обчислення, тоді як для звичайного кроку вони можуть бути зайвими.

Підхід до розгортання Governor покликаний зберегти наявні робочі процеси. За словами Bito, система підтримує API, сумісні з Anthropic і OpenAI, працює з ключами постачальників, якими користується команда, і може функціонувати разом із наявним шлюзом. Це опис рівня маршрутизації; командам усе одно потрібно налаштувати агентів і доступ до постачальників, якими вони планують користуватися.

Privado повідомляє про нижчі витрати та меншу кількість кроків

У прикладі клієнта, наведеному разом з оголошенням, компанія Privado, що розробляє програмне забезпечення для захисту конфіденційності, провела контрольоване тестування інженерних завдань у Claude Code. За даними Bito, витрати на одне завдання знизилися з $4.12 до $2.14 — на 48%, а агенту знадобилося 23 кроки на завдання замість 47.

Компанія стверджує, що якість залишилася незмінною, а завдання виконувалися на 38% швидше. На сайті Bito зазначено, що клієнтське A/B-порівняння охоплювало 40 інженерних завдань: використовували ті самі завдання, модель і тестовий стенд, а змінною була наявність Governor.

Завдяки цим подробицям результат інформативніший за загальну заяву про економію, хоча й не дає підстав беззастережно поширювати його на інші випадки. Інший репозиторій, набір завдань, конфігурація постачальників або вихідна модель можуть дати інший баланс між пошуком потрібної інформації, використанням кешу та витратами на міркування.

Bito також публікує дослідження витрат і якості моделей для написання коду. У вересневому дослідженні описано тестування 29 моделей на 60 інженерних завданнях, у межах якого оцінено 1,740 відповідей. Деякі завдання перевіряли, запускаючи код або виявляючи навмисно закладені помилки; для інших застосовували оцінювання за допомогою ШІ-судді за критеріями, визначеними до початку запусків. Це ширше дослідження моделей не пов’язане з порівнянням результатів клієнта Privado.

Засоби керування дають змогу перевірити маршрутизацію до зміни трафіку

У Governor є налаштування «Якість», «Збалансований режим» і «Економія», а також тіньовий режим, у якому система записує, як маршрутизувала б трафік команди, не змінюючи обробку запитів. Це дає керівникам інженерних команд змогу перевірити запропоновані рішення, перш ніж увімкнути їх.

Серед додаткових запобіжників — жорстке обмеження ціни, заборона спрямовувати запити до дорожчих моделей без дозволу та перехід до запитаної моделі, якщо щось піде не так. Рішення щодо маршрутизації та причини їх ухвалення записуються в журнал.

Bito планує поширити Governor за межі агентів для написання коду. Поки що цей запуск спрямований на конкретну інженерну проблему: витрати на повторні дослідження та звернення до моделей під час тривалих сеансів розробки програмного забезпечення.

Корисним показником буде вартість успішного виконання роботи з урахуванням якості та потрібного часу. Bito стверджує, що Governor дає командам змогу покращити цей показник, забезпечуючи агентів кращим контекстом і цілеспрямованіше розподіляючи можливості моделей, не змушуючи розробників відмовлятися від інструментів, якими вони вже користуються.