Bito представляет Governor: сокращение затрат на программирование с помощью контекстной информации и маршрутизации между моделями

Агент для программирования может тратить значительную часть сеанса на поиск нужных файлов, прежде чем внести полезные изменения. Каждый поиск добавляет контекст, который при последующих запросах может снова передаваться модели, превращая несложную задачу во все более крупные расходы на инференс. Bito стремится сократить обе составляющие этих затрат с помощью Governor — нового маршрутизатора моделей, который учитывает контекст кодовой базы и выбирает модель для выполнения задачи.

Запущенный 27 октября Governor работает между уже используемыми агентами для программирования и вызываемыми ими моделями. По данным Bito, он позволяет сократить расходы на агентов на 40–70%, сохраняя качество: система уменьшает объем ненужного контекста из поисковых результатов и выбирает подходящую модель и уровень рассуждений. Этот диапазон отражает результат, о котором сообщает компания, а не гарантированную экономию для каждой команды.

Продукт поддерживает рабочие процессы с такими инструментами, как Claude Code, Cursor и Codex. Команды направляют своих агентов на общий адрес API, а не заменяют уже используемую разработчиками среду программирования.

Почему длительный сеанс программирования может обойтись дороже, чем ожидалось

Цена за токен — лишь часть расходов на агента. Сеанс может включать повторные поиски, чтение файлов, внесение изменений и запуск тестов; получившийся диалог затем снова передается модели при последующих запросах. Поэтому большой файл, прочитанный в начале задачи, может влиять на расходы еще долго после того, как агент впервые его открыл.

В качестве примера Bito приводит один сеанс Claude Code, в котором поисковые запросы вернули около 65 000 токенов. По данным компании, к концу сеанса повторная обработка накопленного контекста довела общий объем до шести миллионов токенов. Эти цифры относятся к одному измеренному сеансу и не отражают типичные расходы на каждую задачу программирования.

Кэширование промптов может снизить стоимость повторного ввода, однако кэшированные и вновь обрабатываемые токены тарифицируются по-разному. Поэтому общие расходы зависят от того, как работает агент, какой контекст он сохраняет и позволяет ли смена модели сохранить полезное состояние кэша или приводит к его потере.

«Важно выбрать подходящую модель, но не менее важно учитывать расходы на поиск по коду и повторную отправку всего, что агент уже видел», — заявил в объявлении Амар Гоэл, соучредитель и генеральный директор Bito.

Механизм анализа контекста кода сокращает повторные поиски

Governor поддерживает актуальный граф кода компании. Когда агенту нужно изучить кодовую базу, Governor, по словам Bito, может провести исследование с помощью более компактной и быстрой модели и вернуть сжатый ответ с релевантным контекстом кода.

Экономия достигается за счет того, что передовой модели не приходится снова и снова изучать кодовую базу, а ненужные результаты поиска не попадают в диалог основного агента. Целевой ответ уменьшает объем контекста, переносимого в последующие запросы, а не только стоимость первого поиска.

В документации платформы Bito подробнее описан граф, лежащий в основе продукта. Система индексирует символы, топологию сервисов, зависимости и связи между репозиториями, а также контекст из таких источников, как системы отслеживания задач, проектная документация и обсуждения инженеров. Кроме того, она отображает схемы баз данных, архитектурные шаблоны и контекст развертывания.

Таким образом, продукт ищет не только совпадающие фрагменты текста. Чтобы ответить на вопрос об изменении аутентификации, может потребоваться определить, какой сервис отвечает за интерфейс, какие компоненты от него зависят и чем было обусловлено прежнее архитектурное решение. Установление этих связей помогает агенту оценить последствия изменений до того, как он предложит код.

Главное — предоставить полезные для работы данные. В вводном материале о Governor Bito описывает краткие ответы с указанием файлов и строк кода, благодаря чему основной агент может обосновать следующий шаг сведениями из самой кодовой базы.

Выбор маршрута зависит от задачи и состояния кэша

Governor также выбирает модель и уровень рассуждений с учетом выполняемой задачи. По словам Bito, при выборе учитываются тип задачи, последствия поверхностного или неверного ответа, намерение пользователя и кэш, уже сформированный в ходе сеанса.

Этот контекст важен, когда за коротким сообщением стоит объемная инструкция. Например, фраза «Продолжай» может разрешать реализацию сложного плана, хотя в ней самой почти нет текста. Маршрутизатор, который судит о сложности по длине сообщения, может не понять, чего именно разработчик просит от агента.

Bito описывает Governor как систему, которая выбирает маршрут в начале каждого нового запроса разработчика и сохраняет этот выбор, пока агент выполняет задачу. Она также оценивает, оправдывает ли возможная экономия при смене модели потерю преимуществ уже сформированного кэша.

Поэтому более дешевая модель не всегда означает, что следующий запрос обойдется дешевле. Уже сформированный кэш более дорогой модели может изменить расчеты, особенно если диалог уже длинный. Еще один фактор — настройки рассуждений: задача, требующая более глубокого анализа, может оправдывать дополнительные вычисления, а рутинный шаг — нет.

Архитектура развертывания Governor призвана сохранить существующие рабочие процессы. По словам Bito, система поддерживает API, совместимые с Anthropic и OpenAI, работает с ключами провайдеров, принадлежащими команде, и может использоваться вместе с уже установленным шлюзом. Это описание уровня маршрутизации; командам по-прежнему необходимо настроить агентов и доступ к провайдерам, которые они намерены использовать.

Privado сообщает о снижении затрат и сокращении числа шагов

В примере клиента, приведенном в анонсе, компания Privado, разработчик программного обеспечения для обеспечения конфиденциальности, провела контролируемое тестирование инженерных задач в Claude Code. По данным Bito, стоимость выполнения одной задачи снизилась с 4,12 до 2,14 доллара — на 48%, а агенту теперь требовалось 23 шага на задачу вместо 47.

Компания утверждает, что качество осталось прежним, а задачи стали выполняться на 38% быстрее. На сайте Bito указано, что в клиентском A/B-сравнении участвовали 40 инженерных задач; использовались те же задачи, модель и тестовая инфраструктура, а единственной переменной был Governor.

Эти подробности делают результат более показательным, чем общее заявление об экономии, но не позволяют безоговорочно распространять его на другие условия. При работе с другим репозиторием, набором задач, конфигурацией провайдеров или исходной моделью баланс между поиском данных, использованием кэша и затратами на рассуждения может быть иным.

Bito также публикует исследования затрат и качества моделей для написания кода. В сентябрьском исследовании описано тестирование 29 моделей на 60 инженерных задачах и оценка 1 740 ответов. Некоторые задачи проверяли, запуская код или выявляя специально внесенные ошибки; для оценки других использовали ИИ-судью, опиравшегося на критерии, сформулированные до начала испытаний. Это более широкое исследование моделей не связано с клиентским сравнением Privado.

Средства управления позволяют протестировать маршрутизацию, прежде чем менять обработку запросов

В Governor доступны настройки «Качество», «Баланс» и «Экономия», а также теневой режим: он фиксирует, как система маршрутизировала бы запросы команды, не меняя способ их обработки. Благодаря этому руководители инженерных команд могут изучить предлагаемые решения до их включения.

К дополнительным мерам защиты относятся жесткий верхний предел цены, запрет на перенаправление запросов к более дорогим моделям без разрешения и переключение на запрошенную модель в случае сбоя. Причины решений о маршрутизации фиксируются в журнале.

Bito планирует распространить Governor и на агентов, не связанных с написанием кода. Пока же этот запуск направлен на решение конкретной инженерной задачи: сокращение расходов на повторное исследование и обращения к моделям в ходе длительных сеансов разработки программного обеспечения.

Оценивать эффективность следует по затратам на успешное выполнение работы, учитывая также ее качество и необходимое время. Governor предлагает командам улучшить этот показатель, обеспечив агентам более подходящий контекст и более продуманно распределяя возможности моделей, при этом разработчикам не придется отказываться от привычных инструментов.