За какие обходные манёвры ИИ не стоит переплачивать

Дело не в том, что ведущие компании в сфере ИИ непременно стали бы манипулировать продажей токенов, если бы могли избежать последствий: в июне Anthropic фактически осуществила повышение цены на 30%; в августе DeepSeek повысила цены на API; а в конце сентября OpenAI неохотно отменила сокращение лимита токенов для своего среднего тарифного плана. Так что тенденция к экономии теперь вполне очевидна.

Эта мысль и правда часто приходит в голову, когда ваш ИИ-агент за 45 минут стремительно расходует дневной лимит токенов на код, который не обязательно оказывается блестящим, а затем предлагает вернуться через 3–4 часа. В такой досадный момент невольно задумываешься, не устроены ли некоторые процессы так, чтобы играть на руку поставщикам. В конце концов, это хороший способ заставить нас раскошелиться на специальный пакет дополнительных токенов — или даже включить «автоматическое пополнение».

Если это действительно так, то сейчас передовые компании вполне убедительно могут прикрываться тем, что мы не до конца понимаем, как токены расходуются в агентных рабочих процессах — в разных моделях и средах. И они тоже этого не понимают. Если не считать их безупречно отлаженных процессов приёма платежей, всё это пока находится на стадии пре-альфа и остаётся предметом исследований на переднем крае науки, несмотря на широкую коммерциализацию продукта.

Борьба с потерями

Тот факт, что ИИ-агенты действительно тратят токены впустую (а значит, и ваши деньги), когда рассуждают в агентных рабочих процессах, уже является хорошо установленным: ровно год назад я писал о новом исследовании, показавшем, насколько модели ИИ, способные к рассуждению, склонны сжигать токены из-за «многословия»; ранее в этом году — о другом исследовании, указывающем, что рассуждение по цепочке мыслей является «декоративным»; а на прошлой неделе руководитель продуктового направления Tsuga Нилс Бунге в опубликованной здесь экспертной статье заявил:

«Команда, расходующая вдвое больше токенов, не обязательно создаёт вдвое большую ценность. Возможно, ей досталась более сложная задача, она использует неоправданно мощную модель или полагается на агента, который снова и снова повторяет неудачные попытки».

Менее известен способ, которым токены расходуются на ненужные задачи и процессы; именно этому посвящена новая статья, вновь привлёкшая сегодня моё внимание к этой теме.

В этой новой работе, подготовленной американской группой исследователей и озаглавленной «Как ИИ-агенты тратят ваши деньги?», предлагается единая система оценки, позволяющая количественно определить, сколько токенов впустую расходуют агентные процессы. Для моделей с закрытым исходным кодом используется метод «теневого» анализа: он объединяет официальную статистику и метрики поставщиков, чтобы с такой же подробностью показать, что происходило с токенами, пока ИИ рассуждал и выполнял действия:

Новый метод оценки потерь токенов ИИ. Записываются рассуждения, действия и затраты каждого агента, после чего их анализируют на предмет повторов, ненужных запросов и предотвратимых обходных манёвров. Выявленные потери устраняют, а затем вновь проверяют, способен ли агент выполнить исходную задачу. Источник

Как показано выше, агенту позволяют работать в обычном режиме, перехватывая и записывая обмен данными с поставщиком ИИ, в том числе рассуждения, использование инструментов, расход токенов и затраты. Затем записи анализируют большие языковые модели (LLM), выступающие в роли судей: они отделяют полезную работу от повторов, ненужных поисковых запросов и обходных манёвров. После этого предполагаемые потери устраняют, рассчитывают экономию токенов и возобновляют работу агента, чтобы проверить, сможет ли он по-прежнему успешно выполнить задачу.

В ходе испытаний исследователи обнаружили, что впустую расходуется около 18% выходных токенов агентов. Более чем в 45% задач один агент тратил больше токенов, чем требовалось другому, чтобы успешно выполнить ту же работу. Кроме того, выяснилось, что удаление 41–46% ненужных рассуждений практически не влияет на производительность. Это говорит о том, что можно добиться существенной экономии, не ухудшая заметно результаты.

В статье говорится:

«В совокупности проанализированных последовательностей примерно 18% выходных токенов признаны потраченными впустую.

«Примечательно, что более чем в 45% задач объём бесполезных выходных данных одного агента превышает весь объём данных другого агента, успешно решившего ту же задачу».

Кроме того, исследование показало, что больше всего ресурсов агенты теряли при работе с незнакомыми инструментами и при выборе подходов, которые в итоге ни к чему не приводили. Также выяснилось, что увеличение интенсивности рассуждений не обеспечивает стабильного улучшения результатов: при максимальной интенсивности Kimi-K3 генерировала в 6,6 раза больше токенов рассуждений, чем при низкой, но это не гарантировало лучших результатов.

Результаты тестирования показывают, как Kimi-K3 справляется с пятью тестами при четырёх уровнях интенсивности рассуждений. Более интенсивные рассуждения не всегда повышали долю успешных ответов, а при максимальной интенсивности результаты иногда были хуже, чем при более низких настройках.

По аналогии: если на мощном автомобиле обычно не используют все его возможности, то работа этих ИИ-агентов больше похожа на поездку, во время которой автомобиль разгоняется до предельно возможной скорости каждый раз, даже когда это не приносит пользы и может иметь негативные последствия.

В статье также рассматривается роль разных программных оболочек в возникновении потерь токенов. Выяснилось, что одна и та же модель ИИ, Kimi-K3, в зависимости от оболочки могла потратить на рассуждения над идентичными задачами более чем в четыре раза больше токенов, не обязательно добиваясь лучших результатов.

Некоторые потери объяснялись базовыми программными ошибками: выяснилось, что OpenCode, Kimi Code CLI и OpenClaw снова и снова запускали задачи не в той среде Python, что приводило к ошибкам и повторным попыткам с расходом токенов. Kimi Code CLI также позволял ИИ запрашивать тайм-ауты, которые сама программа отклоняла, вынуждая его предпринимать новые, ещё более затратные попытки.

Как ни парадоксально, оболочки с большим количеством инструментов не обязательно приводили к большим потерям, а некоторые повторяющиеся неэффективные действия, по-видимому, были свойственны самим моделям и не зависели от управлявшей ими оболочки.

‘[Several] Казалось бы, очевидные характеристики оболочек не всегда объясняют наблюдаемые различия в потерях токенов. Например, как показано [below], оболочки, предоставляющие больше инструментов, не обязательно приводят к большим потерям. OpenClaw предоставляет гораздо больше инструментов, чем другие оболочки, но потери при его использовании остаются умеренными. Кроме того, не все потери зависят от оболочки.

‘[Below right] показывает, что в SWE-bench Verified Kimi-K3 регулярно отклоняется от решения: сначала записывает то, что считает первоначальным исправлением проекта, а затем отказывается от него. ‘

Результаты тестирования, в которых сравниваются потери токенов при использовании разных оболочек ИИ-агентов. Слева: предоставление большего числа инструментов не обязательно увеличивает потери. Справа: Kimi-K3 снова и снова пытается применить предполагаемое первоначальное исправление программы, а затем отказывается от него независимо от оболочки, но при задачах другого типа делает это редко.

Чтобы сократить потери, авторы предлагают наделить оболочки ИИ-агентов способностью распознавать ситуации, когда ограничения среды делают дальнейший прогресс невозможным, ясно сообщать об этих ограничениях модели ИИ и останавливать выполнение, а не допускать повторных неудачных попыток, расходующих дополнительные токены. Авторы также предлагают использовать результаты измерений потерь токенов для улучшения обучения моделей, стратегий рассуждений и проектирования оболочек.

Методика

Чтобы восстановить ход работы ИИ-агента, исследователи отслеживали каждый обмен данными между моделью и управляющей ею программой, записывая рассуждения модели, её ответы, запросы к инструментам и расходы токенов. Подробность записей зависела от поставщика: Kimi-K3 раскрывает весь процесс рассуждений, Gemini 3.1 Pro — только краткие изложения, а Claude не раскрывает его вовсе.

Результаты работы каждого инструмента передавались агенту, что позволяло исследователям отслеживать процесс до завершения или достижения установленного для него предела.

Четыре примера расходования токенов ИИ-агентами. Повторение уже известной информации, одинаковые поисковые запросы и бессмысленные извинения считаются пустой тратой токенов. Однако неудачный поиск не обязательно является такой тратой: у агента могли быть веские причины его выполнить.

Запросы агентов направлялись через прокси-сервер, чтобы отслеживать их работу; для этого потребовались лишь незначительные изменения кода. Каждый запрос помечался указанием теста, запуска, задачи и попытки. Исключением был OpenClaw, который не поддерживает такие метки: для каждого теста использовался отдельный прокси-сервер, созданный на основе LiteLLM.

Четыре участника

В исследовании выделены четыре повторяющихся типа потерь токенов: Повтор (повторение известной информации); Дублирующий запрос (повторные ненужные запросы к инструментам); Заполнение (добавление не относящегося к делу текста); и Обходной путь (попытки применить правдоподобные, но в итоге бесполезные подходы).

Каждую записанную сессию анализировал судья на основе большой языковой модели (LLMaJ**), которому предоставляли исходное задание, полную запись сессии и критерии выявления всех четырёх типов нерациональных затрат. Подозрительные фрагменты помечали и удаляли, после чего пересчитывали оставшиеся токены, чтобы определить долю и стоимость потраченных впустую ресурсов. Затем полученные значения сверяли с данными собственных токенизаторов или инструментов подсчёта каждого провайдера, а также с опубликованным расходом токенов на генерацию (сообщалось лишь о незначительных различиях в форматировании).

Тестирование

В исследовании тестировали модели Kimi-K3, Gemini 3.1 Pro, GPT-5.6 Terra, GPT-6 Astra, Claude Sonnet 5 и Claude Fable 5.1 на следующих тестовых наборах: τ²-bench (обслуживание клиентов авиакомпаний и розничной торговли), SWE-bench Verified (разработка программного обеспечения), Claw-Eval и MCP-Atlas (использование инструментов общего назначения).

Кроме того, OpenHands, Hermes, OpenCode, OpenClaw и Kimi Code CLI — пять сред для запуска агентов — сравнивали, а Kimi-K3 тестировали с разными уровнями рассуждения. Эти сравнения использовали, чтобы оценить, как модели, задания, интенсивность рассуждений и устройство среды запуска влияют на нерациональный расход токенов; в дополнительных тестах подозрительные фрагменты удаляли, чтобы проверить, как это сказывается на результатах.

Чтобы определить, сколько денег тратилось впустую на каждую модель, стоимость ненужного текста и вызовов инструментов сопоставили с общими расходами на генерацию ответов, усреднив результаты по четырём тестовым наборам. Внутренние рассуждения оценивали отдельно для Kimi-K3 — единственной модели, которая раскрывала весь процесс рассуждения:

Результаты тестирования: сравнение расходов на бесполезную генерацию у шести моделей ИИ, усреднённых по четырём тестовым наборам. Слева — общая доля потерь; внутренние рассуждения Kimi-K3 показаны отдельно. Справа — доля потерь при успешном и неудачном выполнении заданий: неудачи, как правило, приводили к большим потерям.

Как видно выше, от 11% до 24,9% средств, потраченных на генерацию ответов и использование инструментов, по оценке исследователей, ушло впустую. Лучший результат показала GPT-6 Astra, худший — Claude Sonnet 5. У Kimi-K3 впустую расходовался примерно каждый шестой токен при подготовке ответов и использовании инструментов, а во время внутренних рассуждений — уже более каждого четвёртого.

В целом при неудачном выполнении заданий потери были выше, хотя в случае с рассуждениями Kimi-K3 наблюдалась обратная картина. При этом убедительных свидетельств того, что расход дополнительных токенов на ненужную работу повышал шансы на успех, не обнаружили.

В ещё одном тесте попытались сократить расход токенов впустую, пока ИИ выполнял задание: на каждом шаге судья на основе ИИ** удалял из рассуждений модели повторы и бессмысленный текст, прежде чем разрешить продолжить выполнение задания:

Результаты тестирования: как удаление ненужных рассуждений ИИ повлияло на долю успешного выполнения заданий в двух тестовых наборах. Удаление 41–46% рассуждений почти не сказалось на результатах, тогда как полное удаление рассуждений привело к значительно большему числу неудач.

В SWE-bench Verified удалили 41% рассуждений, и качество работы не снизилось: доля успешных выполнений даже немного выросла — с 89% до 89,5%. В MCP-Atlas удалили 46% рассуждений, и доля успеха снизилась лишь незначительно — с 65% до 62,3%.

Иными словами, почти половину рассуждений можно было удалить прямо во время работы ИИ, не нанеся серьёзного ущерба его способности выполнить задачу.

Наконец^†, Kimi-K3 проверили на одних и тех же заданиях с разными средами запуска агентов. Как показано ниже, объём рассуждений в ответах различался более чем в четыре раза, но стабильного улучшения результатов это не давало:

Результаты тестирования: сравнение расхода токенов Kimi-K3 в разных средах запуска агентов на двух тестовых наборах. Внутренние рассуждения показаны синим цветом, а ответы и вызовы инструментов — оранжевым. При выполнении задач по программированию в Mini-SWE генерировалось более чем в четыре раза больше рассуждений, чем в Hermes.

Часть потерь была связана с простыми программными ошибками. OpenCode, Kimi Code CLI и OpenClaw запускали тесты по программированию не в той среде Python, что приводило к ошибкам и повторным попыткам.

Вывод

Это лишь краткий обзор статьи, объём и тщательная методика которой могут стать поводом прочитать её внимательнее.

Эта тема напомнила мне о том, о чём я часто задумываюсь: о колоссальном разрыве между тем, что мы и поставщики передовых моделей действительно понимаем об этих процессах, и готовностью компаний представлять продукт так, будто он провёл последние три месяца в линтере и прошёл проверку с блеском.

Пока что, если результат окажется плохим, винить мы можем только себя: мы покупаем продукт, который почти все мы считаем в высшей степени экспериментальным и непредсказуемым.

* При официально заявленном равном вкладе University of Illinois Urbana-Champaign, Northeastern University, University of California (Los Angeles) и независимого исследователя.

* Насколько мне удалось установить, в статье не указано, какая именно модель использовалась.

^† Для этой статьи, а не для самой работы, которая длиннее, чем я обычно могу себе позволить, и содержит больше тестов и подробностей, чем мы можем рассмотреть здесь. Дополнительную информацию см. в исходном PDF-файле по ссылке выше.

Впервые опубликовано в пятницу, 6 ноября 2026 года