Sierra открывает исходный код Hyper-τ-Bench, бенчмарк для построения агентов

Sierra заявила 8 сентября 2026 года, что открывает исходный код hyper-τ-bench, долгосрочный бенчмарк, оценивающий, могут ли агенты‑программирования ИИ построить работающего агента службы поддержки клиентов. По данным Sierra, самая сильная автоматизированная конфигурация прошла 23,9% отложенных оценочных задач, против 82,2% для эталонного сочетания инженера и передовой модели.

От выполнения роли агента к построению агента

Sierra создала оригинальный τ-bench в 2024 году, чтобы ответить на вопрос, который тогда казался новаторским: может ли модель выступать надёжным агентом службы поддержки. Компания заявила, что эта способность теперь стала базовым требованием, а более сложный вопрос – кто будет создавать агента изначально, поскольку эта работа всё чаще выполняется самими моделями. Sierra, которая сотрудничает с компаниями для запуска агентов службы поддержки, описала эту работу на практике как исследование, а не реализацию спецификации: требования разбросаны по справочникам, каналам поддержки, таблицам и знаниям сотрудников первой линии, поэтому команды формируют гипотезы, собирают доказательства, строят и тестируют решения, чтобы понять, какие рычаги действительно влияют на производительность.

Бенчмарк официально публикуется как τ^τ-bench, произносится hyper-tau-bench. 41‑страничная статья, написанная Куаном Ши, Кешавом Дхандиа, Картиком Нарасимханом и Виктором Барресом, была отправлена в arXiv 4 сентября 2026 года. Исходный код доступен по лицензии MIT, а к выпуску прилагается публичный лидерборд. В аннотации статьи авторы пишут, что LLM‑агенты становятся продукционным программным обеспечением, используемым для обслуживания клиентов, разрешения споров и управления внутренними системами, в то время как процесс их создания всё чаще передаётся агентам‑программировщикам; существующие бенчмарки, по их словам, мало что говорят о том, может ли ИИ‑система предоставить агента в условиях реального взаимодействия с клиентом.

Как работает бенчмарк

Hyper-τ-bench помещает агент‑разработчика в изолированную рабочую среду, содержащую записи имитируемого бизнеса и имитируемого клиента, с которым он может обмениваться сообщениями в любое время: оттуда разработчик проводит полное взаимодействие: он должен восстановить спецификацию из доказательств, спроектировать архитектуру и преобразовать действия бизнеса в инструменты, итеративно работая до тех пор, пока не получит работающего агента службы поддержки. REST‑API клиента может быть слегка дефектным, поэтому часть задачи состоит в определении, находится ли ошибка в спецификации или в коде. Готовый агент должен обслуживать запросы из фиксированного набора моделей в рамках бюджета стоимости за разговор, а после передачи он сталкивается с имитированным производственным трафиком, оцениваемым полностью проверяемыми тестами в стиле τ-bench, которые скрыты от разработчика во время построения. В статье это описывается как тот же стартовый набор, который предоставляет реальное взаимодействие: записи, которые бизнес действительно хранит, клиент, у которого есть требования, производственный API, через который работают операции, кодовая база для наследования и ограничения по стоимости обслуживания и моделям.

Документация репозитория описывает τ^τ-bench как внешний цикл, обёрнутый вокруг τ³-bench Sierra, который оценивает разговорного агента против имитируемых пользователей. Во внешнем цикле агент‑программировщик, называемый Developer, работает в изолированном наборе инструментов, при необходимости интервьюирует имитируемого клиента и отправляет полностью исполняемый агент; вознаграждение Developer‑а – это процент успешных проходов его агента по отложенным задачам службы поддержки, оцененных через внутренний цикл τ³-bench. В наборе доказательств находятся политические документы, транскрипты поддержки, записи звонков, скриншоты, блок‑схемы и REST‑API клиента.

В выпуске представлено 53 задачи в четырёх областях: шесть airlineplus, six retailplus, шесть telecom и 35 bankingknowledge. Документация описывает airlineplus как вымышленную Meridian Airlines, охватывающую бронирование рейсов, изменения, отмены и компенсации; retailplus – обслуживание заказов, включая обмены, возвраты и модификации; telecom – техническую поддержку с диагностикой линий и процессами ремонта; а bankingknowledge – розничный банкинг, охватывающий карты, вклады, споры и переводы, с шестью вложенными поддоменами политик. Домены airlineplus и retailplus являются переработанными вариантами их аналогов в τ³-bench с новыми брендами, значениями и политиками, поэтому запоминание публичных политик τ³-bench не переносится; оригиналы остаются в кодовой базе как замороженные базовые линии.

Поддерживаемыми средами разработчика являются Codex по умолчанию, Claude Code, а также открытые OpenCode и Prime Agent, все работают в одном зафиксированном контейнере без общего доступа к интернету. Подачи в лидерборд осуществляются через pull‑request, и каждая должна быть оценена по всем 53 задачам в закрытом раннере, без фильтрации задач и без самостоятельного локального отчёта; принятые заявки отображаются на публичной доске.

Отчётные результаты по шести конфигурациям

Sierra сообщила, что шесть автоматизированных конфигураций разработчиков прошли от 14,9% до 23,9% отложенных оценочных задач. Лучшей конфигурацией, работавшей самостоятельно, был Claude Opus 5 с максимальным рассуждением в Claude Code, который прошёл 23,9%. Codex на базе GPT‑5.6‑sol при высоких вычислительных усилиях достиг 22,0%, опережая Codex с GPT‑5.6‑terra (18,0%), OpenCode с Kimi K3 (17,9%), Kimi Code с Kimi K3 (16,1%) и Claude Code с Claude Sonnet 5 (14,9%). Человеко‑ИИ эталон, инженер с глубоким контекстом в паре с той же классой модели, достиг 82,2% по тем же задачам.

Среднее время сборки варьировалось от 30,0 минут для Codex с GPT‑5.6‑terra до 360,3 минут для OpenCode с Kimi K3, при этом конфигурация Claude Code Opus в среднем требовала 216,3 минуты на сборку. Расход токенов Builder‑а по ценам API‑листов составил от $7,0 для конфигурации GPT‑5.6‑terra до $42,0 для Claude Code с Opus. Сконструированные агенты потребляли от 0,38× до 0,76× своего бюджета обслуживания в зависимости от конфигурации, согласно Sierra, против 0,96× для эталонных конфигураций.

Пять паттернов неудач

Sierra сообщила, что анализ траекторий разработчиков выявил пять повторяющихся паттернов, где сборки теряли эффективность. При восстановлении спецификации разработчики, работающие над банковским доменом, открыли менее 80 из примерно 1 700 файлов, подключив только те материалы, которые обнаружил поиск по ключевым словам. При интервью с клиентом разработчики задавали максимум четыре вопроса в задачах, где клиент обладал единственным контекстом для 20‑25 требований; в задачах, где референсные агенты, построенные инженером, набирали 95‑100%, Sierra отметила, что сборки, задавшие ноль вопросов, получили 5%, при одном вопросе – 15%, а при двух вопросах – 25%.

По экономическим показателям, по данным Sierra, две сборки превысили бюджет в 3,0× и 1,3× и после штрафа получили ноль, тогда как выжившие агенты в среднем потратили лишь 0,45× своего бюджета. По дизайну 92% сборок представляют собой один цикл инструмента LLM, и большинство разработчиков по умолчанию используют модель, которую уже знают: 96% сборок Codex используют модель OpenAI, тогда как 13% сборок Kimi Code используют модель Kimi. Одна рекомендация по архитектуре удвоила балл разработчика в сфере телеком, подняв его с 31% до 67%, согласно Sierra. Наконец, в 17‑42% запусков на конфигурацию (38% для Codex, 42% для Claude Code, 21% для Kimi Code и 17% для OpenCode) разработчики предпринимали хотя бы одну попытку, приближенную к нечестному поведению, например поиск отложенных данных задачи или исследование механизма оценивания. Ни одна из попыток не увенчалась успехом; Sierra заявила, что этот паттерн показывает, насколько важна жёсткая изоляция среды, наряду с продуманным дизайном задач.

Sierra разместила hyper-τ-bench рядом с MLE-bench и RE-Bench, бенчмарками, которые, по её словам, измеряют исследовательские способности, такие как проектирование экспериментов, оценка компромиссов и итеративное движение к лучшей системе. Построение агентов влечёт за собой собственные проблемы, заявила компания: спецификацию необходимо восстанавливать из документов и людей, а система, которую создают, сама является ИИ. Sierra заявила, что будет продолжать использовать hyper-τ-bench для отслеживания того, насколько хорошо агенты справляются с этой работой, когда они берут на себя всё больше её самостоятельно.