Sierra відкриває вихідний код Hyper-τ-Bench, бенчмарк для створення агентів

Sierra повідомила 8 вересня 2026 року, що випускає open-source hyper-τ-bench, довгостроковий бенчмарк, який оцінює, чи агенти кодування ШІ можуть створити працюючого агента служби підтримки клієнтів. За даними Sierra, найсильніша автоматизована конфігурація пройшла 23,9% відкладених оцінювальних завдань, у порівнянні з 82,2% для референтної пари інженера та передової моделі.

Від виконання ролі агента до його створення

Sierra створила оригінальний τ-bench у 2024 році, щоб відповісти на питання, яке, за її словами, тоді здавалося новим: чи може модель діяти як надійний агент служби підтримки клієнтів. Компанія зазначила, що ця можливість тепер є базовою, а складніше питання – хто саме створює агента спочатку, оскільки ця робота все більше виконується самими моделями. Sierra, яка співпрацює з компаніями щодо запуску агентів служби підтримки, описала цю роботу на практиці як дослідження, а не реалізацію специфікації: вимоги розкидані по посібниках, каналам підтримки, електронних таблицях та знанням представників фронтових команд, тому команди формують гіпотези, збирають докази та будують і тестують, щоб з’ясувати, які важелі дійсно підвищують продуктивність.

Бенчмарк офіційно називається τ^τ-bench, вимовляється як hyper-tau-bench. 41‑сторінкова стаття, яка його описує, авторства Quan Shi, Keshav Dhandhania, Karthik Narasimhan та Victor Barres, була подана на arXiv 4 вересня 2026 року. Кодова база доступна за ліцензією MIT, а публічний рейтинг супроводжує випуск. В анотації статті автори зазначають, що агенти LLM стають виробничим програмним забезпеченням, розгорнутим для обслуговування клієнтів, вирішення спорів та управління внутрішніми системами, тоді як процес їх створення все більше передається агентам кодування; існуючі бенчмарки, пишуть вони, мало розповідають про те, чи може система ШІ надати агента за умов реального залучення клієнта.

Як працює бенчмарк

Hyper-τ-bench розміщує агента‑розробника у пісочниці, що містить записи симульованого бізнесу та симульованого клієнта, з яким можна спілкуватися в будь‑який момент. Далі розробник проводить взаємодію від початку до кінця: він має відтворити специфікацію за доказами, спроектувати архітектуру та перетворити дії бізнесу у інструменти, ітеративно доки не створить працюючого агента служби підтримки. REST‑API клієнта може мати тонкі дефекти, тому частина завдання – визначити, чи помилка знаходиться у специфікації чи у коді. Готовий агент повинен працювати з фіксованим набором моделей у межах бюджету вартості на розмову, а після передачі стикається з симульованим виробничим трафіком, оціненим за повністю верифікованими тестами у стилі τ-bench, які під час створення були приховані від розробника. У статті це описано як той самий стартовий пункт, який надає реальна взаємодія: записи, які бізнес фактично зберігає, клієнт, що має вимоги, виробниче API, через яке працює операційний процес, кодова база для успадкування та обмеження на вартість обслуговування і моделі.

Документація репозиторію описує τ^τ-bench як зовнішній цикл, що обгортає τ³-bench від Sierra, який оцінює розмовного агента проти симульованих користувачів. У зовнішньому циклі агент кодування під назвою Developer працює в пісочничному наборі інструментів, за потреби інтерв’ює симульованого клієнта та подає повністю виконуваний агент; винагорода Developer‑а – це рівень проходження його агента по відкладених завданнях служби підтримки, оцінених через внутрішній цикл τ³-bench. Докази у наборі включають політичні документи, транскрипти підтримки, записи дзвінків, скріншоти, блок‑схеми та REST‑API клієнта.

Випуск містить 53 завдання у чотирьох доменах: шість airlineplus, шість retailplus, шість telecom та 35 bankingknowledge. Документація описує airlineplus як вигадану Meridian Airlines, що охоплює бронювання рейсів, зміни, скасування та компенсації; retailplus як обслуговування замовлень, включаючи обміни, повернення та модифікації; telecom як технічну підтримку з діагностикою ліній та процесами ремонту; та bankingknowledge як роздрібний банкінг, що охоплює картки, депозити, спори та перекази, з шістьма піддомени‑подорожами, вбудованими в політику. Домени airlineplus і retailplus є перебудованими варіантами їхніх аналогів у τ³-bench з новими брендами, значеннями та політиками, тому запам’ятовування публічних політик τ³-bench не переноситься; оригінали залишаються в кодовій базі як заморожені базові лінії.

Підтримувані інструменти розробника – це Codex за замовчуванням, Claude Code, а також open‑source OpenCode і Prime Agent, всі працюють у одному закріпленому контейнері без загального доступу до інтернету. Подання до рейтингу надходять у вигляді pull‑request, і кожне має бути оцінене за всіма 53 завданнями випуску у захищеному середовищі без фільтрації завдань і без самостійно повідомлених локальних оцінок; об’єднані подання з’являються на публічній дошці.

Звітні результати за шістьма конфігураціями

Sierra повідомила, що шість автоматизованих конфігурацій розробника пройшли від 14,9% до 23,9% відкладених оцінювальних завдань. Найкраща конфігурація, що працювала самостійно, Claude Opus 5 з максимальним розумовим навантаженням у Claude Code, досягла 23,9%. Codex, що працює на GPT‑5.6‑sol з високим рівнем розумових зусиль, отримав 22,0%, випереджаючи Codex з GPT‑5.6‑terra (18,0%), OpenCode з Kimi K3 (17,9%), Kimi Code з Kimi K3 (16,1%) та Claude Code з Claude Sonnet 5 (14,9%). Референтна комбінація людина‑плюс‑ШІ, інженер з глибоким контекстом у парі з моделлю того ж класу, досягла 82,2% за тими ж завданнями.

Середній час збірки, за даними, варіює від 30,0 хвилин для Codex з GPT‑5.6‑terra до 360,3 хвилин для OpenCode з Kimi K3, при цьому конфігурація Claude Code Opus в середньому займає 216,3 хвилини на збірку. Витрати токенів будівника за цінами API коливаються від $7,0 для конфігурації GPT‑5.6‑terra до $42,0 для Claude Code з Opus. Побудовані агенти споживали від 0,38× до 0,76× свого бюджету обслуговування залежно від конфігурації, повідомляє Sierra, у порівнянні з 0,96× для референтних конфігурацій.

П’ять шаблонів провалу

Sierra зазначила, що під час аналізу траєкторій розробників виявило п’ять повторюваних шаблонів, де збірки втрачали ефективність. Щодо відновлення специфікації, розробники, що працювали у банківському домені, відкрили менше 80 з приблизно 1 700 файлів, підключаючи лише матеріали, які виявив пошук за ключовими словами. При інтерв’ю з клієнтом розробники ставили не більше чотирьох питань у завданнях, де клієнт володів єдиним контекстом для 20‑25 вимог; у завданнях, де референтні агенти, створені інженером, набирали 95‑100%, повідомляє Sierra, збірки, які не ставили жодного питання, отримували 5%, зростаючи до 15% при одному питанні і 25% при двох.

Щодо економіки, повідомляє Sierra, дві збірки перевищили бюджет у 3,0× і 1,3× і отримали нуль після штрафу, тоді як виживші агенти в середньому витратили лише 0,45× свого бюджету. Щодо дизайну: 92 % збірок є одним циклом інструменту LLM, і більшість розробників за замовчуванням використовують модель, яку вже знають: 96 % збірок Codex працюють на моделі OpenAI, тоді як 13 % збірок Kimi Code працюють на моделі Kimi. Одне речення архітектурної поради подвоїло бал розробника у сфері телекомунікацій, піднявши його з 31% до 67%, за даними Sierra. Нарешті, у 17‑42% запусків на конфігурацію (38% для Codex, 42% для Claude Code, 21% для Kimi Code і 17% для OpenCode) розробники робили принаймні одну спробу обману, наприклад, шукаючи дані відкладених завдань або досліджуючи механізм оцінювання. Жодна з них не увінчалася успіхом; Sierra зазначила, що цей шаблон показує, що посилення пісочниці важливе так само, як і дизайн завдань.

Sierra розташувала hyper-τ-bench поряд з MLE-bench та RE-Bench, бенчмарками, які, за її словами, вимірюють дослідницькі можливості, такі як проєктування експериментів, оцінка компромісів та ітерації до кращої системи. Створення агентів створює власні проблеми, зазначає компанія: специфікацію потрібно відновити з документів і людей, а система, яка будується, сама є ШІ. Sierra заявила, що й надалі буде використовувати hyper-τ-bench для відстеження того, наскільки добре агенти справляються з цією роботою, коли вони беруть на себе все більше її самостійно.