IBM Research сообщает: обученная память лидирует в тесте τ²-Bench для обслуживания клиентов

В публикации от 20 октября 2026 года на Hugging Face IBM Research сообщила, что правила, автоматически выведенные из собственных обучающих запусков агента и добавленные в его системный запрос, позволили стандартному агенту обслуживания клиентов на GPT-4.1 набрать 67,5% по Pass^4 в розничном домене τ²-bench — больше, чем у всех участников розничного сегмента в снимке таблицы лидеров команды от 12 октября 2026 года.

Результат достигнут с помощью ALTK-Evolve — метода лаборатории для создания того, что авторы называют набором усвоенных правил. Метод анализирует попытки агента при выполнении обучающих задач и использует ту же модель, чтобы свести успехи и неудачи к кратким правилам поведения, охватывающим такие ситуации, как проверка личности клиента, подтверждение транзакции или обработка возврата. Согласно публикации, одна и та же модель используется и для извлечения правил, и в качестве самого агента; процесс не требует обновления весов или аннотирования данных людьми. Ранее команда демонстрировала этот подход на агентах для написания кода; в новом исследовании его применили к обслуживанию клиентов. В публикации перечислены одиннадцать авторов из IBM Research, в том числе Ashwath Vaithinathan Aravindan, Vatche Isahagian и Vinod Muthusamy.

Как проводилось исследование

τ²-bench, поддерживаемый Sierra Research, — это симуляционная платформа для оценки агентов обслуживания клиентов в разных доменах. Согласно репозиторию τ²-bench, для каждого домена задаются политика, которой должен следовать агент, набор инструментов и набор оценочных задач; в основной статье о тесте описана среда с двойным управлением. В исследовании IBM использованы розничный и авиационный домены. В каждой задаче агент взаимодействует с клиентом, симулируемым большой языковой моделью, использует инструменты домена и следует письменному документу с политикой. Задача считается решённой, только если итоговое состояние базы данных соответствует ожидаемому результату; в публикации такой подход описан как строгая бинарная система вознаграждения.

Для оценки использовалась собственная реализация τ²-bench — базовый агент ReAct с двухфазным циклом THINK→ACT. В качестве модели агента применялась gpt-4.1, а в качестве модели-симулятора клиента — gpt-5.5; каждую задачу выполняли в четырёх испытаниях. Единственным изменением стал обычный список усвоенных правил в формате Markdown, добавленный в системный запрос после политики домена. Среди опубликованных примеров — проверка личности пользователя перед любыми действиями, связанными с заказом; требование явного одобрения пользователя перед действиями, изменяющими базу данных; предоставление подробной разбивки возврата средств по позициям; выполнение одного действия за шаг; а также разбор составных вариантов имени перед поиском пользователя.

Правила извлекли из последовательностей действий агента при выполнении обучающих задач τ²-bench с использованием gpt-4.1 и без изменений применили к отложенной тестовой выборке. Для каждого правила указано число задач поддержки — количество различных обучающих задач, из которых оно было извлечено. В исследовании сравниваются три конфигурации: базовая, без правил; sup3, в которой оставлены только правила с поддержкой не менее трёх задач (31 в розничном домене и 14 в авиационном); и lossless, включающая все сохранённые правила (292 в розничном домене и 101 в авиационном).

Результаты на отложенных выборках в розничном и авиационном доменах

В исследовании отслеживаются две метрики по четырём испытаниям каждой задачи: средняя точность — усреднённая доля успешных выполнений, которую авторы считают показателем возможностей агента, — и Pass^4 — процент задач, решённых во всех четырёх испытаниях. Последнюю авторы рассматривают как показатель надёжности и указывают, что именно её публикует таблица лидеров τ²-bench.

На 40 отложенных тестовых задачах розничного домена базовый агент, по данным IBM, показал среднюю точность 78,1% и результат Pass^4 57,5%. Базовая конфигурация sup3 набрала 78,8% и 60,0%, а конфигурация lossless — 82,5% и 67,5%. Это, как указано в исследовании, на 4,4 и 10,0 процентного пункта выше базового результата соответственно.

На 20 отложенных тестовых задачах авиационного домена базовая конфигурация показала точность 57,5% и результат Pass^4 35,0%. Базовая конфигурация sup3 достигла точности 60,0% и результата Pass^4 45,0%, а lossless — точности 65,0% и результата Pass^4 40,0%. Результаты в двух доменах показали, что оптимальный объём правил различается: в розничном домене наибольший прирост дала полная конфигурация lossless, а в авиационном наилучший Pass^4 обеспечила компактная конфигурация sup3. IBM отмечает, что порог числа задач поддержки стоит настраивать для каждого домена, а не задавать раз и навсегда.

Затраты, повторная оценка передовой модели и статус в таблице лидеров

Общие затраты на большие языковые модели в расчёте на один диалог на полном базовом разбиении выросли вместе с размером запроса: в розничном домене — с $0.084 в базовой конфигурации до $0.139 в lossless, то есть на 65%, а в авиационном — с $0.081 до $0.107, то есть на 32%. Конфигурации sup3 обходились соответственно в $0.095 и $0.097. В сопоставимых запусках, где задача была решена и в базовой конфигурации, и с добавлением правил, диалоги с правилами оказались немного короче: в розничном домене число ходов ассистента сократилось с 10.59 до 10.16 в lossless, а в авиационном — с 9.15 до 8.82; ни одна конфигурация не увеличила их число. IBM отмечает, что меньшее число ходов снижает сквозную задержку для клиента, а дополнительные затраты на входные данные при использовании в реальных условиях в значительной степени можно компенсировать кэшированием запросов, поскольку блок с правилами остаётся одинаковым при каждом вызове.

Команда также повторно оценила авиационный домен, используя gpt-5.5 и как агента, и как модель для извлечения правил, заново извлечённых из собственных запусков этого агента. Ни одно извлечённое правило не достигло поддержки не менее трёх задач, поэтому в качестве ядра с высокой поддержкой использовали sup2 из 103 правил; кроме того, проверили конфигурацию lossless со 146 правилами. На тех же отложенных задачах авиационного домена базовая конфигурация gpt-5.5 показала точность 72,5% и результат Pass^4 55,0%; sup2 достигла 80,0% и 70,0%, а lossless — 82,5% и 70,0%. В исследовании это указано как прирост на 10,0 процентного пункта точности и на 15,0 процентного пункта Pass^4. IBM сообщает, что результат lossless в точности повторился при повторных запусках.

Результаты, поданные в таблицу лидеров, оцениваются на полном базовом наборе, включающем задачи обучения и тестирования, и приводятся для Pass^4, поэтому эти показатели отличаются от приведённых выше результатов на отложенной выборке. По состоянию на 12 октября 2026 года, согласно IBM, агент для розничной торговли занимает первое место с результатом 67,5%, опережая RAFT-30B-A3B, набравшую 61,4%. IBM указывает, что эту модель дообучили на синтетических данных τ²-bench для розничной торговли, а разница в результатах составляет 6,1 пункта. В тестах для авиакомпаний, по данным IBM, агент gpt-5.5 занимает первое место с результатом 82,0%, опережая представленные передовые модели, набравшие от 66 до 72%. Вариант gpt-4.1 sup3 занял восьмое место с результатом 44%, опередив GPT-5.2, работавшую без режима рассуждений, и почти сравнявшись с Claude Sonnet 4.5. IBM утверждает, что этот подход повышает эффективность стандартных агентов без обновления весов, разметки данных людьми и утечки данных тестовой выборки.

Результаты для розничного направления в таблице лидеров были поданы в виде пул-реквеста в τ²-bench 14 сентября 2026 года. В нём указаны показатели от Pass^1 — 81,14% до Pass^4 — 67,54% по 114 задачам базового разделения, проверенным в четырёх испытаниях. Средняя стоимость составила 0,1084 доллара за диалог на tau2-bench v1.0.1. Также отмечалось, что рекомендации были получены на обучающей выборке для розничного направления, входящей в базовый оценочный набор. Результаты для авиакомпаний в таблице лидеров были поданы 21 сентября 2026 года: от Pass^1 — 88,50% до Pass^4 — 82,00% по 50 задачам при средней стоимости 0,1690 доллара за диалог. В обоих случаях раскрывается информация об изменённых промптах; авторы указывают, что ожидают присвоения статуса Unverified, и заявки остаются открытыми.