IBM Research повідомляє: навчена пам’ять перевершує результати бенчмарку обслуговування клієнтів τ²-bench

У дописі на Hugging Face від 20 жовтня 2026 року IBM Research повідомила, що настанови, автоматично засвоєні під час власних тренувальних запусків агента й додані до його системного запиту, підвищили результат стандартного агента GPT-4.1 для обслуговування клієнтів до 67.5% за Pass^4 у домені роздрібної торгівлі τ²-bench. Це вище за результат кожного учасника роздрібного сегмента в знімку таблиці лідерів команди від 12 жовтня 2026 року.

Цей результат отримано завдяки ALTK-Evolve — методу лабораторії для створення того, що автори називають засвоєним планом дій. Метод аналізує спроби агента під час виконання тренувальних завдань і використовує ту саму модель, щоб узагальнити успіхи й невдачі у вигляді коротких правил поведінки для таких ситуацій, як автентифікація клієнта, підтвердження транзакції або обробка повернення. Як зазначено в дописі, та сама модель забезпечує і вилучення настанов, і роботу самого агента, а цей процес не потребує ані оновлення ваг, ані анотування людьми. Раніше команда демонструвала цей підхід на агентах для програмування; у новому дослідженні його застосовано до обслуговування клієнтів. У дописі перелічено одинадцятьох авторів з IBM Research, серед них — Ashwath Vaithinathan Aravindan, Vatche Isahagian і Vinod Muthusamy.

Як проводили дослідження

τ²-bench, який підтримує Sierra Research, — це симуляційне середовище для оцінювання агентів обслуговування клієнтів у різних доменах. Згідно з репозиторієм τ²-bench, для кожного домену визначено політику, якої має дотримуватися агент, набір інструментів і набір завдань для оцінювання, а в основній статті про бенчмарк описано середовище з подвійним керуванням. У дослідженні IBM використано домени роздрібної торгівлі й авіаперевезень. У кожному завданні агент взаємодіє з клієнтом, змодельованим за допомогою LLM, користується інструментами відповідного домену й має письмовий документ із політикою; завдання вважається виконаним лише тоді, коли кінцевий стан бази даних відповідає очікуваному результату. У дописі таку оцінку описано як сувору бінарну винагороду.

Під час оцінювання використовували власну реалізацію τ²-bench — базового агента ReAct із двофазним циклом THINK→ACT, де як модель агента застосовувалася gpt-4.1, а як модель симулятора клієнта — gpt-5.5. Для кожного завдання проводили чотири випробування. Єдиною зміною був звичайний список засвоєних настанов у форматі Markdown, доданий до системного запиту після політики домену. Серед опублікованих прикладів — автентифікація користувача перед будь-якою дією, пов’язаною із замовленням; вимога отримати чітке схвалення користувача перед діями, що змінюють базу даних; надання деталізованого розрахунку відшкодування; виконання однієї дії за крок; а також розбір об’єднаних іменних ідентифікаторів перед пошуком користувачів.

Настанови було вилучено з траєкторій агента під час виконання тренувальних завдань τ²-bench за допомогою gpt-4.1 і без змін застосовано до відкладеної тестової вибірки. Для кожної настанови вказано кількість підтримки — число різних тренувальних завдань, з яких її було вилучено. У дослідженні порівнюються три конфігурації: базова, без настанов; sup3, у якій залишено лише настанови з кількістю підтримки не менш ніж три (31 у роздрібній торгівлі, 14 в авіаперевезеннях); і lossless, у якій збережено всі залишені настанови (292 у роздрібній торгівлі, 101 в авіаперевезеннях).

Результати на відкладених вибірках роздрібної торгівлі й авіаперевезень

У дослідженні відстежують два показники за чотири випробування на кожне завдання: середню точність (Mean Accuracy) — середній рівень успішності, який автори визначають як вісь спроможностей, — і Pass^4 — відсоток завдань, успішно виконаних у всіх чотирьох випробуваннях. Його автори визначають як вісь надійності та зазначають, що саме цей показник наводиться в таблиці лідерів τ²-bench.

На 40 відкладених тестових завданнях у домені роздрібної торгівлі базовий агент, за даними IBM, набрав 78.1% середньої точності та 57.5% за Pass^4. Основна конфігурація sup3 набрала 78.8% і 60.0%, а конфігурація lossless — 82.5% і 67.5%. Це відповідно на 4.4 і 10.0 відсоткового пункту більше за базовий результат.

На 20 відкладених тестових завданнях у домені авіаперевезень базова конфігурація набрала 57.5% точності та 35.0% за Pass^4. Основна конфігурація sup3 досягла 60.0% точності й 45.0% за Pass^4, тоді як lossless — 65.0% точності й 40.0% за Pass^4. Результати у двох доменах відрізнялися залежно від кількості настанов: у роздрібній торгівлі найбільше покращення дала повна конфігурація lossless, а в авіаперевезеннях найкращий результат за Pass^4 забезпечила компактна основна конфігурація sup3. IBM зазначає, що кількість підтримки варто налаштовувати окремо для кожного домену, а не задавати єдиним незмінним значенням.

Витрати, повторне оцінювання на передовій моделі та статус у таблиці лідерів

На повній базовій вибірці загальні витрати на LLM для однієї розмови зростали зі збільшенням розміру запиту: у роздрібній торгівлі — з $0.084 у базовій конфігурації до $0.139 у lossless, що, за заявою авторів, становить зростання на 65%; в авіаперевезеннях — з $0.081 до $0.107, або на 32%. Варіанти sup3 коштували відповідно $0.095 і $0.097. У зіставлених запусках, де завдання було виконано і в базовій конфігурації, і з настановами, розмови були трохи коротшими за кількістю ходів асистента: у роздрібній торгівлі цей показник зменшився з 10.59 до 10.16 у конфігурації lossless, а в авіаперевезеннях — з 9.15 до 8.82. Жоден варіант не збільшив кількість ходів. IBM зазначає, що менша кількість ходів означає нижчу наскрізну затримку для клієнта, а додаткові витрати на вхідні дані можна значною мірою компенсувати у виробничому середовищі завдяки кешуванню запитів, оскільки блок настанов однаковий під час кожного виклику.

Команда також повторно оцінила домен авіаперевезень, використавши gpt-5.5 і як модель агента, і як модель для вилучення настанов, та повторно видобула настанови з власних запусків цього агента. Жодна вилучена настанова не досягла кількості підтримки не менш ніж три, тож основною конфігурацією з високою підтримкою стала sup2 зі 103 настановами; також використовувалася конфігурація lossless зі 146 настановами. На тих самих відкладених завданнях у домені авіаперевезень базова конфігурація gpt-5.5 набрала 72.5% точності й 55.0% за Pass^4; sup2 досягла 80.0% і 70.0%, а lossless — 82.5% і 70.0%. За заявою авторів, це відповідно на 10.0 відсоткового пункту більше за точністю та на 15.0 відсоткового пункту більше за Pass^4. IBM повідомляє, що результат конфігурації lossless точно відтворився під час повторних запусків.

Подання до таблиці лідерів оцінюють за повним базовим набором розбиття, що об’єднує навчальні та тестові завдання, і звітують про результати за Pass^4, тому ці показники відрізняються від наведених вище результатів на відкладених даних. За знімком таблиці станом на 12 жовтня 2026 року IBM повідомляє, що її агент для роздрібної торгівлі посідає перше місце з результатом 67,5%, випереджаючи RAFT-30B-A3B із результатом 61,4% — модель, яку, за даними компанії, донавчали на синтетичних даних τ²-bench для роздрібної торгівлі, — на заявлені 6,1 пункту. У домені авіаперевезень, за повідомленням IBM, агент gpt-5.5 посідає перше місце з результатом 82,0%, випереджаючи передові моделі, результати яких становлять 66–72%. Варіант gpt-4.1 sup3 посів восьме місце з результатом 44%, випередивши GPT-5.2 без міркувань і майже зрівнявшись із Claude Sonnet 4.5. IBM стверджує, що цей підхід покращує стандартні агенти без оновлення ваг, анотування людьми чи витоку даних із тестового набору.

Подання для роздрібної торгівлі до таблиці лідерів було надіслано як запит на внесення змін до τ²-bench 14 вересня 2026 року. У ньому наведено результати від Pass^1 — 81,14% — до Pass^4 — 67,54% — за 114 завданнями базового набору розбиття з чотирма випробуваннями, із середньою вартістю $0.1084 за розмову на tau2-bench v1.0.1. Також зазначено, що рекомендації було отримано з навчального розбиття для роздрібної торгівлі, яке входить до базового набору розбиття для оцінювання. Подання для авіаперевезень до таблиці лідерів надійшло пізніше, 21 вересня 2026 року. У ньому наведено результати від Pass^1 — 88,50% — до Pass^4 — 82,00% — за 50 завданнями із середньою вартістю $0.1690 за розмову. В обох поданнях зазначено, що промпти було змінено, автори очікують, що подання матимуть статус «Не перевірено», і вони залишаються відкритими.