IBM Research informuje: wyuczona pamięć osiąga najlepszy wynik w teście obsługi klienta τ²-Bench

W wpisie opublikowanym 20 października 2026 r. na Hugging Face IBM Research poinformował, że wytyczne automatycznie wyuczone na podstawie własnych przebiegów treningowych agenta i dodane do jego promptu systemowego podniosły wynik standardowego agenta GPT-4.1 do obsługi klienta do 67,5% Pass^4 w domenie handlu detalicznego τ²-bench, przewyższając wszystkie pozycje dotyczące handlu detalicznego w migawce rankingu zespołu z 12 października 2026 r.

Wynik uzyskano dzięki ALTK-Evolve — metodzie opracowanej w laboratorium do tworzenia tego, co autorzy określają jako wyuczony zestaw zasad postępowania. Metoda analizuje próby agenta podejmowane podczas zadań treningowych, a następnie wykorzystuje ten sam model do sprowadzenia sukcesów i porażek do krótkich reguł zachowania obejmujących sytuacje takie jak uwierzytelnianie klienta, potwierdzanie transakcji czy obsługa zwrotu. Jak podano we wpisie, ten sam model odpowiada zarówno za wydobywanie wytycznych, jak i za działanie agenta, a proces nie wymaga aktualizacji wag ani adnotacji tworzonych przez ludzi. Zespół wcześniej zaprezentował to podejście w przypadku agentów programistycznych; nowe badanie stosuje je do obsługi klienta. We wpisie wymieniono jedenastu autorów z IBM Research, w tym Ashwatha Vaithinathana Aravindana, Vatchego Isahagiana i Vinoda Muthusamy’ego.

Jak przeprowadzono badanie

τ²-bench, utrzymywany przez Sierra Research, to środowisko symulacyjne służące do oceny agentów obsługi klienta w różnych domenach. Zgodnie z informacjami w repozytorium τ²-bench, każda domena określa zasady, których agent musi przestrzegać, zestaw narzędzi oraz zestaw zadań ewaluacyjnych, a główna publikacja opisująca benchmark przedstawia środowisko z podwójnym sterowaniem. W badaniu IBM wykorzystano domeny handlu detalicznego i lotnictwa. W każdym zadaniu agent współpracuje z klientem symulowanym przez LLM, korzysta z narzędzi właściwych dla danej domeny i stosuje się do pisemnego dokumentu określającego zasady; zadanie uznaje się za rozwiązane tylko wtedy, gdy końcowy stan bazy danych odpowiada oczekiwanemu wynikowi, co we wpisie opisano jako ścisłą binarną nagrodę.

W ewaluacji wykorzystano własną implementację τ²-bench podstawowego agenta ReAct z dwuetapową pętlą THINK→ACT. Jako model agenta zastosowano gpt-4.1, a jako model symulujący klienta — gpt-5.5; każde zadanie wykonano w czterech próbach. Jedyną modyfikacją było dodanie do promptu systemowego, po zasadach obowiązujących w danej domenie, zwykłej listy wyuczonych wytycznych w formacie Markdown. Opublikowane przykłady obejmują uwierzytelnianie użytkownika przed podjęciem jakichkolwiek działań związanych z zamówieniem, wymaganie wyraźnej zgody użytkownika przed działaniami zmieniającymi bazę danych, przedstawianie szczegółowych zestawień zwrotów, wykonywanie jednego działania na krok oraz analizowanie połączonych identyfikatorów nazw przed wyszukiwaniem użytkowników.

Wytyczne wyodrębniono z przebiegów agenta w zadaniach treningowych τ²-bench, używając gpt-4.1, a następnie zastosowano bez zmian w zbiorze testowym odłożonym na bok. Do każdej wytycznej przypisano liczbę wskazującą, z ilu różnych zadań treningowych ją wyodrębniono. W badaniu porównano trzy konfiguracje: bazową, bez wytycznych; sup3, która uwzględnia wyłącznie wytyczne poparte co najmniej trzema zadaniami (31 w handlu detalicznym, 14 w lotnictwie); oraz lossless, która uwzględnia wszystkie zachowane wytyczne (292 w handlu detalicznym, 101 w lotnictwie).

Wyniki na odłożonych zbiorach testowych dla handlu detalicznego i lotnictwa

W badaniu śledzono dwie miary w czterech próbach każdego zadania: Mean Accuracy, czyli średni odsetek sukcesów, traktowany przez autorów jako wymiar zdolności, oraz Pass^4, czyli odsetek zadań rozwiązanych we wszystkich czterech próbach, traktowany jako wymiar niezawodności i wskazany jako miara raportowana w rankingu τ²-bench.

W 40 odłożonych zadaniach testowych dotyczących handlu detalicznego agent bazowy uzyskał, według IBM, średnią dokładność 78,1% i wynik 57,5% Pass^4. Rdzeń sup3 osiągnął odpowiednio 78,8% i 60,0%, a konfiguracja lossless — 82,5% i 67,5%; oznacza to wzrost względem wartości bazowych o 4,4 i 10,0 punktów procentowych.

W 20 odłożonych zadaniach testowych dotyczących lotnictwa agent bazowy osiągnął dokładność 57,5% i wynik 35,0% Pass^4. Rdzeń sup3 uzyskał dokładność 60,0% i wynik 45,0% Pass^4, natomiast lossless — odpowiednio 65,0% i 40,0%. W obu domenach optymalna liczba wytycznych była inna: w handlu detalicznym największą poprawę przyniósł pełny zestaw lossless, a w lotnictwie najlepszy wynik Pass^4 zapewnił kompaktowy rdzeń sup3. IBM stwierdza, że liczbę zadań potwierdzających wytyczną warto dostrajać osobno dla każdej domeny, zamiast ustalać ją na stałe.

Koszty, ponowna ewaluacja z modelem z czołówki i status w rankingu

Całkowity koszt LLM na rozmowę w pełnym podstawowym podziale danych rósł wraz z długością promptu: w handlu detalicznym z 0,084 USD w konfiguracji bazowej do 0,139 USD w lossless, co oznacza wzrost o 65%, a w lotnictwie z 0,081 USD do 0,107 USD, czyli o 32%; warianty sup3 kosztowały odpowiednio 0,095 USD i 0,097 USD. W dopasowanych przebiegach, w których zadania rozwiązano zarówno w ustawieniu bazowym, jak i z wytycznymi, rozmowy były nieco krótsze po dodaniu wytycznych: w handlu detalicznym liczba tur asystenta w lossless spadła z 10,59 do 10,16, a w lotnictwie z 9,15 do 8,82; żaden wariant nie wydłużył rozmów. IBM stwierdza, że mniejsza liczba tur oznacza krótsze opóźnienie od początku do końca z perspektywy klienta, a dodatkowy koszt wejściowy można w dużej mierze odzyskać w środowisku produkcyjnym dzięki buforowaniu promptów, ponieważ blok wytycznych jest identyczny przy każdym wywołaniu.

Zespół ponownie przeprowadził też ewaluację domeny lotnictwa, używając gpt-5.5 zarówno jako agenta, jak i modelu do wyodrębniania wytycznych, które ponownie wydobyto z własnych przebiegów tego agenta. Żadna wyodrębniona wytyczna nie osiągnęła progu co najmniej trzech zadań potwierdzających, dlatego rdzeń z wysokim wsparciem stanowił sup2 obejmujący 103 wytyczne; zestaw lossless zawierał 146 wytycznych. W tych samych odłożonych zadaniach testowych dotyczących lotnictwa model gpt-5.5 w konfiguracji bazowej uzyskał dokładność 72,5% i wynik 55,0% Pass^4; sup2 osiągnął odpowiednio 80,0% i 70,0%, a lossless — 82,5% i 70,0%. Oznacza to wzrost o 10,0 punktów procentowych pod względem dokładności i o 15,0 punktów procentowych w Pass^4. IBM informuje, że wynik lossless powtórzył się dokładnie w kolejnych przebiegach.

Wyniki zgłoszeń do rankingu oblicza się na pełnym podziale bazowym, obejmującym łącznie zadania treningowe i testowe, i podaje jako Pass^4, dlatego różnią się od przedstawionych wyżej wyników dla zbioru zadań niewykorzystanych do treningu. Porównując wyniki z migawką rankingu z 12 października 2026 r., IBM podaje, że jej agent do zadań z handlu detalicznego zajmuje pierwsze miejsce z wynikiem 67,5%, wyprzedzając RAFT-30B-A3B z wynikiem 61,4% — model, który, jak wskazuje IBM, dostrojono na syntetycznych danych τ²-bench dotyczących handlu detalicznego — o deklarowane 6,1 punktu. W zadaniach z branży lotniczej agent gpt-5.5 zajmuje, według IBM, pierwsze miejsce z wynikiem 82,0%, wyprzedzając czołowe modele z wynikami w przedziale 66–72%. Wariant gpt-4.1 sup3 zajął ósme miejsce z wynikiem 44%, wyprzedzając GPT-5.2 działający bez rozumowania i osiągając wynik niemal równy Claude Sonnet 4.5. IBM twierdzi, że ta metoda poprawia działanie gotowych agentów bez aktualizowania wag, adnotacji wykonywanych przez ludzi ani wycieku danych ze zbioru testowego.

Zgłoszenie do rankingu dla handlu detalicznego złożono jako pull request w τ²-bench 14 września 2026 r. Podano w nim wyniki od Pass^1 na poziomie 81,14% do Pass^4 na poziomie 67,54%, uzyskane w czterech próbach dla 114 zadań z podziału bazowego, przy średnim koszcie 0,1084 USD na rozmowę w tau2-bench v1.0.1. Zaznaczono też, że wytyczne opracowano na podstawie treningowego podziału danych dotyczących handlu detalicznego, który obejmuje bazowy podział ewaluacyjny. Zgłoszenie do rankingu dla branży lotniczej złożono 21 września 2026 r. Podano w nim wyniki od Pass^1 na poziomie 88,50% do Pass^4 na poziomie 82,00% dla 50 zadań, przy średnim koszcie 0,1690 USD na rozmowę. W obu zgłoszeniach ujawniono, że prompty zostały zmodyfikowane, wskazano, że autorzy spodziewają się oznaczenia ich jako „Niezweryfikowane”, oraz zaznaczono, że zgłoszenia pozostają otwarte.