IBM Research uvádí, že naučená paměť překonává benchmark zákaznického servisu τ²-Bench

V příspěvku zveřejněném 20. října 2026 na Hugging Face IBM Research uvedla, že pokyny automaticky naučené z vlastních tréninkových běhů agenta a přidané do jeho systémového promptu zvýšily skóre běžného agenta zákaznického servisu GPT-4.1 na 67,5 % Pass^4 v maloobchodní doméně τ²-bench, tedy nad úroveň všech maloobchodních výsledků v žebříčku, jehož snímek tým pořídil 12. října 2026.

Výsledek vychází z metody ALTK-Evolve, kterou laboratoř používá k vytváření toho, co autoři označují jako naučený soubor postupů. Metoda analyzuje pokusy agenta při plnění tréninkových úloh a stejný model využívá k převedení úspěchů i neúspěchů do stručných pravidel chování, která pokrývají situace, jako je ověření totožnosti zákazníka, potvrzení transakce nebo vyřízení vrácení zboží. Podle příspěvku zajišťuje tentýž model extrakci pokynů i samotné fungování agenta a celý proces nevyžaduje aktualizaci vah ani anotace od lidí. Tým tento přístup již dříve předvedl u agentů pro programování; nová studie jej uplatňuje v zákaznickém servisu. Příspěvek uvádí jedenáct autorů z IBM Research, mezi nimi Ashwatha Vaithinathana Aravindana, Vatche Isahagiana a Vinoda Muthusamyho.

Jak studie probíhala

τ²-bench, který spravuje Sierra Research, je simulační rámec pro hodnocení agentů zákaznického servisu v různých doménách. Podle repozitáře τ²-bench každá doména stanovuje pravidla, jimiž se agent musí řídit, sadu nástrojů a soubor evaluačních úloh; základní článek o benchmarku popisuje prostředí s duálním řízením. Studie IBM využívá maloobchodní a leteckou doménu. V každé úloze agent komunikuje se zákazníkem simulovaným pomocí LLM, používá doménové nástroje a řídí se písemným dokumentem s pravidly. Úloha se považuje za vyřešenou pouze tehdy, když konečný stav databáze odpovídá očekávanému výsledku; příspěvek tento přístup popisuje jako přísné binární hodnocení.

Hodnocení využívalo vlastní implementaci základního agenta ReAct v τ²-bench, který pracoval ve dvoufázové smyčce THINK→ACT. Jako model agenta sloužil gpt-4.1 a jako model simulujícího zákazníka gpt-5.5; každá úloha se spustila ve čtyřech pokusech. Jedinou úpravou bylo přidání prostého seznamu naučených pokynů ve formátu markdown do systémového promptu, hned za pravidla dané domény. Mezi zveřejněné příklady patří ověření totožnosti uživatele před jakoukoli akcí týkající se objednávky, vyžadování výslovného souhlasu uživatele před akcemi měnícími databázi, poskytování položkového rozpisu vrácené částky, provedení jedné akce v každém kroku a rozpoznání kombinovaných jmenných identifikátorů před vyhledáváním uživatele.

Pokyny byly odvozeny z trajektorií agenta při tréninkových úlohách τ²-bench s využitím gpt-4.1 a beze změny použity na testovací sadě, která nebyla součástí tréninku. Každý pokyn má uveden počet podpůrných případů, tedy počet různých tréninkových úloh, z nichž byl odvozen. Studie porovnává tři konfigurace: výchozí variantu bez pokynů; sup3, která ponechává pouze pokyny s alespoň třemi podpůrnými případy (31 v maloobchodní doméně, 14 v letecké); a lossless, která ponechává všechny zachované pokyny (292 v maloobchodní doméně, 101 v letecké).

Výsledky na testovací sadě pro maloobchodní a leteckou doménu

Studie sleduje ve čtyřech pokusech pro každou úlohu dvě metriky: Mean Accuracy, tedy průměrnou míru úspěšnosti, kterou autoři chápou jako ukazatel schopností, a Pass^4, tedy procento úloh vyřešených ve všech čtyřech pokusech. Tuto metriku autoři považují za ukazatel spolehlivosti a uvádějí, že ji vykazuje žebříček τ²-bench.

Ve 40 testovacích úlohách z maloobchodní domény, které nebyly součástí tréninku, dosáhl podle IBM výchozí agent průměrné přesnosti 78,1 % a výsledku 57,5 % Pass^4. Základní varianta sup3 dosáhla 78,8 % a 60,0 %, zatímco konfigurace lossless dosáhla 82,5 % a 67,5 %. To podle uvedených údajů představuje zlepšení o 4,4 a 10,0 procentního bodu oproti výchozí variantě.

Ve 20 testovacích úlohách z letecké domény, které nebyly součástí tréninku, dosáhla výchozí varianta přesnosti 57,5 % a výsledku 35,0 % Pass^4. Základní varianta sup3 dosáhla přesnosti 60,0 % a výsledku 45,0 % Pass^4, zatímco lossless dosáhla přesnosti 65,0 % a výsledku 40,0 % Pass^4. Vhodná míra pokynů se v obou doménách lišila: v maloobchodní doméně se nejvíce zlepšily výsledky při použití celé sady lossless, zatímco v letecké doméně dosáhla nejlepšího výsledku Pass^4 kompaktní základní varianta sup3. IBM uvádí, že počet podpůrných případů je vhodné ladit pro každou doménu zvlášť, nikoli jej pevně nastavit.

Náklady, opakované testování výkonného modelu a stav v žebříčku

Celkové náklady na LLM na jednu konverzaci v celé základní sadě rostly s délkou promptu: v maloobchodní doméně z 0,084 USD u výchozí varianty na 0,139 USD u lossless, což představuje nárůst o 65 %, a v letecké doméně z 0,081 USD na 0,107 USD, tedy o 32 %. Varianty sup3 stály 0,095 USD, respektive 0,097 USD. V porovnatelných bězích, které skončily úspěšně při použití výchozí varianty i pokynů, byly konverzace s pokyny o něco kratší: u lossless klesl v maloobchodní doméně počet tahů asistenta z 10,59 na 10,16 a v letecké doméně z 9,15 na 8,82; žádná varianta je neprodloužila. IBM uvádí, že nižší počet tahů znamená pro zákazníka kratší celkovou odezvu a že vyšší náklady na vstup lze v produkčním prostředí z velké části získat zpět díky ukládání promptů do mezipaměti, protože blok pokynů je při každém volání totožný.

Tým také zopakoval testování letecké domény s modelem gpt-5.5 použitým jako agent i jako model pro extrakci pokynů a pokyny znovu vytěžil z vlastních běhů tohoto agenta. Žádný extrahovaný pokyn nedosáhl alespoň tří podpůrných případů, takže základní variantou s vysokým počtem podpůrných případů byla sup2 se 103 pokyny; vedle ní byla použita sada lossless se 146 pokyny. Ve stejných testovacích úlohách letecké domény, které nebyly součástí tréninku, dosáhla výchozí varianta gpt-5.5 přesnosti 72,5 % a výsledku 55,0 % Pass^4; sup2 dosáhla 80,0 % a 70,0 %; lossless dosáhla 82,5 % a 70,0 %. Podle uvedených údajů jde o zlepšení přesnosti o 10,0 procentního bodu a výsledku Pass^4 o 15,0 procentního bodu. IBM uvádí, že výsledek varianty lossless se při opakovaných bězích zopakoval přesně.

Příspěvky do žebříčku se hodnotí na celém základním rozdělení, tedy na souhrnu úloh pro trénink i testování, a výsledky se uvádějí jako Pass^4, takže se liší od výše uvedených čísel pro odloženou testovací sadu. Podle snímku z 12. října 2026 IBM uvádí, že její agent pro maloobchodní úlohy je s výsledkem 67,5 % na prvním místě, před modelem RAFT-30B-A3B s 61,4 %; tento model IBM označuje za dolaďovaný na syntetických datech τ²-bench pro maloobchodní úlohy, přičemž uvádí náskok 6,1 bodu. V oblasti letecké dopravy podle IBM vede agent gpt-5.5 s výsledkem 82,0 %, před špičkovými modely, jejichž výsledky se podle uvedených údajů pohybují mezi 66–72 %. Varianta gpt-4.1 sup3 se umístila na osmém místě se 44 %, před modelem GPT-5.2 spuštěným bez uvažování, a její výsledek se téměř vyrovnal modelu Claude Sonnet 4.5. IBM uvádí, že tento přístup zlepšuje běžně dostupné agenty bez aktualizace vah, anotací od lidí či úniku dat z testovací sady.

Příspěvek do maloobchodního žebříčku byl podán jako návrh na začlenění do τ²-bench dne 14. září 2026. Uvádí výsledek Pass^1 81,14 % až Pass^4 67,54 % ve 114 úlohách základního rozdělení při čtyřech pokusech, průměrné náklady 0,1084 $ na konverzaci v tau2-bench v1.0.1 a poznamenává, že pokyny byly odvozeny z trénovací části maloobchodních dat, která je zahrnuta v základním evaluačním rozdělení. Příspěvek do žebříčku leteckých úloh následoval 21. září 2026. Uvádí výsledek Pass^1 88,50 % až Pass^4 82,00 % v 50 úlohách a průměrné náklady 0,1690 $ na konverzaci. U obou příspěvků je uvedeno, že byly upraveny prompty, že se očekává jejich zařazení se stavem „Neověřeno“ a že zůstávají otevřené.