IBM Research rapporterar att inlärda minnesregler toppar tjänstebenchmarken τ²-Bench

I ett inlägg på Hugging Face den 20 oktober 2026 rapporterade IBM Research att riktlinjer som lärts in automatiskt från en agents egna träningskörningar och lagts till i dess systemprompt lyfte en standardiserad GPT-4.1-kundtjänstagent till 67,5 % Pass^4 inom τ²-benchs detaljhandelsdomän, vilket överträffade alla bidrag inom detaljhandeln i teamets ögonblicksbild av topplistan från den 12 oktober 2026.

Resultatet kommer från ALTK-Evolve, laboratoriets metod för att skapa det som författarna beskriver som en inlärd handbok. Metoden analyserar en agents försök med träningsuppgifter och använder samma modell för att sammanfatta framgångar och misslyckanden i korta beteenderegler, som täcker situationer som att autentisera en kund, bekräfta en transaktion eller hantera en retur. Enligt inlägget används samma modell både för att ta fram riktlinjerna och för att driva agenten, och processen kräver varken uppdatering av modellvikter eller mänsklig annotering. Teamet hade tidigare visat hur metoden fungerar med kodningsagenter; den nya studien tillämpar den på kundtjänst. Inlägget listar elva författare från IBM Research, däribland Ashwath Vaithinathan Aravindan, Vatche Isahagian och Vinod Muthusamy.

Så genomfördes studien

τ²-bench, som underhålls av Sierra Research, är ett simuleringsramverk för att utvärdera kundtjänstagenter inom olika domäner. Enligt kodförrådet för τ²-bench anger varje domän en policy som agenten måste följa, en uppsättning verktyg och en uppsättning utvärderingsuppgifter. Benchmarkens grundläggande artikel beskriver en miljö med dubbla styrmekanismer. I IBM:s studie används domänerna detaljhandel och flygbolag. Varje uppgift kopplar agenten till en kund som simuleras av en LLM, domänspecifika verktyg och ett skriftligt policydokument. En uppgift räknas som löst endast när det slutliga databastillståndet motsvarar det förväntade resultatet, vilket inlägget beskriver som en strikt binär belöning.

I utvärderingen kördes τ²-benchs egen implementering av en grundläggande ReAct-agent med en tvåfasig THINK→ACT-loop, med gpt-4.1 som agentmodell och gpt-5.5 som modell för kundsimulatorn. Varje uppgift kördes fyra gånger. Den enda ändringen var en enkel Markdown-lista med inlärda riktlinjer, som lades till i systemprompten efter domänens policy. Publicerade exempel är att autentisera användaren före alla orderrelaterade åtgärder, kräva användarens uttryckliga godkännande innan åtgärder som uppdaterar databasen utförs, ge specificerade återbetalningsberäkningar, utföra en åtgärd per steg och tolka sammansatta namnidentifierare före användarsökningar.

Riktlinjerna hämtades från agentens förlopp i τ²-benchs träningsuppgifter med gpt-4.1 och tillämpades oförändrade på den undanhållna testmängden. Varje riktlinje har ett stödtal, det vill säga antalet unika träningsuppgifter som den hämtades från. Studien jämför tre konfigurationer: en baslinje utan riktlinjer, sup3, som endast behåller riktlinjer med ett stödtal på minst tre (31 inom detaljhandel och 14 inom flygbolag), samt lossless, som behåller alla riktlinjer som valts ut (292 inom detaljhandel och 101 inom flygbolag).

Resultat på undanhållna testuppgifter inom detaljhandel och flygbolag

Studien följer två mätvärden över de fyra körningarna per uppgift: Mean Accuracy, den genomsnittliga andelen lyckade uppgifter, som författarna beskriver som förmågeaxeln, och Pass^4, andelen uppgifter som löstes vid alla fyra körningar. Det senare beskrivs som tillförlitlighetsaxeln och anges vara det mått som τ²-benchs topplista redovisar.

På 40 undanhållna testuppgifter inom detaljhandeln fick baslinjeagenten enligt IBM 78,1 % i genomsnittlig träffsäkerhet och 57,5 % Pass^4. Sup3-kärnversionen fick 78,8 % respektive 60,0 %, medan lossless-konfigurationen fick 82,5 % respektive 67,5 %. Det uppges motsvara förbättringar på 4,4 respektive 10,0 procentenheter jämfört med baslinjen.

På 20 undanhållna testuppgifter inom flygbolagsdomänen fick baslinjen 57,5 % i träffsäkerhet och 35,0 % Pass^4. Sup3-kärnversionen nådde 60,0 % i träffsäkerhet och 45,0 % Pass^4, medan lossless nådde 65,0 % i träffsäkerhet och 40,0 % Pass^4. Resultaten för de två domänerna skilde sig åt när det gällde mängden riktlinjer: detaljhandeln förbättrades mest med den fullständiga lossless-uppsättningen, medan den kompakta sup3-kärnversionen gav bäst Pass^4 inom flygbolagsdomänen. IBM uppger att stödtalet är en inställning som bör finjusteras för varje domän, inte ett värde som ska hårdkodas.

Kostnader, en ny körning med en frontiermodell och status på topplistan

Den totala LLM-kostnaden per konversation på hela basmängden ökade med promptens storlek: inom detaljhandeln från 0,084 dollar i baslinjen till 0,139 dollar med lossless, vilket uppges vara en ökning på 65 %, och inom flygbolagsdomänen från 0,081 till 0,107 dollar, vilket uppges vara en ökning på 32 %. Sup3-varianterna kostade 0,095 respektive 0,097 dollar. I matchade körningar där uppgifterna löstes med både baslinjeinställningen och riktlinjeinställningen blev konversationerna något kortare med riktlinjer: inom detaljhandeln minskade antalet assistentturer från 10,59 till 10,16 med lossless, och inom flygbolagsdomänen från 9,15 till 8,82. Ingen variant gjorde konversationerna längre. IBM uppger att färre turer innebär lägre fördröjning från början till slut för kunden och att den ökade kostnaden för indata till stor del kan kompenseras i produktion genom cachelagring av promptar, eftersom riktlinjeblocket är identiskt vid varje anrop.

Teamet körde också flygbolagsdomänen på nytt med gpt-5.5 som både agent och modell för att ta fram riktlinjer och utvann nya riktlinjer från den agentens egna körningar. Ingen utvunnen riktlinje hade ett stödtal på minst tre, så kärnversionen med högt stöd blev sup2 med 103 riktlinjer, jämte en lossless-uppsättning med 146 riktlinjer. På samma undanhållna testuppgifter inom flygbolagsdomänen fick gpt-5.5-baslinjen 72,5 % i träffsäkerhet och 55,0 % Pass^4. Sup2 nådde 80,0 % respektive 70,0 %, och lossless nådde 82,5 % respektive 70,0 %. Det uppges motsvara förbättringar på 10,0 procentenheter i träffsäkerhet och 15,0 procentenheter i Pass^4. IBM rapporterar att lossless-resultatet blev exakt detsamma vid upprepade körningar.

Bidrag till topplistan poängsätts på hela grunduppdelningen, där tränings- och testuppgifterna räknas samman, och redovisas som Pass^4. Därför skiljer sig dessa siffror från värdena ovan för testuppgifter som hållits utanför. Jämfört med ögonblicksbilden från den 12 oktober 2026 uppger IBM att deras detaljhandelsagent ligger på första plats med 67,5 %, före RAFT-30B-A3B på 61,4 %, en modell som IBM beskriver som finjusterad på syntetiska detaljhandelsdata från τ²-bench, med en uppgiven marginal på 6,1 poäng. Inom flygbranschen uppger IBM att agenten gpt-5.5 ligger på första plats med 82,0 %, före bidragen från ledande modeller som anges ligga på 66–72 %. Varianten gpt-4.1 sup3 kom på åttonde plats med 44 %, före GPT-5.2 utan resonemang och nästan i nivå med Claude Sonnet 4.5. IBM uppger att metoden förbättrar standardagenter utan viktuppdateringar, mänsklig annotering eller läckage från testmängden.

Inlämningen till topplistan för detaljhandeln skickades in som en pull request till τ²-bench den 14 september 2026. Den redovisade Pass^1 på 81,14 % till och med Pass^4 på 67,54 % för 114 uppgifter i grunduppdelningen, med fyra försök per uppgift och en genomsnittlig kostnad på 0,1084 dollar per konversation på tau2-bench v1.0.1. I inlämningen noterades också att riktlinjerna hade lärts in från detaljhandelns träningsdel, som ingår i grunduppdelningen för utvärderingen. Inlämningen till topplistan för flygbranschen följde den 21 september 2026 och redovisade Pass^1 på 88,50 % till och med Pass^4 på 82,00 % för 50 uppgifter, med en genomsnittlig kostnad på 0,1690 dollar per konversation. Båda inlämningarna upplyser om att promptarna har ändrats, anger att de räknar med att listas som ej verifierade och är fortfarande öppna.