IBM Research rapporterer, at indlært hukommelse topper τ²-Bench-benchmarken for kundeservice

I et opslag på Hugging Face den 20. oktober 2026 rapporterede IBM Research, at retningslinjer, som automatisk var udledt af en agents egne træningskørsler og føjet til dens systemprompt, løftede en standard-GPT-4.1-agent til kundeservice til 67,5 % Pass^4 på τ²-benchs detailhandelsdomæne. Det placerede agenten foran alle detailhandelsresultaterne på teamets øjebliksbillede af ranglisten fra 12. oktober 2026.

Resultatet stammer fra ALTK-Evolve, laboratoriets metode til at skabe det, forfatterne beskriver som en indlært drejebog. Metoden analyserer en agents forsøg på træningsopgaver og bruger den samme model til at sammenfatte succeser og fejl i korte adfærdsregler, der dækker situationer som at autentificere en kunde, bekræfte en transaktion eller håndtere en returnering. Ifølge opslaget står den samme model både for udtrækningen af retningslinjer og for selve agenten, og processen kræver hverken vægtopdateringer eller menneskelig annotering. Teamet havde tidligere demonstreret tilgangen med kodningsagenter; den nye undersøgelse anvender den på kundeservice. Opslaget nævner elleve forfattere fra IBM Research, heriblandt Ashwath Vaithinathan Aravindan, Vatche Isahagian og Vinod Muthusamy.

Sådan blev undersøgelsen gennemført

τ²-bench, der vedligeholdes af Sierra Research, er en simuleringsramme til evaluering af kundeserviceagenter på tværs af domæner. Ifølge τ²-bench-lageret angiver hvert domæne en politik, som agenten skal følge, et sæt værktøjer og et sæt evalueringsopgaver, og benchmarkets grundlæggende artikel beskriver et miljø med dobbelt kontrol. IBM’s undersøgelse anvender domænerne detailhandel og flyrejser. Hver opgave sætter agenten sammen med en LLM-simuleret kunde, domænespecifikke værktøjer og et skriftligt politikdokument. En opgave regnes kun for løst, hvis den endelige databasetilstand stemmer overens med det forventede resultat, hvilket opslaget beskriver som en streng binær belønning.

Evalueringen anvendte τ²-benchs egen implementering af en grundlæggende ReAct-agent med en todelt THINK→ACT-løkke. gpt-4.1 blev brugt som agentmodel og gpt-5.5 som model til kundesimulering, og hver opgave blev afprøvet fire gange. Den eneste ændring var en enkel Markdown-liste med indlærte retningslinjer, som blev føjet til systemprompten efter domænets politik. Blandt de offentliggjorte eksempler er at autentificere brugeren før enhver handling vedrørende en ordre, kræve brugerens udtrykkelige godkendelse før handlinger, der opdaterer databasen, give en specificeret oversigt over tilbagebetalinger, udføre én handling pr. trin og fortolke kombinerede navnefelter før opslag af brugere.

Retningslinjerne blev udledt af agentens handlingsforløb på τ²-benchs træningsopgaver ved hjælp af gpt-4.1 og anvendt uændret på testsættet, der var holdt ude af træningen. Hver retningslinje har et understøttelsestal, som angiver, hvor mange forskellige træningsopgaver den blev udledt fra. Undersøgelsen sammenligner tre konfigurationer: en baseline uden retningslinjer; sup3, der kun medtager retningslinjer med et understøttelsestal på mindst tre (31 i detailhandel og 14 inden for flyrejser); og lossless, der medtager alle bevarede retningslinjer (292 i detailhandel og 101 inden for flyrejser).

Resultater på testsættet inden for detailhandel og flyrejser

Undersøgelsen følger to målinger på tværs af de fire forsøg pr. opgave: Mean Accuracy, den gennemsnitlige succesrate, som forfatterne betegner som kapacitetsaksen, og Pass^4, procentdelen af opgaver, der blev løst i alle fire forsøg. Sidstnævnte betegnes som pålidelighedsaksen og angives som den måling, τ²-benchs rangliste rapporterer.

På 40 testopgaver inden for detailhandel, som var holdt ude af træningen, opnåede IBM’s baselineagent en gennemsnitlig nøjagtighed på 78,1 % og 57,5 % Pass^4. Sup3-kernen opnåede henholdsvis 78,8 % og 60,0 %, mens lossless-konfigurationen nåede 82,5 % og 67,5 %; det blev angivet som en fremgang på henholdsvis 4,4 og 10,0 procentpoint i forhold til baseline.

På 20 testopgaver inden for flyrejser, som var holdt ude af træningen, opnåede baseline en nøjagtighed på 57,5 % og 35,0 % Pass^4. Sup3-kernen nåede en nøjagtighed på 60,0 % og 45,0 % Pass^4, mens lossless nåede 65,0 % i nøjagtighed og 40,0 % Pass^4. De to domæner gav forskellige resultater med hensyn til omfanget: I detailhandel gav det fulde lossless-sæt den største forbedring, mens den kompakte sup3-kerne gav den bedste Pass^4-score inden for flyrejser. IBM oplyser, at understøttelsestallet er en indstilling, der er værd at justere for hvert domæne, snarere end en værdi, der skal fastlåses.

Omkostninger, en ny kørsel med en avanceret model og status på ranglisten

De samlede LLM-omkostninger pr. samtale på hele basissættet steg med promptens størrelse: Inden for detailhandel gik de fra $0,084 med baseline til $0,139 med lossless, hvilket blev angivet som en stigning på 65 %, og inden for flyrejser fra $0,081 til $0,107, en stigning på 32 %. Sup3-varianterne kostede henholdsvis $0,095 og $0,097. I sammenlignelige kørsler, hvor opgaver blev løst både med baseline og med retningslinjer, var samtalerne en smule kortere med retningslinjerne: Inden for detailhandel faldt antallet af assistentture fra 10,59 til 10,16 med lossless, og inden for flyrejser fra 9,15 til 8,82; ingen af varianterne gjorde samtalerne længere. IBM oplyser, at færre ture betyder lavere samlet svartid for kunden, og at de ekstra inputomkostninger i høj grad kan hentes hjem i produktion ved hjælp af prompt-caching, fordi retningslinjeblokken er identisk ved hvert kald.

Teamet gentog også evalueringen af domænet for flyrejser med gpt-5.5 som både agent og model til udtrækning af retningslinjer og udledte nye retningslinjer fra denne agents egne kørsler. Ingen udtrukket retningslinje havde et understøttelsestal på mindst tre, så kernen med høj understøttelse var sup2 med 103 retningslinjer; derudover indgik et lossless-sæt med 146 retningslinjer. På de samme testopgaver inden for flyrejser, som var holdt ude af træningen, opnåede gpt-5.5-baseline en nøjagtighed på 72,5 % og 55,0 % Pass^4; sup2 nåede 80,0 % og 70,0 %, mens lossless nåede 82,5 % og 70,0 %. Det blev angivet som en fremgang på 10,0 procentpoint i nøjagtighed og 15,0 procentpoint i Pass^4. IBM rapporterer, at lossless-resultatet blev nøjagtigt gentaget i nye kørsler.

Indsendelser til ranglisten bedømmes på hele basissplittet, hvor trænings- og testopgaverne er slået sammen, og rapporteres efter Pass^4. Derfor adskiller tallene sig fra holdout-tallene ovenfor. I sin opgørelse pr. 12. oktober 2026 rapporterer IBM, at deres detailhandelsagent ligger på førstepladsen med 67,5 %, foran RAFT-30B-A3B med 61,4 % – en model, som IBM beskriver som finjusteret på syntetiske detailhandelsdata fra τ²-bench – med en oplyst forskel på 6,1 point. På flyselskabsområdet rapporterer IBM, at gpt-5.5-agenten ligger på førstepladsen med 82,0 %, foran de frontiermodeller, som IBM angiver til 66–72 %. Varianten gpt-4.1 sup3 kom på ottendepladsen med 44 %, foran GPT-5.2, der kører uden ræsonnering, og næsten på niveau med Claude Sonnet 4.5. IBM oplyser, at metoden forbedrer standardagenter uden opdatering af vægte, menneskelig annotering eller lækage fra testdatasættet.

Indsendelsen til detailhandelsranglisten blev indsendt som en ændringsanmodning til τ²-bench den 14. september 2026. Den rapporterede Pass^1 på 81,14 % til og med Pass^4 på 67,54 % på tværs af 114 opgaver i basissplittet med fire forsøg og en gennemsnitlig pris på $0,1084 pr. samtale på tau2-bench v1.0.1. Det blev samtidig oplyst, at retningslinjerne var lært ud fra et træningssplit for detailhandel, som indgår i basissplittet til evaluering. Indsendelsen til flyselskabsranglisten fulgte den 21. september 2026 og rapporterede Pass^1 på 88,50 % til og med Pass^4 på 82,00 % på tværs af 50 opgaver til en gennemsnitlig pris på $0,1690 pr. samtale. Begge indsendelser oplyser, at prompterne er ændret, angiver, at de forventer at blive opført som Ikke verificeret, og er fortsat åbne.