IBM Research rapporterer at innlært minne topper tjenestebenchmarken τ²-Bench

I et innlegg på Hugging Face 20. oktober 2026 rapporterte IBM Research at retningslinjer som var lært automatisk fra agentens egne treningskjøringer og lagt til i systemledeteksten, løftet en standard GPT-4.1-agent for kundeservice til 67.5 % Pass^4 på τ²-benchs detaljhandelsdomene, foran alle detaljhandelsresultatene i teamets oversikt over poengtavlen fra 12. oktober 2026.

Resultatet kommer fra ALTK-Evolve, laboratoriets metode for å utvikle det forfatterne beskriver som en innlært håndbok. Metoden analyserer agentens forsøk på treningsoppgaver og bruker den samme modellen til å destillere vellykkede og mislykkede forsøk til korte atferdsregler, som dekker situasjoner som å autentisere en kunde, bekrefte en transaksjon eller håndtere en retur. Ifølge innlegget står den samme modellen både for uttrekket av retningslinjer og for selve agenten, og prosessen krever verken oppdatering av modellvekter eller menneskelig annotering. Teamet hadde tidligere demonstrert tilnærmingen med kodeagenter; den nye studien anvender den på kundeservice. Innlegget oppgir elleve forfattere fra IBM Research, blant dem Ashwath Vaithinathan Aravindan, Vatche Isahagian og Vinod Muthusamy.

Slik ble studien gjennomført

τ²-bench, som vedlikeholdes av Sierra Research, er et simuleringsrammeverk for å evaluere kundeserviceagenter på tvers av domener. Ifølge τ²-bench-repositoriet angir hvert domene en policy agenten må følge, et sett med verktøy og et sett med evalueringsoppgaver, og benchmarkens sentrale artikkel beskriver et miljø med dobbel kontroll. IBM-studien bruker domenene detaljhandel og flyreiser. Hver oppgave kobler agenten sammen med en LLM-simulert kunde, domenespesifikke verktøy og et skriftlig policydokument. En oppgave regnes som løst bare når den endelige databasetilstanden samsvarer med det forventede utfallet, noe innlegget beskriver som en streng binær belønning.

Evalueringen kjørte τ²-benchs egen implementering av en enkel ReAct-agent med en THINK→ACT-løkke i to faser, med gpt-4.1 som agentmodell og gpt-5.5 som modell for kundesimulering, og fire forsøk per oppgave. Den eneste endringen var at en enkel liste over innlærte retningslinjer i Markdown-format ble lagt til i systemledeteksten etter domenets policy. Eksempler som er publisert, omfatter å autentisere brukeren før enhver ordrebehandlingshandling, å kreve uttrykkelig godkjenning fra brukeren før handlinger som oppdaterer databasen, å oppgi spesifiserte refusjonsbeløp, å utføre én handling per trinn og å tolke sammensatte navneidentifikatorer før brukersøk.

Retningslinjene ble hentet ut fra agentens handlingsforløp på τ²-benchs treningsoppgaver ved hjelp av gpt-4.1 og ble brukt uendret på testsettet som var holdt utenfor. Hver retningslinje har et støttetall, som angir antallet unike treningsoppgaver den ble hentet fra. Studien sammenligner tre konfigurasjoner: en grunnlinje uten retningslinjer; sup3, som bare beholder retningslinjer med et støttetall på minst tre (31 i detaljhandel og 14 i flyreiser); og lossless, som beholder alle retningslinjene som er tatt med (292 i detaljhandel og 101 i flyreiser).

Resultater på testsettet i detaljhandel og flyreiser

Studien følger to måltall på tvers av de fire forsøkene per oppgave: Mean Accuracy, den gjennomsnittlige suksessraten, som forfatterne ser på som et mål på kapasitet, og Pass^4, prosentandelen oppgaver som ble løst i alle fire forsøkene, som de ser på som et mål på pålitelighet, og som oppgis som måltallet τ²-benchs poengtavle rapporterer.

På 40 testoppgaver innen detaljhandel som var holdt utenfor, rapporterer IBM at grunnlinjeagenten fikk 78.1 % gjennomsnittlig nøyaktighet og 57.5 % Pass^4. Sup3-kjernen fikk 78.8 % og 60.0 %, mens lossless-konfigurasjonen fikk 82.5 % og 67.5 %. Dette oppgis som en økning på henholdsvis 4.4 og 10.0 prosentpoeng sammenlignet med grunnlinjen.

På 20 testoppgaver innen flyreiser som var holdt utenfor, fikk grunnlinjen 57.5 % nøyaktighet og 35.0 % Pass^4. Sup3-kjernen oppnådde 60.0 % nøyaktighet og 45.0 % Pass^4, mens lossless oppnådde 65.0 % nøyaktighet og 40.0 % Pass^4. De to domenene ga ulike svar på hvor omfattende retningslinjene burde være: I detaljhandel ga det fullstendige lossless-settet størst forbedring, mens den kompakte sup3-kjernen ga best Pass^4 i flyreisedomenet. IBM oppgir at støttetallet er en innstilling det er verdt å justere for hvert domene, ikke en verdi som bør hardkodes.

Kostnader, ny kjøring med en ledende modell og status på poengtavlen

De samlede LLM-kostnadene per samtale på hele basissplittet økte med størrelsen på ledeteksten: I detaljhandel steg de fra $0.084 med grunnlinjen til $0.139 med lossless, som oppgis som en økning på 65 %, og i flyreisedomenet steg de fra $0.081 til $0.107, som oppgis som 32 %. Sup3-variantene kostet henholdsvis $0.095 og $0.097. I sammenlignbare kjøringer der oppgavene ble løst både med grunnlinjen og med retningslinjer, var samtalene litt kortere med retningslinjene: I detaljhandel falt antallet assistentturer fra 10.59 til 10.16 med lossless, og i flyreisedomenet fra 9.15 til 8.82. Ingen variant førte til lengre samtaler. IBM oppgir at færre turer gir lavere samlet svartid for kunden, og at den økte kostnaden for inndata i stor grad kan hentes inn igjen i produksjon ved hjelp av hurtigbufring av ledetekster, ettersom retningslinjeblokken er identisk i hvert kall.

Teamet kjørte også flyreisedomenet på nytt med gpt-5.5 både som agent og som modell for uttrekk av retningslinjer, og hentet ut nye retningslinjer fra agentens egne kjøringer. Ingen av de uttrukne retningslinjene hadde et støttetall på minst tre, så kjernen med høy støtte var sup2 med 103 retningslinjer, i tillegg til et lossless-sett med 146 retningslinjer. På de samme testoppgavene innen flyreiser som var holdt utenfor, fikk gpt-5.5-grunnlinjen 72.5 % nøyaktighet og 55.0 % Pass^4; sup2 oppnådde 80.0 % og 70.0 %; og lossless oppnådde 82.5 % og 70.0 %. Dette oppgis som en økning på 10.0 nøyaktighetspoeng og 15.0 Pass^4-poeng. IBM rapporterer at lossless-resultatet ble gjenskapt nøyaktig i nye kjøringer.

Bidragene til resultatlistene skåres på hele basisinndelingen, med trenings- og testoppgaver samlet, og rapporteres som Pass^4. Derfor skiller disse tallene seg fra tallene for holdt tilbake data ovenfor. Sammenlignet med øyeblikksbildet fra 12. oktober 2026 oppgir IBM at detaljhandelsagenten deres ligger på førsteplass med 67,5 %, foran RAFT-30B-A3B med 61,4 %. IBM beskriver denne modellen som finjustert på syntetiske τ²-bench-data for detaljhandel, og oppgir en forskjell på 6,1 prosentpoeng. For flyselskaper oppgir IBM at gpt-5.5-agenten ligger på førsteplass med 82,0 %, foran de ledende bidragene de lister opp med resultater på 66–72 %. Varianten gpt-4.1 sup3 kom på åttendeplass med 44 %, foran GPT-5.2 kjørt uten resonnering og med et resultat som nesten tilsvarte Claude Sonnet 4.5. IBM oppgir at metoden forbedrer standardagenter uten oppdatering av vekter, menneskelig annotering eller lekkasje fra testsettet.

Bidraget til resultatlisten for detaljhandel ble sendt inn som en pull request til τ²-bench 14. september 2026. Det rapporterte Pass^1 på 81,14 % til Pass^4 på 67,54 % for 114 oppgaver i basisinndelingen, med fire forsøk, til en gjennomsnittlig kostnad på $0.1084 per samtale på tau2-bench v1.0.1. Det ble også opplyst at retningslinjene var lært fra en treningsinndeling for detaljhandel som inngår i evalueringsinndelingen for basisversjonen. Bidraget til resultatlisten for flyselskaper fulgte 21. september 2026 og rapporterte Pass^1 på 88,50 % til Pass^4 på 82,00 % for 50 oppgaver, til en gjennomsnittlig kostnad på $0.1690 per samtale. Begge bidragene opplyser at ledetekstene er endret, at de forventer å bli oppført som Unverified, og at de fortsatt er åpne.