IBM Research meldt dat aangeleerd geheugen de servicetoets τ²-Bench overtreft

In een bericht op Hugging Face van 20 oktober 2026 meldde IBM Research dat richtlijnen die automatisch waren afgeleid van de eigen trainingsruns van een agent en aan diens systeemprompt waren toegevoegd, een standaard GPT-4.1-klantenserviceagent een Pass^4-score van 67,5% opleverden op het retaildomein van τ²-bench. Daarmee scoorde de agent hoger dan alle retailinzendingen in de momentopname van het klassement van het team van 12 oktober 2026.

Het resultaat is afkomstig van ALTK-Evolve, de methode van het lab om een zogenoemd aangeleerd draaiboek te maken. De methode analyseert de pogingen van een agent bij trainingstaken en gebruikt hetzelfde model om successen en mislukkingen samen te vatten in korte gedragsregels voor situaties zoals het verifiëren van de identiteit van een klant, het bevestigen van een transactie of het afhandelen van een retourzending. Volgens het bericht wordt hetzelfde model gebruikt voor zowel het afleiden van richtlijnen als de agent zelf, en zijn er voor dit proces geen aanpassingen van de modelgewichten of menselijke annotaties nodig. Het team had de aanpak eerder al gedemonstreerd met codeeragents; in het nieuwe onderzoek wordt deze toegepast op klantenservice. In het bericht staan elf auteurs van IBM Research, onder wie Ashwath Vaithinathan Aravindan, Vatche Isahagian en Vinod Muthusamy.

Hoe het onderzoek is uitgevoerd

τ²-bench, dat wordt onderhouden door Sierra Research, is een simulatieframework om klantenserviceagents in verschillende domeinen te evalueren. Volgens de repository van τ²-bench specificeert elk domein een beleid waaraan de agent zich moet houden, een set tools en een reeks evaluatietaken. In de kernpublicatie over de benchmark wordt de omgeving beschreven als een omgeving met twee besturingsniveaus. IBM gebruikt in het onderzoek de domeinen retail en luchtvaart. Bij elke taak krijgt de agent te maken met een door een LLM gesimuleerde klant, tools voor het betreffende domein en een schriftelijk beleidsdocument. Een taak geldt alleen als opgelost wanneer de uiteindelijke databasestatus overeenkomt met de verwachte uitkomst. Het bericht omschrijft dit als een strikte binaire beloning.

Voor de evaluatie werd de eigen implementatie van τ²-bench gebruikt: een eenvoudige ReAct-agent met een tweefasige THINK→ACT-lus. gpt-4.1 diende als model voor de agent en gpt-5.5 als model voor de klantsimulator. Elke taak werd vier keer uitgevoerd. De enige wijziging was een eenvoudige markdownlijst met aangeleerde richtlijnen, die na het domeinbeleid aan de systeemprompt werd toegevoegd. Gepubliceerde voorbeelden zijn: de gebruiker verifiëren voordat een handeling met betrekking tot een bestelling wordt uitgevoerd, expliciete toestemming van de gebruiker vragen voordat handelingen worden uitgevoerd die de database wijzigen, terugbetalingen uitsplitsen in afzonderlijke posten, per stap één handeling uitvoeren en gecombineerde naamgegevens verwerken voordat gebruikers worden opgezocht.

De richtlijnen werden met gpt-4.1 afgeleid uit de trajecten van de agent bij de trainingstaken van τ²-bench en vervolgens ongewijzigd toegepast op de achtergehouden testset. Bij elke richtlijn staat een ondersteuningsaantal: het aantal verschillende trainingstaken waaruit de richtlijn is afgeleid. Het onderzoek vergelijkt drie configuraties: een baseline zonder richtlijnen; sup3, met alleen richtlijnen die een ondersteuningsaantal van ten minste drie hebben (31 in retail en 14 in de luchtvaart); en lossless, met alle behouden richtlijnen (292 in retail en 101 in de luchtvaart).

Resultaten op de achtergehouden tests voor retail en luchtvaart

Het onderzoek houdt bij de vier uitvoeringen per taak twee maatstaven bij: Mean Accuracy, het gemiddelde succespercentage, dat de auteurs beschouwen als de maatstaf voor mogelijkheden, en Pass^4, het percentage taken dat bij alle vier de uitvoeringen werd opgelost. Dit laatste geldt als maatstaf voor betrouwbaarheid en is volgens de auteurs de maatstaf die het klassement van τ²-bench rapporteert.

Op 40 achtergehouden retailtesttaken behaalde de baselineagent volgens IBM een gemiddelde nauwkeurigheid van 78,1% en een Pass^4-score van 57,5%. De sup3-kernconfiguratie behaalde respectievelijk 78,8% en 60,0%, en de lossless-configuratie 82,5% en 67,5%. Dat zijn volgens IBM verbeteringen van 4,4 en 10,0 procentpunt ten opzichte van de baseline.

Op 20 achtergehouden luchtvaarttesttaken behaalde de baseline een nauwkeurigheid van 57,5% en een Pass^4-score van 35,0%. De sup3-kernconfiguratie kwam uit op een nauwkeurigheid van 60,0% en een Pass^4-score van 45,0%, terwijl lossless respectievelijk 65,0% en 40,0% behaalde. De resultaten voor de twee domeinen liepen uiteen wat betreft de beste hoeveelheid richtlijnen: in retail verbeterde de score het meest met de volledige lossless-set, terwijl in de luchtvaart de compacte sup3-kernconfiguratie de beste Pass^4-score opleverde. IBM stelt dat het ondersteuningsaantal per domein moet worden afgestemd, in plaats van als vaste waarde te worden ingesteld.

Kosten, een nieuwe run met een geavanceerder model en de status op het klassement

De totale LLM-kosten per gesprek op de volledige basissplit namen toe naarmate de prompt langer werd: in retail van $0.084 bij de baseline naar $0.139 met lossless, een stijging van 65%, en in de luchtvaart van $0.081 naar $0.107, een stijging van 32%. De sup3-varianten kostten respectievelijk $0.095 en $0.097. In vergelijkbare runs waarin gesprekken zowel met de baseline als met richtlijnen werden opgelost, waren de gesprekken met richtlijnen iets korter: bij lossless daalde het aantal beurten van de assistent in retail van 10.59 naar 10.16 en in de luchtvaart van 9.15 naar 8.82. Geen enkele variant maakte de gesprekken langer. IBM stelt dat minder beurten leiden tot een kortere totale reactietijd voor de klant en dat de extra invoerkosten in productie grotendeels kunnen worden teruggewonnen met promptcaching, omdat het richtlijnblok bij elke aanroep identiek is.

Het team voerde de luchtvaarttest ook opnieuw uit met gpt-5.5 als zowel agent als model voor het afleiden van richtlijnen, waarbij nieuwe richtlijnen werden afgeleid uit de eigen runs van die agent. Geen enkele afgeleide richtlijn had een ondersteuningsaantal van ten minste drie. De kernconfiguratie met veel ondersteuning was daarom sup2, met 103 richtlijnen, naast een lossless-set met 146 richtlijnen. Op dezelfde achtergehouden luchtvaarttaken behaalde de gpt-5.5-baseline een nauwkeurigheid van 72,5% en een Pass^4-score van 55,0%; sup2 kwam uit op respectievelijk 80,0% en 70,0%; en lossless behaalde 82,5% en 70,0%. Dit zijn volgens IBM verbeteringen van 10,0 procentpunt in nauwkeurigheid en 15,0 procentpunt in Pass^4. IBM meldt dat het resultaat met lossless bij herhaalde runs exact hetzelfde was.

Inzendingen voor het klassement worden beoordeeld op de volledige basissplitsing, met de trainings- en testtaken gecombineerd, en de resultaten worden gerapporteerd als Pass^4. Daarom wijken die cijfers af van de hierboven genoemde cijfers voor de afgescheiden testset. Vergeleken met de momentopname van 12 oktober 2026 meldt IBM dat zijn agent voor de detailhandel met 67,5% op de eerste plaats staat, vóór RAFT-30B-A3B met 61,4%. Dat model is volgens IBM gefinetuned op synthetische retailgegevens van τ²-bench; de voorsprong bedraagt volgens IBM 6,1 punten. In de luchtvaart staat de gpt-5.5-agent volgens IBM met 82,0% op de eerste plaats, vóór de frontier-modellen die IBM vermeldt met scores van 66–72%. De gpt-4.1 sup3-variant eindigde op de achtste plaats met 44%, vóór GPT-5.2 zonder redeneermodus en met een score die bijna overeenkomt met die van Claude Sonnet 4.5. IBM stelt dat deze aanpak standaardagents verbetert zonder gewichten bij te werken, menselijke annotatie of datalekken uit de testset.

De inzending voor het klassement in de detailhandel werd op 14 september 2026 ingediend als pullrequest voor τ²-bench. De inzending rapporteerde Pass^1 van 81,14% tot en met Pass^4 van 67,54% voor 114 taken uit de basissplitsing, met vier pogingen, tegen gemiddelde kosten van $0,1084 per gesprek op tau2-bench v1.0.1. Daarbij werd vermeld dat de richtlijnen waren afgeleid van een trainingssplitsing voor de detailhandel die deel uitmaakt van de basissplitsing voor evaluatie. De inzending voor het klassement in de luchtvaart volgde op 21 september 2026 en rapporteerde Pass^1 van 88,50% tot en met Pass^4 van 82,00% voor 50 taken, tegen gemiddelde kosten van $0,1690 per gesprek. In beide inzendingen wordt vermeld dat de prompts zijn aangepast; ook staat erin dat de indieners verwachten dat ze de status ‘Unverified’ krijgen. Beide inzendingen staan nog open.