IBM Research indique que la mémoire apprise dépasse les performances de référence du benchmark de service τ²-Bench

Dans une publication du 20 octobre 2026 sur Hugging Face, IBM Research a indiqué que des directives apprises automatiquement à partir des propres essais d’entraînement d’un agent, puis ajoutées à son invite système, ont permis à un agent de service client GPT-4.1 standard d’atteindre un score Pass^4 de 67,5 % dans le domaine du commerce de détail de τ²-bench, devançant toutes les entrées de ce domaine dans la capture du classement de l’équipe datant du 12 octobre 2026.

Ce résultat est issu d’ALTK-Evolve, la méthode du laboratoire pour élaborer ce que les auteurs décrivent comme un répertoire de stratégies apprises. La méthode analyse les tentatives d’un agent sur des tâches d’entraînement et utilise le même modèle pour condenser les réussites et les échecs en courtes règles de comportement couvrant des situations telles que l’authentification d’un client, la confirmation d’une transaction ou le traitement d’un retour. Selon la publication, le même modèle sert à la fois à extraire les directives et à faire fonctionner l’agent, et le processus ne nécessite ni mise à jour des poids ni annotation humaine. L’équipe avait déjà présenté cette approche avec des agents de programmation ; la nouvelle étude l’applique au service client. La publication répertorie onze auteurs d’IBM Research, parmi lesquels Ashwath Vaithinathan Aravindan, Vatche Isahagian et Vinod Muthusamy.

Déroulement de l’étude

τ²-bench, maintenu par Sierra Research, est un cadre de simulation permettant d’évaluer des agents de service client dans différents domaines. Selon le dépôt τ²-bench, chaque domaine définit une politique que l’agent doit respecter, un ensemble d’outils et un ensemble de tâches d’évaluation ; l’article de référence du benchmark décrit un environnement à double contrôle. L’étude d’IBM porte sur les domaines du commerce de détail et du transport aérien. Chaque tâche associe l’agent à un client simulé par un LLM, aux outils du domaine et à un document de politique écrit ; une tâche n’est considérée comme résolue que lorsque l’état final de la base de données correspond au résultat attendu, ce que la publication décrit comme une récompense binaire stricte.

L’évaluation a utilisé l’implémentation par τ²-bench de son propre agent ReAct élémentaire, doté d’une boucle en deux phases THINK→ACT. gpt-4.1 servait de modèle à l’agent et gpt-5.5 de modèle au simulateur de client, avec quatre essais par tâche. La seule modification consistait à ajouter à l’invite système, après la politique du domaine, une simple liste en Markdown des directives apprises. Parmi les exemples publiés figurent l’authentification de l’utilisateur avant toute action concernant une commande, l’obligation d’obtenir l’approbation explicite de l’utilisateur avant toute action modifiant la base de données, la présentation détaillée du calcul des remboursements, l’exécution d’une seule action par étape et l’analyse des identifiants combinant plusieurs noms avant toute recherche d’utilisateur.

Les directives ont été extraites des séquences d’actions de l’agent sur les tâches d’entraînement de τ²-bench, à l’aide de gpt-4.1, puis appliquées sans modification à l’ensemble de test tenu à l’écart. Chaque directive est assortie d’un nombre d’appuis, c’est-à-dire du nombre de tâches d’entraînement distinctes à partir desquelles elle a été extraite. L’étude compare trois configurations : une référence sans directive ; sup3, qui ne conserve que les directives ayant au moins trois appuis (31 dans le commerce de détail, 14 dans le transport aérien) ; et lossless, qui conserve toutes les directives retenues (292 dans le commerce de détail, 101 dans le transport aérien).

Résultats sur les données de test mises à l’écart dans le commerce de détail et le transport aérien

L’étude suit deux mesures sur les quatre essais effectués par tâche : la précision moyenne (Mean Accuracy), soit le taux moyen de réussite, que les auteurs présentent comme l’axe des capacités, et Pass^4, le pourcentage de tâches résolues lors des quatre essais, présenté comme l’axe de la fiabilité et désigné comme la mesure publiée dans le classement de τ²-bench.

Sur 40 tâches de test du commerce de détail mises à l’écart, l’agent de référence a obtenu, selon IBM, une précision moyenne de 78,1 % et un score Pass^4 de 57,5 %. Le modèle sup3 de base a atteint 78,8 % et 60,0 %, tandis que la configuration lossless a obtenu 82,5 % et 67,5 %, soit des gains annoncés de 4,4 et 10,0 points de pourcentage par rapport à la référence.

Sur 20 tâches de test du transport aérien mises à l’écart, le modèle de référence a obtenu une précision de 57,5 % et un score Pass^4 de 35,0 %. Le modèle sup3 de base a atteint une précision de 60,0 % et un score Pass^4 de 45,0 %, tandis que le modèle lossless a atteint respectivement 65,0 % et 40,0 %. Les deux domaines ont donné des résultats différents quant au dosage : le commerce de détail s’est le plus amélioré avec l’ensemble lossless complet, tandis que, dans le transport aérien, le modèle sup3 compact a obtenu le meilleur score Pass^4. IBM indique que le nombre d’appuis est un paramètre à ajuster en fonction du domaine, plutôt qu’une valeur à fixer une fois pour toutes dans le code.

Coût, nouvel essai avec un modèle de pointe et situation dans le classement

Sur l’ensemble de base complet, le coût total des LLM par conversation a augmenté avec la taille de l’invite : dans le commerce de détail, il est passé de 0,084 $ pour la configuration de référence à 0,139 $ avec lossless, soit une hausse annoncée de 65 % ; dans le transport aérien, il est passé de 0,081 $ à 0,107 $, soit une hausse annoncée de 32 %. Les variantes sup3 ont coûté respectivement 0,095 $ et 0,097 $. Pour les exécutions appariées résolues à la fois avec la configuration de référence et avec les directives, les conversations étaient légèrement plus courtes avec les directives : dans le commerce de détail, elles sont passées de 10,59 à 10,16 tours de dialogue de l’assistant avec lossless, et dans le transport aérien, de 9,15 à 8,82 ; aucune variante ne les a allongées. IBM indique qu’un nombre de tours inférieur réduit la latence de bout en bout pour le client et que, en production, le coût supplémentaire des données d’entrée peut être largement compensé par la mise en cache des invites, car le bloc de directives est identique à chaque appel.

L’équipe a également relancé l’évaluation du domaine du transport aérien avec gpt-5.5 comme modèle de l’agent et modèle d’extraction des directives, en extrayant de nouvelles directives à partir des propres essais de cet agent. Aucune directive extraite n’a atteint au moins trois appuis ; le modèle de base à fort nombre d’appuis était donc sup2, avec 103 directives, auquel s’ajoutait un ensemble lossless de 146 directives. Sur les mêmes tâches de test du transport aérien mises à l’écart, le modèle gpt-5.5 de référence a obtenu une précision de 72,5 % et un score Pass^4 de 55,0 % ; sup2 a atteint respectivement 80,0 % et 70,0 % ; et lossless, 82,5 % et 70,0 %, soit des gains annoncés de 10,0 points de précision et de 15,0 points de Pass^4. IBM indique que le résultat lossless a été reproduit à l’identique lors de nouveaux essais.

Les soumissions au classement sont évaluées sur l’ensemble du découpage de base, qui regroupe les tâches d’entraînement et de test, et les résultats sont indiqués selon Pass^4 ; ces chiffres diffèrent donc de ceux obtenus sur les données tenues à l’écart présentés plus haut. D’après la version du classement au 12 octobre 2026, IBM indique que son agent pour le commerce de détail arrive en tête avec 67,5 %, devant RAFT-30B-A3B, à 61,4 % — un modèle qu’IBM décrit comme ayant été affiné sur des données synthétiques de τ²-bench pour le commerce de détail —, soit une avance annoncée de 6,1 points. Pour le domaine des compagnies aériennes, IBM indique que l’agent gpt-5.5 arrive en tête avec 82,0 %, devant les modèles de pointe affichés entre 66 et 72 %, tandis que la variante gpt-4.1 sup3 se classe huitième avec 44 %, devant GPT-5.2 utilisé sans raisonnement et presque à égalité avec Claude Sonnet 4.5. IBM affirme que cette approche améliore les agents standard sans mise à jour des poids, annotation humaine ni fuite de données du jeu de test.

La soumission au classement du commerce de détail a été déposée sous forme de demande de fusion pour τ²-bench le 14 septembre 2026. Elle indique des résultats allant de Pass^1, à 81,14 %, à Pass^4, à 67,54 %, sur 114 tâches du découpage de base, avec quatre essais, pour un coût moyen de 0,1084 $ par conversation sur tau2-bench v1.0.1. Elle précise également que les consignes ont été apprises à partir d’un découpage d’entraînement pour le commerce de détail inclus dans le découpage d’évaluation de base. La soumission au classement du domaine des compagnies aériennes a suivi le 21 septembre 2026. Elle indique des résultats allant de Pass^1, à 88,50 %, à Pass^4, à 82,00 %, sur 50 tâches, pour un coût moyen de 0,1690 $ par conversation. Les deux soumissions signalent que les invites ont été modifiées, précisent qu’elles s’attendent à être répertoriées comme Unverified et sont toujours ouvertes.