IBM Research informa que la memoria aprendida lidera el benchmark de atención al cliente τ²-Bench

En una publicación del 20 de octubre de 2026 en Hugging Face, IBM Research informó que unas directrices aprendidas automáticamente a partir de las propias ejecuciones de entrenamiento de un agente y añadidas a su prompt del sistema elevaron a un agente estándar de atención al cliente basado en GPT-4.1 hasta un 67.5% de Pass^4 en el dominio minorista de τ²-bench, por encima de todas las entradas minoristas de la clasificación del equipo del 12 de octubre de 2026.

El resultado se obtuvo con ALTK-Evolve, el método del laboratorio para crear lo que los autores describen como un manual de estrategias aprendido. El método analiza los intentos de un agente en tareas de entrenamiento y utiliza el mismo modelo para condensar los aciertos y los errores en reglas breves de comportamiento que abarcan situaciones como autenticar a un cliente, confirmar una transacción o gestionar una devolución. Según la publicación, el mismo modelo se encarga tanto de extraer las directrices como de operar el agente, y el proceso no requiere actualizar los pesos ni anotaciones humanas. El equipo ya había demostrado el método con agentes de programación; el nuevo estudio lo aplica a la atención al cliente. La publicación enumera a once autores de IBM Research, entre ellos Ashwath Vaithinathan Aravindan, Vatche Isahagian y Vinod Muthusamy.

Cómo se llevó a cabo el estudio

τ²-bench, mantenido por Sierra Research, es un marco de simulación para evaluar agentes de atención al cliente en distintos dominios. Según el repositorio de τ²-bench, cada dominio especifica una política que el agente debe seguir, un conjunto de herramientas y un conjunto de tareas de evaluación; además, el artículo fundamental del benchmark describe un entorno de control dual. El estudio de IBM utiliza los dominios minorista y aéreo. En cada tarea, el agente interactúa con un cliente simulado por un LLM, herramientas propias del dominio y un documento con la política escrita; una tarea solo se considera resuelta cuando el estado final de la base de datos coincide con el resultado esperado, lo que la publicación describe como una recompensa binaria estricta.

La evaluación ejecutó la implementación propia de τ²-bench de un agente ReAct básico con un ciclo THINK→ACT de dos fases, utilizando gpt-4.1 como modelo del agente y gpt-5.5 como modelo del simulador de clientes, con cuatro pruebas por tarea. La única modificación fue añadir al prompt del sistema, después de la política del dominio, una lista sencilla de directrices aprendidas en formato Markdown. Entre los ejemplos publicados figuran autenticar al usuario antes de cualquier acción relacionada con un pedido, exigir la aprobación explícita del usuario antes de realizar acciones que actualicen la base de datos, proporcionar desgloses detallados de los reembolsos, realizar una acción por paso y analizar los identificadores que combinan nombres antes de buscar usuarios.

Las directrices se extrajeron de las trayectorias del agente en las tareas de entrenamiento de τ²-bench mediante gpt-4.1 y se aplicaron sin cambios al conjunto de prueba reservado. Cada directriz incluye un recuento de respaldo, es decir, el número de tareas de entrenamiento distintas de las que se extrajo. El estudio compara tres configuraciones: una de referencia sin directrices; sup3, que conserva solo las directrices con un respaldo de al menos tres (31 en el dominio minorista y 14 en el aéreo); y lossless, que conserva todas las directrices retenidas (292 en el dominio minorista y 101 en el aéreo).

Resultados en los conjuntos de prueba reservados de los dominios minorista y aéreo

El estudio sigue dos métricas en las cuatro pruebas de cada tarea: la precisión media, que es la tasa promedio de éxito y que los autores consideran el eje de capacidad; y Pass^4, el porcentaje de tareas resueltas en las cuatro pruebas, que consideran el eje de fiabilidad y señalan como la métrica que publica la clasificación de τ²-bench.

En 40 tareas minoristas del conjunto de prueba reservado, IBM informa que el agente de referencia obtuvo una precisión media del 78.1% y un Pass^4 del 57.5%. El núcleo sup3 obtuvo un 78.8% y un 60.0%, mientras que la configuración lossless alcanzó un 82.5% y un 67.5%, lo que representa aumentos de 4.4 y 10.0 puntos porcentuales, respectivamente, frente a la referencia.

En 20 tareas aéreas del conjunto de prueba reservado, la configuración de referencia obtuvo una precisión del 57.5% y un Pass^4 del 35.0%. El núcleo sup3 alcanzó una precisión del 60.0% y un Pass^4 del 45.0%, mientras que lossless obtuvo una precisión del 65.0% y un Pass^4 del 40.0%. Los dos dominios dieron resultados distintos en cuanto a la dosis: el dominio minorista mejoró más con el conjunto lossless completo, mientras que en el aéreo el núcleo compacto sup3 produjo el mejor Pass^4. IBM afirma que el recuento de respaldo es un parámetro que conviene ajustar para cada dominio, en lugar de fijarlo de antemano.

Coste, repetición con un modelo de vanguardia y situación en la clasificación

El coste total de los LLM por conversación en el conjunto base completo aumentó con el tamaño del prompt: en el dominio minorista, pasó de $0.084 en la configuración de referencia a $0.139 con lossless, lo que supone un aumento del 65%; en el aéreo, pasó de $0.081 a $0.107, un aumento del 32%. Las variantes sup3 costaron $0.095 y $0.097, respectivamente. En las ejecuciones comparables resueltas tanto con la configuración de referencia como con la de directrices, las conversaciones fueron algo más breves con estas últimas: en el dominio minorista, con lossless, se redujeron de 10.59 a 10.16 turnos del asistente, y en el aéreo, de 9.15 a 8.82; ninguna variante las alargó. IBM afirma que menos turnos implican una menor latencia de extremo a extremo para el cliente y que, en producción, el coste adicional de entrada puede recuperarse en gran medida mediante el almacenamiento en caché de prompts, ya que el bloque de directrices es idéntico en cada llamada.

El equipo también volvió a ejecutar el dominio aéreo con gpt-5.5 como modelo del agente y de extracción de directrices, y extrajo de nuevo las directrices a partir de las propias ejecuciones de ese agente. Ninguna directriz extraída alcanzó un respaldo de al menos tres, por lo que el núcleo de alto respaldo fue sup2, con 103 directrices, junto con un conjunto lossless de 146 directrices. En las mismas tareas aéreas del conjunto de prueba reservado, la configuración de referencia con gpt-5.5 obtuvo una precisión del 72.5% y un Pass^4 del 55.0%; sup2 alcanzó un 80.0% y un 70.0%; y lossless, un 82.5% y un 70.0%, lo que representa aumentos de 10.0 puntos de precisión y 15.0 puntos de Pass^4. IBM informa que el resultado de lossless se reprodujo exactamente en las ejecuciones repetidas.

Las puntuaciones de las propuestas para la clasificación se calculan sobre toda la partición base, que combina las tareas de entrenamiento y de prueba, y se presentan como Pass^4; por eso, esas cifras difieren de los resultados anteriores obtenidos con datos reservados. En comparación con la instantánea del 12 de octubre de 2026, IBM informa que su agente para el sector minorista ocupa el primer puesto, con un 67.5%, por delante de RAFT-30B-A3B, con un 61.4%; IBM identifica este último como un modelo ajustado con datos sintéticos de τ²-bench para el sector minorista y señala una ventaja de 6.1 puntos. En el sector aéreo, informa que el agente gpt-5.5 ocupa el primer puesto, con un 82.0%, por encima de las propuestas de modelos de frontera que sitúa entre el 66% y el 72%. Por su parte, la variante gpt-4.1 sup3 quedó en octavo lugar, con un 44%, por delante de GPT-5.2 ejecutado sin razonamiento y con un resultado casi igual al de Claude Sonnet 4.5. IBM afirma que este enfoque mejora los agentes estándar sin actualizar los pesos, recurrir a anotaciones humanas ni filtrar datos del conjunto de prueba.

La propuesta del sector minorista para la clasificación se presentó como una solicitud de incorporación a τ²-bench el 14 de septiembre de 2026. En ella se informó de un Pass^1 del 81.14% y un Pass^4 del 67.54% en 114 tareas de la partición base, con cuatro intentos, a un costo medio de $0.1084 por conversación en tau2-bench v1.0.1. También se indicó que las directrices se aprendieron a partir de una partición de entrenamiento del sector minorista que está incluida en la partición de evaluación base. La propuesta del sector aéreo para la clasificación se presentó el 21 de septiembre de 2026. En ella se informó de un Pass^1 del 88.50% y un Pass^4 del 82.00% en 50 tareas, a un costo medio de $0.1690 por conversación. Ambas propuestas revelan que se modificaron las instrucciones, indican que esperan aparecer con el estado «Unverified» y siguen abiertas.