IBM Research relata que a memória aprendida supera o benchmark de atendimento do τ²-Bench

Em uma publicação de 20 de outubro de 2026 no Hugging Face, a IBM Research informou que diretrizes aprendidas automaticamente com as próprias execuções de treinamento de um agente e acrescentadas ao prompt do sistema elevaram um agente padrão de atendimento ao cliente baseado em GPT-4.1 a 67,5% de Pass^4 no domínio de varejo do τ²-bench, acima de todas as entradas de varejo no retrato do placar da equipe em 12 de outubro de 2026.

O resultado vem do ALTK-Evolve, método do laboratório para criar o que os autores descrevem como um manual aprendido. O método analisa as tentativas de um agente em tarefas de treinamento e usa o mesmo modelo para destilar sucessos e fracassos em regras comportamentais curtas, que abrangem situações como autenticar um cliente, confirmar uma transação ou processar uma devolução. Segundo a publicação, o mesmo modelo é usado tanto para extrair as diretrizes quanto para operar o próprio agente, e o processo não exige atualizações dos pesos nem anotação humana. A equipe já havia demonstrado a abordagem com agentes de programação; o novo estudo a aplica ao atendimento ao cliente. A publicação lista onze autores da IBM Research, entre eles Ashwath Vaithinathan Aravindan, Vatche Isahagian e Vinod Muthusamy.

Como o estudo foi conduzido

O τ²-bench, mantido pela Sierra Research, é uma estrutura de simulação para avaliar agentes de atendimento ao cliente em diferentes domínios. De acordo com o repositório do τ²-bench, cada domínio especifica uma política que o agente deve seguir, um conjunto de ferramentas e um conjunto de tarefas de avaliação; o artigo fundamental do benchmark descreve um ambiente de controle duplo. O estudo da IBM usa os domínios de varejo e aviação. Cada tarefa combina o agente com um cliente simulado por um LLM, ferramentas do domínio e um documento de política por escrito; uma tarefa só é considerada resolvida quando o estado final do banco de dados corresponde ao resultado esperado, o que a publicação descreve como uma recompensa binária estrita.

A avaliação executou a implementação própria do τ²-bench de um agente ReAct básico, com um ciclo de duas fases THINK→ACT, usando gpt-4.1 como modelo do agente e gpt-5.5 como modelo do simulador de clientes, com quatro tentativas por tarefa. A única modificação foi acrescentar ao prompt do sistema, após a política do domínio, uma lista simples de diretrizes aprendidas em Markdown. Entre os exemplos publicados estão autenticar o usuário antes de qualquer ação relacionada a pedidos, exigir a aprovação explícita do usuário antes de ações que atualizem o banco de dados, fornecer discriminações detalhadas dos reembolsos, executar uma ação por etapa e analisar nomes compostos usados como identificadores antes de consultar os usuários.

As diretrizes foram extraídas das trajetórias do agente nas tarefas de treinamento do τ²-bench usando gpt-4.1 e aplicadas sem alterações ao conjunto de teste reservado. Cada diretriz recebe uma contagem de suporte, isto é, o número de tarefas de treinamento distintas das quais foi extraída. O estudo compara três configurações: uma linha de base sem diretrizes; sup3, que mantém apenas as diretrizes com suporte de pelo menos três (31 no varejo e 14 na aviação); e lossless, que mantém todas as diretrizes retidas (292 no varejo e 101 na aviação).

Resultados no conjunto reservado: varejo e aviação

O estudo acompanha duas métricas ao longo das quatro tentativas por tarefa: a acurácia média, a taxa média de sucesso, que os autores apresentam como eixo de capacidade; e Pass^4, a porcentagem de tarefas resolvidas nas quatro tentativas, apresentada como eixo de confiabilidade e identificada como a métrica divulgada no placar do τ²-bench.

Nas 40 tarefas de teste de varejo reservadas, a IBM informa que o agente da linha de base obteve acurácia média de 78,1% e Pass^4 de 57,5%. O núcleo sup3 obteve 78,8% e 60,0%, enquanto a configuração lossless alcançou 82,5% e 67,5%, ganhos declarados de 4,4 e 10,0 pontos percentuais em relação à linha de base.

Nas 20 tarefas de teste de aviação reservadas, a linha de base obteve acurácia de 57,5% e Pass^4 de 35,0%. O núcleo sup3 alcançou acurácia de 60,0% e Pass^4 de 45,0%, enquanto lossless chegou a 65,0% de acurácia e 40,0% de Pass^4. Os resultados dos dois domínios divergiram quanto à dosagem: no varejo, a maior melhora veio do conjunto lossless completo, enquanto na aviação o núcleo compacto sup3 apresentou o melhor Pass^4. A IBM afirma que a contagem de suporte é um parâmetro que vale a pena ajustar para cada domínio, em vez de definir um valor fixo.

Custo, novo teste com um modelo de ponta e situação no placar

O custo total de LLM por conversa no conjunto-base completo aumentou com o tamanho do prompt: no varejo, passou de US$ 0,084 na linha de base para US$ 0,139 com lossless, um aumento declarado de 65%; na aviação, subiu de US$ 0,081 para US$ 0,107, um aumento declarado de 32%. As variantes sup3 custaram, respectivamente, US$ 0,095 e US$ 0,097. Nas execuções comparáveis resolvidas tanto com as configurações de linha de base quanto com as de diretrizes, as conversas foram um pouco mais curtas com as diretrizes: no varejo, passaram de 10,59 para 10,16 turnos do assistente com lossless; na aviação, de 9,15 para 8,82, sem que nenhuma variante as tornasse mais longas. A IBM afirma que menos turnos significam menor latência de ponta a ponta para o cliente e que, em produção, é possível recuperar em grande parte o custo adicional de entrada usando o cache de prompts, pois o bloco de diretrizes é idêntico em todas as chamadas.

A equipe também repetiu a avaliação do domínio de aviação usando gpt-5.5 tanto como agente quanto como modelo de extração de diretrizes, extraindo novamente as diretrizes das próprias execuções desse agente. Nenhuma diretriz extraída atingiu suporte de pelo menos três, portanto o núcleo de alto suporte foi sup2, com 103 diretrizes, acompanhado por um conjunto lossless de 146 diretrizes. Nas mesmas tarefas de aviação do conjunto de teste reservado, a linha de base com gpt-5.5 obteve acurácia de 72,5% e Pass^4 de 55,0%; sup2 alcançou 80,0% e 70,0%; e lossless chegou a 82,5% e 70,0%, ganhos declarados de 10,0 pontos percentuais na acurácia e 15,0 pontos percentuais em Pass^4. A IBM informa que o resultado lossless se reproduziu exatamente nas novas execuções.

As submissões ao placar são avaliadas no conjunto completo da divisão base, que combina as tarefas de treino e teste, e os resultados são apresentados em Pass^4; por isso, esses números diferem dos valores acima, calculados com dados reservados. Em comparação com a captura de 12 de outubro de 2026, a IBM informa que seu agente de varejo ocupa o primeiro lugar, com 67,5%, à frente do RAFT-30B-A3B, com 61,4% — modelo que, segundo a IBM, foi ajustado com dados sintéticos de varejo do τ²-bench —, uma vantagem declarada de 6,1 pontos. No domínio aéreo, a IBM informa que o agente gpt-5.5 ocupa o primeiro lugar, com 82,0%, acima das entradas de ponta, que, segundo a empresa, alcançam de 66% a 72%. Já a variante gpt-4.1 sup3 ficou em oitavo lugar, com 44%, à frente do GPT-5.2 executado sem raciocínio e quase igualando o Claude Sonnet 4.5. A IBM afirma que essa abordagem melhora agentes prontos para uso sem atualizar os pesos, recorrer à anotação humana ou vazar dados do conjunto de teste.

A submissão do varejo ao placar foi enviada como uma solicitação de pull request para o τ²-bench em 14 de setembro de 2026, com resultados de Pass^1 de 81,14% a Pass^4 de 67,54% em 114 tarefas da divisão base, avaliadas em quatro tentativas, a um custo médio de US$ 0,1084 por conversa no tau2-bench v1.0.1. A submissão também informa que as diretrizes foram aprendidas a partir de uma divisão de treino do varejo incluída na divisão de avaliação base. A submissão do setor aéreo ao placar veio em seguida, em 21 de setembro de 2026, com resultados de Pass^1 de 88,50% a Pass^4 de 82,00% em 50 tarefas, a um custo médio de US$ 0,1690 por conversa. Ambas as submissões informam que os prompts foram modificados, declaram que esperam receber o status Unverified e continuam abertas.