Como avaliar um agente de IA? Tarefas, trajetórias, confiabilidade e custo

Avaliar um agente de IA significa testar se ele conclui tarefas representativas de forma confiável, segue caminhos aceitáveis, respeita seus limites e oferece valor suficiente pelo custo. Uma resposta final, por si só, não basta, pois um agente pode chegar a um resultado plausível por meio de ações inseguras, afirmações sem fundamento, tentativas excessivas ou sorte.

Avaliar agentes é difícil porque o sistema age ao longo do tempo. O modelo escolhe ferramentas, observa ambientes em constante mudança e pode seguir um caminho diferente a cada execução. Por isso, avaliações eficazes medem resultados e trajetórias em várias tentativas.

O vocabulário da avaliação de agentes

O guia da Anthropic para desmistificar a avaliação de agentes apresenta um conjunto útil de termos:

• Tarefa: um caso de teste com um objetivo, um ambiente, entradas e critérios de sucesso.
• Tentativa: uma tentativa do agente de concluir uma tarefa.
• Transcrição ou trajetória: a sequência de mensagens, decisões, chamadas de ferramentas, observações e ações durante a tentativa.
• Avaliador: uma regra, um programa, um modelo ou uma pessoa que pontua parte do desempenho.
• Estrutura de avaliação: o sistema que prepara os ambientes, executa as tentativas, coleta os registros, aciona os avaliadores e apresenta os resultados.

Manter esses conceitos separados evita um erro comum: tratar uma única demonstração bem-sucedida como prova de que o agente terá um desempenho confiável.

Comece com uma especificação clara da tarefa

Uma tarefa de avaliação útil descreve o estado inicial, as ferramentas disponíveis, as restrições, o resultado esperado e os comportamentos importantes que são proibidos. O teste deve se parecer com o trabalho real, sem revelar um único caminho predeterminado.

Para um agente de suporte, “resolver o chamado” é vago demais. Uma tarefa mais bem definida especifica o registro do cliente, a política aplicável, as soluções permitidas, a comunicação necessária e quais alterações devem constar no sistema oficial de registro. Assim, ela pode ser avaliada objetivamente.

Quatro camadas da avaliação de agentes

Essas camadas devem permanecer separadas nos relatórios. Combiná-las em uma única média pode ocultar comportamentos inaceitáveis — por exemplo, uma alta pontuação de sucesso nas tarefas que disfarça tentativas frequentes de usar ferramentas sem autorização. As equipes podem primeiro definir critérios rígidos de segurança e, em seguida, comparar a qualidade dos resultados e a eficiência entre as execuções que atendam a esses critérios.

1. Qualidade dos resultados

O agente atingiu o objetivo? Os avaliadores de resultados podem verificar alterações exatas de estado, campos obrigatórios, resultados de testes, precisão factual, respaldo das citações ou qualidade com base em uma rubrica.

Sempre que possível, use o estado final do ambiente em vez de confiar na afirmação do próprio agente. Um agente de programação não teve sucesso só porque diz que corrigiu o erro; os testes pertinentes e o comportamento precisam confirmar isso.

2. Qualidade da trajetória

O agente seguiu um caminho adequado? A avaliação da trajetória pode detectar acesso desnecessário a dados, ferramentas proibidas, falhas repetidas, verificações ignoradas, observações inventadas ou violações de requisitos de aprovação.

Nem todo desvio de um caminho de referência é um erro. Os agentes podem encontrar soluções válidas que os avaliadores não previram. Os avaliadores devem fazer cumprir os requisitos legítimos e, ao mesmo tempo, permitir abordagens alternativas e eficientes.

3. Segurança e conformidade com políticas

O agente respeitou os limites de sua autoridade? Os testes devem incluir injeção de prompt, instruções conflitantes, dados confidenciais, intenção ambígua do usuário e solicitações que exijam recusa ou encaminhamento para instâncias superiores.

As avaliações de segurança precisam simular consequências realistas em um ambiente isolado. Uma frase em conformidade com a política não basta se o agente já enviou a mensagem, alterou o registro ou expôs os dados.

4. Eficiência operacional

Quanto tempo e dinheiro foram necessários para alcançar o sucesso? Acompanhe os tokens do modelo, as chamadas de ferramentas, a latência em tempo real, as tentativas repetidas, as intervenções humanas e o custo dos serviços externos. Um agente que tem sucesso após 100 ações desnecessárias pode ser menos útil do que um fluxo de trabalho mais simples.

Use vários tipos de avaliadores

Avaliadores determinísticos verificam propriedades exatas: se um teste foi aprovado, se um arquivo foi alterado corretamente, se um campo do banco de dados tem o valor exigido ou se um endpoint proibido foi chamado. São rápidos e consistentes, mas abrangem apenas aquilo que os desenvolvedores codificam.

Avaliadores baseados em modelos avaliam qualidades como clareza, completude, relevância e adesão a critérios sutis. São mais escaláveis do que a avaliação humana, mas precisam ser validados, pois podem ser tendenciosos ou inconsistentes.

Avaliadores humanos são importantes para o julgamento especializado, casos ambíguos e validação de avaliadores automatizados. Como são mais lentos e caros, as equipes costumam recorrer a eles para analisar amostras, divergências e domínios de alto impacto.

As suítes de avaliação mais robustas combinam essas abordagens. A plataforma Evals da OpenAI também trata a avaliação como um processo estruturado para definir testes, avaliadores e experimentos repetidos, em vez de uma análise informal.

A confiabilidade exige testes repetidos

Execute cada tarefa vezes suficientes para observar a variabilidade decorrente da amostragem, da mudança de ferramentas e do estado do ambiente. Informe tanto o desempenho médio quanto a frequência de falhas graves. Em fluxos de trabalho compostos por várias etapas dependentes, a precisão de cada etapa pode parecer alta enquanto a confiabilidade de ponta a ponta continua baixa, pois uma única falha basta para comprometer toda a tarefa.

O comportamento dos agentes é probabilístico. A mesma tarefa pode gerar planos, chamadas de ferramentas e resultados diferentes. Execute cada tarefa importante várias vezes e informe as taxas de aprovação ou as distribuições de pontuação, não apenas o melhor exemplo.

Duas medidas de confiabilidade respondem a perguntas diferentes:

• Pass@k: a probabilidade de que pelo menos uma das k tentativas seja bem-sucedida. Essa medida é útil quando são aceitáveis várias tentativas.
• Pass^k: a probabilidade de que todas as k tentativas sejam bem-sucedidas. Essa medida reflete a consistência quando todas as execuções precisam funcionar.

Um sistema pode ter um Pass@k atraente e, ainda assim, ser inadequado para operação automática, pois as execuções individuais não são confiáveis.

Monte um conjunto representativo de tarefas

Comece com falhas reais e solicitações frequentes em produção. Inclua tarefas simples, casos-limite difíceis, entradas ambíguas, erros de ferramentas, dados desatualizados, informações ausentes e conteúdo adversarial.

Separe os resultados por tipo de tarefa e nível de risco. Uma média geral pode ocultar uma deficiência grave em ações financeiras, tarefas de longa duração ou um aplicativo específico. Reserve um conjunto de dados para teste, para que ajustes repetidos nos prompts não transformem a suíte de avaliação em um conjunto de treinamento.

Avalie o ambiente, não apenas o modelo

O desempenho de um agente depende das definições das ferramentas, das permissões, da memória, do gerenciamento de contexto, da interface do usuário, do comportamento da rede e da orquestração. Uma atualização do modelo pode reduzir um erro e, ao mesmo tempo, expor outro.

Registre a versão de toda a pilha usada em cada execução. Anote o modelo, os prompts, as ferramentas, a captura dos dados, o ambiente, os limites de recursos e as versões dos avaliadores. Caso contrário, não será possível atribuir uma mudança na pontuação a uma causa significativa.

Erros comuns de avaliação

O vazamento de dados é outro risco. Se as tarefas de benchmark, as respostas esperadas ou os padrões de avaliação aparecerem nos dados de treinamento do modelo ou no contexto do prompt, a pontuação poderá medir reconhecimento, e não capacidade de generalização. Mantenha tarefas de teste privadas, atualize os casos conforme os sistemas mudarem e registre o modelo exato, o prompt, as versões das ferramentas e o ambiente usados em cada execução.

• Avaliação orientada por demonstrações: escolher tarefas depois de ver em que o agente se sai bem.
• Avaliação apenas da resposta final: ignorar trajetórias inseguras ou dispendiosas.
• Conclusões baseadas em uma única execução: tratar um sucesso fortuito como uma capacidade estável.
• Testes com vazamento: incluir a resposta ou a trajetória de referência no contexto do agente.
• Avaliadores baseados em modelos não validados: presumir que um avaliador automatizado está correto sem verificar sua concordância com especialistas.
• Ambientes estáticos: testar uma única interface, estado de conta ou configuração de dados.
• Ausência de testes negativos: medir a conclusão da tarefa sem verificar se o agente se recusa ou encaminha o caso para análise de forma apropriada.
• Ignorar os aspectos econômicos: otimizar o sucesso enquanto o custo e a latência se tornam inviáveis.

Das avaliações offline ao monitoramento em produção

As avaliações offline são controladas e reproduzíveis. São ideais para comparar prompts, modelos, ferramentas e políticas antes do lançamento. O monitoramento em produção revela a ampla variedade de comportamentos reais dos usuários e as mudanças no ambiente.

Um programa maduro conecta as duas coisas. Incidentes e rastros de produção com baixo nível de confiança se tornam novas tarefas offline. As mudanças propostas precisam passar pela suíte de regressão. Após a implantação, as equipes acompanham o sucesso das tarefas, as taxas de intervenção, os eventos relacionados a políticas, os erros das ferramentas, o custo, a latência e o feedback dos usuários.

Um quadro prático de avaliação de agentes

Um quadro de avaliação deve distinguir critérios eliminatórios de métricas de otimização. A conformidade com as políticas, a autorização e as evidências exigidas podem ser critérios de aprovação ou reprovação; em seguida, a precisão, a latência, o custo e o esforço dos revisores podem ser comparados entre as execuções aprovadas. Isso impede que as equipes troquem um pequeno ganho de eficiência por uma regressão de segurança que uma pontuação média esconderia.

Um quadro de avaliação útil pode incluir:

• taxa de sucesso das tarefas e pontuação de qualidade;
• consistência entre tentativas repetidas;
• taxa de violações críticas de políticas;
• precisão na seleção de ferramentas e no uso de argumentos;
• taxa de recuperação após falhas de ferramentas ou do ambiente;
• taxa de encaminhamento para análise humana e de intervenção humana;
• latência mediana e de cauda;
• custo do modelo, das ferramentas e do trabalho humano por tarefa bem-sucedida;
• eficiência da trajetória em comparação com uma linha de base razoável.

Informe o custo por tarefa bem-sucedida, não apenas o custo por execução. Um agente barato que falha repetidamente pode sair mais caro do que um modelo mais robusto que tem sucesso na primeira tentativa.

O que lembrar sobre como avaliar um agente de IA

A avaliação de agentes é a prática de testar um sistema completo, orientado a objetivos, em condições realistas. Ela mede se o trabalho está correto, se o percurso é aceitável, se o comportamento pode ser reproduzido e se os custos fazem sentido.

Comece com um pequeno conjunto de tarefas importantes, várias tentativas, avaliadores em camadas e trajetórias completas. Depois, transforme cada falha significativa em produção em um teste de regressão. A capacidade dos agentes muda rapidamente; um sistema de avaliação duradouro é o que permite às equipes distinguir o progresso real de uma demonstração convincente.