¿Cómo se evalúa un agente de IA? Tareas, trayectorias, fiabilidad y costo

Evaluar un agente de IA significa comprobar si completa tareas representativas de forma fiable, sigue vías aceptables, respeta sus límites y aporta suficiente valor en relación con su costo. La respuesta final por sí sola no basta, porque un agente puede llegar a un resultado plausible mediante acciones inseguras, afirmaciones sin fundamento, reintentos excesivos o por pura suerte.

Evaluar agentes es difícil porque el sistema actúa a lo largo del tiempo. El modelo elige herramientas, observa entornos cambiantes y puede seguir una ruta distinta en cada ejecución. Por eso, las evaluaciones eficaces miden los resultados y las trayectorias a lo largo de pruebas repetidas.

Vocabulario de las evaluaciones de agentes

La guía de Anthropic para aclarar las evaluaciones de agentes ofrece un conjunto útil de términos:

• Tarea: un caso de prueba con un objetivo, un entorno, unas entradas y unos criterios de éxito.
• Intento: un intento del agente por completar una tarea.
• Transcripción o trayectoria: la secuencia de mensajes, decisiones, llamadas a herramientas, observaciones y acciones durante el intento.
• Evaluador: una regla, un programa, un modelo o una persona que califica una parte del rendimiento.
• Entorno de evaluación: el sistema que prepara los entornos, ejecuta los intentos, recopila los registros, activa los evaluadores e informa de los resultados.

Mantener separados estos conceptos evita un error común: considerar una demostración exitosa como prueba de que el agente tendrá un rendimiento fiable.

Empieza con una especificación clara de la tarea

Una tarea de evaluación útil describe el estado inicial, las herramientas disponibles, las restricciones, el resultado esperado y las conductas importantes que están prohibidas. La prueba debe parecerse al trabajo real sin revelar una única ruta predeterminada.

En el caso de un agente de atención al cliente, «resolver el ticket» es demasiado impreciso. Una tarea mejor especifica el registro del cliente, la política aplicable, las soluciones permitidas, la comunicación requerida y los cambios que deben constar en el sistema de registro. Así, se puede evaluar de forma objetiva.

Cuatro capas de evaluación de agentes

Estas capas deben mantenerse separadas en los informes. Combinarlas en un único promedio puede ocultar comportamientos inaceptables; por ejemplo, una puntuación alta de éxito en las tareas que enmascare intentos frecuentes de usar herramientas sin autorización. Los equipos pueden definir primero criterios de seguridad innegociables y, después, comparar la calidad de los resultados y la eficiencia de las ejecuciones que los cumplen.

1. Calidad del resultado

¿Logró el agente el objetivo? Los evaluadores de resultados pueden comprobar cambios exactos en el estado, campos obligatorios, resultados de pruebas, exactitud factual, respaldo de las citas o calidad según una rúbrica.

Cuando sea posible, utiliza el estado final del entorno en lugar de la afirmación del propio agente. Un agente de programación no ha tenido éxito solo porque diga que corrigió el error; las pruebas pertinentes y el comportamiento deben confirmarlo.

2. Calidad de la trayectoria

¿Siguió el agente una ruta adecuada? La evaluación de la trayectoria puede detectar accesos innecesarios a datos, herramientas prohibidas, fallos reiterados, verificaciones omitidas, observaciones inventadas o incumplimientos de los requisitos de aprobación.

No toda desviación de una ruta de referencia constituye un error. Los agentes pueden encontrar soluciones válidas que los evaluadores no habían previsto. Los evaluadores deben hacer cumplir los requisitos reales y permitir, al mismo tiempo, enfoques alternativos eficientes.

3. Seguridad y cumplimiento de las políticas

¿Se mantuvo el agente dentro de los límites de su autoridad? Las pruebas deben incluir inyección de instrucciones, instrucciones contradictorias, datos sensibles, intención ambigua del usuario y solicitudes que requieran rechazar la petición o derivarla.

Las evaluaciones de seguridad necesitan consecuencias realistas en un entorno aislado. No basta con una frase que cumpla las políticas si el agente ya envió el mensaje, modificó el registro o expuso los datos.

4. Eficiencia operativa

¿Cuánto tiempo y dinero costó alcanzar el éxito? Lleva un registro de los tokens del modelo, las llamadas a herramientas, la latencia medida en tiempo real, los reintentos, las intervenciones humanas y el costo de los servicios externos. Un agente que tiene éxito después de 100 acciones innecesarias puede ser menos útil que un flujo de trabajo más sencillo.

Utiliza varios tipos de evaluadores

Los evaluadores deterministas comprueban propiedades exactas: si se superó una prueba, si un archivo se modificó correctamente, si un campo de la base de datos tiene el valor requerido o si se llamó a un punto de conexión prohibido. Son rápidos y coherentes, pero solo cubren aquello que los desarrolladores codifican.

Los evaluadores basados en modelos analizan cualidades como la claridad, la exhaustividad, la pertinencia y el cumplimiento de criterios matizados. Se pueden escalar mejor que la evaluación humana, pero necesitan validarse por separado porque pueden tener sesgos o ser incoherentes.

Los evaluadores humanos son importantes para emitir juicios expertos, resolver casos ambiguos y validar evaluadores automatizados. Su trabajo es más lento y costoso, por lo que los equipos suelen recurrir a ellos para analizar muestras, discrepancias y ámbitos de gran impacto.

Las mejores baterías de evaluación combinan estos enfoques. La plataforma Evals de OpenAI también concibe la evaluación como un proceso estructurado para definir pruebas y evaluadores, y realizar experimentos repetidos, en lugar de una revisión informal.

La fiabilidad exige pruebas repetidas

Ejecute cada tarea las veces suficientes para observar la variabilidad debida al muestreo, a los cambios en las herramientas y al estado del entorno. Informe tanto del rendimiento promedio como de la frecuencia de fallos graves. En los flujos de trabajo compuestos por varios pasos dependientes, la precisión de cada paso puede parecer alta mientras que la fiabilidad de principio a fin sigue siendo baja, porque un solo fallo basta para hacer fracasar toda la tarea.

El comportamiento de los agentes es probabilístico. Una misma tarea puede generar distintos planes, llamadas a herramientas y resultados. Ejecute varias veces cada tarea importante e informe de las tasas de éxito o de la distribución de las puntuaciones, no solo del mejor ejemplo.

Dos medidas de fiabilidad responden a preguntas distintas:

• Pass@k: la probabilidad de que al menos uno de los k intentos tenga éxito. Esta medida es útil cuando se aceptan varios intentos.
• Pass^k: la probabilidad de que los k intentos tengan éxito. Esta medida refleja la coherencia cuando todas las ejecuciones deben funcionar.

Un sistema puede tener un Pass@k atractivo y, aun así, no ser apto para funcionar de forma automática porque sus ejecuciones individuales no son fiables.

Crear un conjunto representativo de tareas

Empiece con fallos reales y solicitudes habituales en producción. Incluya tareas sencillas, casos límite difíciles, entradas ambiguas, errores de herramientas, datos desactualizados, información faltante y contenido adversarial.

Desglose los resultados por tipo de tarea y nivel de riesgo. Un promedio general puede ocultar una deficiencia grave en acciones financieras, tareas de larga duración o una aplicación concreta. Reserve un conjunto de datos de prueba para que los ajustes repetidos de las instrucciones no conviertan la batería de evaluación en un conjunto de entrenamiento.

Evalúe el entorno, no solo el modelo

El rendimiento de un agente depende de las definiciones de las herramientas, los permisos, la memoria, la gestión del contexto, la interfaz de usuario, el comportamiento de la red y la orquestación. Una actualización del modelo puede reducir un error y, al mismo tiempo, dejar otro al descubierto.

Registre la versión de toda la pila utilizada en cada ejecución. Anote el modelo, las instrucciones, las herramientas, la instantánea de datos, el entorno, los presupuestos y las versiones de los evaluadores. De lo contrario, no será posible atribuir un cambio en la puntuación a una causa significativa.

Errores habituales de evaluación

La filtración de datos es otro riesgo. Si las tareas de referencia, las respuestas esperadas o los patrones de evaluación aparecen en los datos de entrenamiento del modelo o en el contexto del prompt, la puntuación puede medir el reconocimiento en lugar de la capacidad de generalización. Mantén tareas de prueba reservadas, actualiza los casos a medida que cambian los sistemas y registra el modelo exacto, el prompt, las versiones de las herramientas y el entorno utilizados en cada ejecución.

• Evaluación guiada por demostraciones: elegir las tareas después de observar qué hace bien el agente.
• Evaluación basada únicamente en la respuesta final: ignorar las trayectorias inseguras o ineficientes.
• Conclusiones basadas en una sola ejecución: considerar un éxito fortuito como una capacidad estable.
• Pruebas con filtraciones: incluir la respuesta o la trayectoria de referencia en el contexto del agente.
• Evaluadores basados en modelos sin validar: dar por sentado que un juez automatizado es correcto sin comprobar si coincide con los expertos.
• Entornos estáticos: probar con una sola interfaz, un único estado de cuenta o una sola configuración de datos.
• Ausencia de pruebas negativas: medir la finalización de tareas sin comprobar si el agente se niega o deriva el caso de forma adecuada.
• Ignorar los aspectos económicos: optimizar el éxito hasta que el costo y la latencia se vuelvan inaceptables.

De las evaluaciones sin conexión al monitoreo en producción

Las evaluaciones sin conexión son controladas y reproducibles. Son ideales para comparar prompts, modelos, herramientas y políticas antes del lanzamiento. El monitoreo en producción revela la amplia variedad de comportamientos reales de los usuarios y los cambios en el entorno.

Un programa maduro conecta ambos ámbitos. Los incidentes y las trazas de producción con bajo nivel de confianza se convierten en nuevas tareas de evaluación sin conexión. Los cambios candidatos deben superar el conjunto de pruebas de regresión. Después del despliegue, los equipos supervisan el éxito de las tareas, las tasas de intervención, los eventos relacionados con las políticas, los errores de las herramientas, el costo, la latencia y los comentarios de los usuarios.

Una ficha práctica de evaluación de agentes

Una ficha de evaluación debe distinguir entre los requisitos obligatorios y las métricas de optimización. El cumplimiento de las políticas, la autorización y las pruebas requeridas pueden ser criterios de aprobado o rechazo; luego, es posible comparar la precisión, la latencia, el costo y el esfuerzo de revisión entre las ejecuciones aceptables. Así se evita que los equipos sacrifiquen la seguridad a cambio de una pequeña mejora de eficiencia, algo que una puntuación promedio podría ocultar.

Una ficha de evaluación útil puede incluir:

• tasa de éxito de las tareas y puntuación de calidad;
• consistencia entre ensayos repetidos;
• tasa de infracciones críticas de las políticas;
• precisión en la selección de herramientas y sus argumentos;
• tasa de recuperación tras fallos de las herramientas o del entorno;
• tasa de derivación a una persona y de anulación por intervención humana;
• latencia mediana y de cola;
• costo del modelo, las herramientas y el trabajo humano por tarea completada con éxito;
• eficiencia de la trayectoria en comparación con una referencia razonable.

Informa el costo por tarea completada con éxito, no solo el costo por ejecución. Un agente barato que falla repetidamente puede resultar más caro que un modelo más potente que lo consigue a la primera.

Qué recordar sobre cómo evaluar un agente de IA

La evaluación de agentes consiste en poner a prueba un sistema completo, orientado a objetivos, en condiciones realistas. Mide si el trabajo es correcto, si el proceso es aceptable, si el comportamiento es reproducible y si los costos tienen sentido.

Empieza con un conjunto pequeño de tareas importantes, varios ensayos, evaluadores en distintas etapas y trayectorias completas. Después, convierte cada fallo significativo en producción en una prueba de regresión. La capacidad de los agentes cambia rápidamente; un sistema de evaluación duradero permite a los equipos distinguir el progreso real de una demostración convincente.