AWS illustra UAEF per la valutazione degli agenti IA tra framework

L’11 novembre 2026, AWS ha pubblicato un’introduzione tecnica all’Universal Agent Evaluation Framework (UAEF), un sistema open source con licenza Apache-2.0 che valuta gli agenti IA usando 36 metriche integrate distribuite in sette dimensioni.

UAEF è progettato per mantenere comparabili le valutazioni effettuate con LangGraph, LangChain, Strands Agents e Amazon Bedrock AgentCore. Questi framework registrano in modo diverso i messaggi, le chiamate agli strumenti e i passaggi di consegne tra agenti; di conseguenza, dopo un cambio di framework, il codice di valutazione legato a un determinato formato può richiedere nuove metriche, logiche di assegnazione dei punteggi e modalità di archiviazione dei risultati. Questo rende più difficile stabilire se una modifica al prompt, al modello o agli strumenti abbia migliorato l’agente.

AWS riferisce che clienti di 12 organizzazioni nei settori delle telecomunicazioni, della sanità e dei servizi finanziari hanno usato UAEF per applicare metriche coerenti e confrontare le versioni degli agenti prima del rilascio. Il repository awslabs/uaef contiene la libreria Python, gli adattatori per i framework, le metriche, l’infrastruttura di distribuzione AWS, l’interfaccia web e notebook eseguibili.

Le tracce canoniche consentono di condividere i punteggi

Gli adattatori normalizzano i messaggi, le chiamate agli strumenti e i passaggi di consegne di ciascun agente in un formato canonico AgentTrace, l’unica rappresentazione usata dal motore di assegnazione dei punteggi. UAEF può adattare una traccia esistente proveniente da un’esecuzione precedente, da un log o da un archivio di osservabilità; in alternativa, può invocare un agente tramite un Amazon Resource Name di runtime o un endpoint HTTP e convertire l’esecuzione risultante. Un adattatore JSON generico estende il processo ai framework personalizzati.

Il catalogo delle metriche raggruppa quelle integrate nelle seguenti categorie: chiamate agli strumenti, qualità delle risposte, IA responsabile, prestazioni, conversazioni su più turni, coordinamento tra più agenti e ragionamento. I punteggi usano una scala normalizzata da 0 a 1, dove 1 è il valore migliore. Le metriche deterministiche vengono calcolate direttamente dalle tracce e dai dati di riferimento, mentre quelle basate su un LLM come giudice utilizzano un modello su Amazon Bedrock per valutare aspetti quali la pertinenza e la sicurezza. Sono supportate anche metriche personalizzate e integrazioni con RAGAS e DeepEval.

Nel complesso, le risposte di riferimento sono facoltative, anche se le metriche che prevedono un confronto con i riferimenti le richiedono. La valutazione delle chiamate agli strumenti può inoltre specificare quali strumenti sono attesi, il loro ordine e i relativi argomenti. Se a una metrica mancano dati necessari, questa non restituisce un punteggio e genera un avviso; il risultato vuoto viene escluso dalle medie della dimensione anziché essere conteggiato come zero. È quindi possibile valutare anche dataset con etichette parziali e traffico di produzione senza etichette, usando le metriche per cui sono disponibili i dati richiesti.

Gli esperimenti salvati mettono in evidenza le regressioni

Le valutazioni salvate diventano esperimenti. Amazon DynamoDB archivia i metadati usati per elencare e confrontare i risultati, compresi il numero di valutazioni e i punteggi medi, mentre Amazon S3 conserva i risultati JSON completi, con i punteggi per ogni metrica e le motivazioni del giudice. Le singole esecuzioni possono registrare il framework, il modello, gli strumenti, il prompt di sistema, i parametri, l’istantanea della configurazione e il commit Git, collegando ogni punteggio al progetto dell’agente sottoposto a verifica. Prima dell’archiviazione, UAEF esamina le tracce alla ricerca di informazioni personali; è inoltre possibile oscurare i risultati salvati.

Per le metriche condivise da due esecuzioni, il motore di confronto calcola le variazioni assolute e percentuali rispetto a un valore di riferimento. Una soglia configurabile, impostata per impostazione predefinita al 5%, distingue tra miglioramenti, regressioni e risultati invariati; le regressioni sono classificate come lievi, moderate o gravi e raggruppate per dimensione. Questo raggruppamento può mostrare se una revisione del prompt ha influito sulle chiamate agli strumenti senza modificare la qualità delle risposte.

La reportistica tiene separate le statistiche riproducibili dalle interpretazioni generate dal modello. L’interfaccia web mostra i risultati per caso di test e per dimensione; un report statistico facoltativo, che non utilizza un LLM, include distribuzioni dei punteggi, intervalli di confidenza, valori anomali, correlazioni tra metriche e casi di test non superati. Un’analisi separata generata da Bedrock può proporre le cause principali e i passaggi successivi in ordine di priorità per una singola esecuzione o per un confronto.

La libreria Python e il servizio web low-code utilizzano lo stesso motore di valutazione e gli stessi archivi. I team possono eseguire le valutazioni in notebook, script e pipeline di integrazione e distribuzione continua, oppure tramite browser, senza modificare il modo in cui i risultati vengono valutati e confrontati.

Dipendenze AWS e limiti di isolamento

La guida all’installazione richiede Python 3.10 o versioni successive e il gestore di pacchetti uv. Per la valutazione basata su Bedrock e l’archiviazione in DynamoDB/S3 sono necessarie credenziali AWS; pertanto, i team che utilizzano queste funzionalità di valutazione e archiviazione continuano a dipendere dai servizi AWS anche quando i loro agenti usano framework diversi.

UAEF considera l’output dell’agente valutato come input non attendibile per i prompt del giudice. Invia separatamente i criteri di valutazione, esegue l’escape del contenuto, analizza rigorosamente le risposte del giudice e richiede un passaggio di prova riportato alla lettera prima di accettare un punteggio. AWS afferma che i punteggi del giudice non dovrebbero essere usati come condizione per i controlli di sicurezza; l’applicazione dei controlli in fase di esecuzione deve avvenire tramite un percorso di invocazione separato di Amazon Bedrock Guardrails.

Il repository descrive UAEF come un’architettura di riferimento progettata per essere eseguita all’interno di una piattaforma che garantisce l’isolamento di utenti e tenant. La distribuzione diretta in modalità multi-tenant senza l’applicazione di tali controlli da parte della piattaforma ospitante non è supportata. Ogni tenant necessita di una distribuzione separata, con un proprio account AWS oppure, come minimo, con uno stack, tabelle DynamoDB, bucket S3 e pool di utenti Cognito dedicati.

Per le aziende che utilizzano diversi framework per agenti, UAEF offre una base di valutazione stabile, in grado di resistere ai cambiamenti di prompt, modelli, strumenti o implementazione. Per ottenere questa continuità non basta installare la libreria: confronti utili dipendono da metriche e set di dati adeguati, mentre l’uso multi-tenant dipende dall’isolamento garantito al di fuori di UAEF.