AWS prezintă UAEF pentru evaluarea agenților AI în mai multe cadre de lucru

La 11 noiembrie 2026, AWS a publicat o prezentare tehnică a Universal Agent Evaluation Framework (UAEF), un sistem open-source distribuit sub licența Apache-2.0, care evaluează agenții AI folosind 36 de indicatori integrați, grupați în șapte dimensiuni.

UAEF este conceput pentru a menține comparabilitatea evaluărilor în LangGraph, LangChain, Strands Agents și Amazon Bedrock AgentCore. Aceste cadre înregistrează în mod diferit mesajele, apelurile de instrumente și transferurile de sarcini între agenți, astfel că, după schimbarea cadrului, codul de evaluare legat de un anumit format poate necesita indicatori, logică de punctare și stocare a rezultatelor noi. Astfel, devine mai dificil să se stabilească dacă o modificare a promptului, a modelului sau a instrumentelor a îmbunătățit agentul.

AWS declară că clienții din 12 organizații din telecomunicații, sănătate și servicii financiare au folosit UAEF pentru a aplica indicatori consecvenți și a compara versiunile agenților înainte de lansare. Depozitul awslabs/uaef conține biblioteca Python, adaptoare pentru cadre, indicatori, infrastructură de implementare AWS, o interfață web și notebookuri gata de rulat.

Urmele canonice permit evaluarea comună

Adaptoarele normalizează mesajele, apelurile de instrumente și transferurile fiecărui agent într-o reprezentare canonică AgentTrace, singura reprezentare utilizată de motorul de punctare. UAEF poate adapta o urmă existentă dintr-o rulare anterioară, dintr-un jurnal sau dintr-un sistem de observabilitate ori poate apela un agent printr-un Amazon Resource Name de execuție sau un punct final HTTP și poate converti execuția rezultată. Un adaptor JSON generic extinde procesul la cadre personalizate.

Catalogul indicatorilor grupează indicatorii integrați în următoarele categorii: apelarea instrumentelor, calitatea răspunsurilor, IA responsabilă, performanță, conversații cu mai multe schimburi, coordonarea mai multor agenți și raționament. Scorurile folosesc o scară normalizată de la 0 la 1, unde 1 reprezintă cel mai bun rezultat. Indicatorii deterministici se calculează direct din urme și din valorile de referință, în timp ce indicatorii evaluați de un model lingvistic folosesc un model pe Amazon Bedrock pentru a măsura calități precum relevanța și siguranța. Sunt acceptate și indicatori personalizați, precum și integrări cu RAGAS și DeepEval.

Răspunsurile de referință sunt opționale în general, deși indicatorii care compară rezultatele cu referințele le necesită. Evaluarea apelării instrumentelor poate specifica și instrumentele așteptate, ordinea lor și argumentele acestora. Dacă unui indicator îi lipsește o intrare necesară, acesta nu returnează niciun scor și emite un avertisment; rezultatul necompletat este exclus din mediile pe dimensiuni, nu considerat zero. Prin urmare, seturile de date etichetate parțial și traficul de producție neetichetat pot fi totuși evaluate cu indicatorii pentru care sunt disponibile datele necesare.

Experimentele stocate scot la iveală regresiile

Evaluările salvate devin experimente. Amazon DynamoDB stochează metadatele necesare pentru listare și comparare, inclusiv numărul evaluărilor și scorurile medii, în timp ce Amazon S3 păstrează rezultatele complete în format JSON, cu scoruri pentru fiecare indicator și raționamentul modelului evaluator. În rulările individuale se pot înregistra cadrul, modelul, instrumentele, promptul de sistem, parametrii, instantaneul configurației și commitul Git, asociind fiecare scor cu configurația agentului testată. UAEF verifică urmele pentru a detecta informațiile personale înainte de stocare, iar rezultatele stocate pot fi anonimizate.

Pentru indicatorii comuni celor două rulări, motorul de comparare calculează modificările absolute și procentuale în raport cu o valoare de referință. Un prag configurabil, setat implicit la 5%, separă îmbunătățirile, regresiile și rezultatele neschimbate; regresiile sunt clasificate drept minore, moderate sau severe și grupate pe dimensiuni. Gruparea poate arăta dacă o revizuire a promptului a influențat apelarea instrumentelor fără să schimbe calitatea răspunsurilor.

Raportarea prezintă separat statisticile reproductibile și interpretările generate de modele. Interfața web afișează rezultatele pentru fiecare caz de test și fiecare dimensiune, iar un raport statistic opțional acoperă distribuțiile scorurilor, intervalele de încredere, valorile extreme, corelațiile dintre indicatori și cazurile de test eșuate, fără să folosească un model lingvistic. O analiză separată, generată de Bedrock, poate propune cauzele principale și următorii pași în ordinea priorității, pentru o singură rulare sau pentru o comparație.

Biblioteca Python și serviciul web low-code folosesc același motor de evaluare și aceleași sisteme de stocare. Echipele pot rula evaluări în notebookuri, scripturi și fluxuri de integrare și livrare continuă sau printr-un browser, fără să schimbe modul în care sunt punctate și comparate rezultatele.

Dependențe AWS și limitele izolării

Ghidul de instalare necesită Python 3.10 sau o versiune ulterioară și managerul de pachete uv. Pentru evaluarea cu modele pe Bedrock și persistența în DynamoDB/S3 sunt necesare acreditări AWS, astfel că echipele care folosesc aceste funcții de evaluare și stocare rămân conectate la serviciile AWS chiar și atunci când agenții lor utilizează cadre diferite.

UAEF tratează rezultatele agenților evaluați ca intrări de neîncredere pentru prompturile evaluatorilor. Trimite separat criteriile de evaluare, escapează conținutul, analizează strict răspunsurile evaluatorilor și solicită un fragment probatoriu reprodus textual înainte de a accepta un scor. AWS precizează că scorurile evaluatorilor nu ar trebui să controleze măsurile de securitate; aplicarea măsurilor în timpul execuției trebuie să aibă loc printr-un flux separat de apelare a Amazon Bedrock Guardrails.

Depozitul descrie UAEF drept o arhitectură de referință, concepută să ruleze în interiorul unei platforme care asigură izolarea utilizatorilor și a entităților găzduite. Implementarea directă pentru mai multe entități găzduite, fără aplicarea acestor măsuri de către platforma gazdă, nu este acceptată. Fiecare entitate găzduită are nevoie de o implementare separată, cu propriul cont AWS sau, cel puțin, cu propria stivă, propriile tabele DynamoDB, propriile compartimente S3 și propriul grup de utilizatori Cognito.

Pentru companiile care folosesc mai multe cadre de agenți, UAEF oferă o bază stabilă de evaluare, care poate rezista schimbărilor de prompturi, modele, instrumente sau implementare. Pentru a asigura această continuitate, nu este suficient să instalezi biblioteca: comparațiile utile depind de metrici și seturi de date adecvate, iar utilizarea cu mai mulți locatari depinde de izolarea asigurată în afara UAEF.