Cum evaluezi un agent IA? Sarcini, traiectorii, fiabilitate și costuri

Evaluarea unui agent IA presupune să verifici dacă îndeplinește în mod fiabil sarcini reprezentative, urmează căi acceptabile, își respectă limitele și oferă suficientă valoare în raport cu costul său. Un răspuns final, luat singur, nu este suficient, deoarece un agent poate ajunge la un rezultat plauzibil prin acțiuni nesigure, afirmații nesusținute, încercări repetate în exces sau pur și simplu din noroc.

Evaluarea agenților este dificilă, deoarece sistemul acționează în timp. Modelul alege instrumente, observă medii în schimbare și poate urma o cale diferită la fiecare rulare. Prin urmare, evaluările eficiente măsoară rezultatele și traiectoriile în cadrul unor testări repetate.

Terminologia evaluării agenților

Ghidul Anthropic pentru clarificarea evaluării agenților oferă un set util de termeni:

• Sarcină: un caz de testare cu un obiectiv, un mediu, date de intrare și criterii de succes.
• Încercare: o tentativă a agentului de a îndeplini o sarcină.
• Transcriere sau traiectorie: succesiunea de mesaje, decizii, apeluri de instrumente, observații și acțiuni din timpul unei încercări.
• Evaluator: o regulă, un program, un model sau o persoană care acordă un scor pentru o parte a performanței.
• Cadrul de evaluare: sistemul care pregătește mediile, rulează încercările, colectează traseele, apelează evaluatorii și raportează rezultatele.

Separarea acestor concepte previne o greșeală frecventă: considerarea unei singure demonstrații reușite drept dovadă că agentul va funcționa în mod fiabil.

Începe cu o specificație clară a sarcinii

O sarcină de evaluare utilă descrie starea inițială, instrumentele disponibile, constrângerile, rezultatul așteptat și comportamentele importante interzise. Testul ar trebui să semene cu activitatea reală, fără să dezvăluie o singură cale prestabilită.

Pentru un agent de asistență, „rezolvă tichetul” este prea vag. O sarcină mai bine definită precizează fișa clientului, politica aplicabilă, remediile permise, comunicarea necesară și modificările care trebuie să apară în sistemul de evidență. Astfel, sarcina poate fi evaluată obiectiv.

Patru niveluri ale evaluării agenților

Aceste niveluri ar trebui raportate separat. Reunirea lor într-o singură medie poate ascunde comportamente inacceptabile — de exemplu, un scor ridicat al sarcinilor îndeplinite, care maschează încercări frecvente de a folosi instrumente fără autorizare. Echipele pot defini mai întâi praguri obligatorii de siguranță, apoi pot compara calitatea rezultatelor și eficiența rulărilor care trec de aceste praguri.

1. Calitatea rezultatului

Și-a atins agentul obiectivul? Evaluatorii rezultatului pot verifica modificări exacte ale stării, câmpuri obligatorii, rezultatele testelor, acuratețea faptelor, susținerea prin citări sau calitatea pe baza unei grile de evaluare.

Acolo unde este posibil, folosește starea finală a mediului, nu afirmația agentului. Un agent de programare nu a reușit doar pentru că spune că a remediat eroarea; testele relevante și comportamentul trebuie să confirme acest lucru.

2. Calitatea traiectoriei

A urmat agentul o cale adecvată? Evaluarea traiectoriei poate detecta accesul inutil la date, folosirea unor instrumente interzise, eșecuri repetate, omiterea verificării, observații inventate sau încălcarea cerințelor de aprobare.

Nu orice abatere de la o cale de referință este o greșeală. Agenții pot găsi soluții valide pe care evaluatorii nu le-au anticipat. Evaluatorii ar trebui să impună respectarea cerințelor reale, permițând totodată abordări alternative eficiente.

3. Siguranță și respectarea politicilor

A rămas agentul în limitele autorității sale? Testele ar trebui să includă injectarea de prompturi, instrucțiuni contradictorii, date sensibile, intenții ambigue ale utilizatorilor și solicitări care impun refuzul sau escaladarea.

Evaluările de siguranță au nevoie de consecințe realiste într-un mediu izolat. O formulare conformă cu politica nu este suficientă dacă agentul a trimis deja mesajul, a modificat înregistrarea sau a expus datele.

4. Eficiența operațională

Cât timp și câți bani au fost necesari pentru reușită? Urmărește numărul de tokenuri ale modelului, apelurile de instrumente, latența totală, reîncercările, intervențiile umane și costul serviciilor externe. Un agent care reușește după 100 de acțiuni inutile poate fi mai puțin util decât un flux de lucru mai simplu.

Folosește mai multe tipuri de evaluatori

Evaluatorii deterministici verifică proprietăți exacte: dacă un test a fost trecut, dacă un fișier a fost modificat corect, dacă un câmp din baza de date are valoarea cerută sau dacă a fost apelat un endpoint interzis. Sunt rapizi și consecvenți, dar acoperă doar ceea ce codifică dezvoltatorii.

Evaluatorii bazați pe modele evaluează calități precum claritatea, exhaustivitatea, relevanța și respectarea unor criterii nuanțate. Se pot extinde mai ușor decât evaluarea umană, dar trebuie validați la rândul lor, deoarece pot fi părtinitori sau inconsecvenți.

Evaluatorii umani sunt importanți pentru judecata de specialitate, cazurile ambigue și validarea evaluatorilor automatizați. Sunt mai lenți și mai costisitori, așa că echipele îi folosesc adesea pentru eșantioane, dezacorduri și domenii cu impact ridicat.

Cele mai solide suite de evaluare combină aceste abordări. Platforma Evals a OpenAI tratează, în mod similar, evaluarea ca pe un proces structurat de definire a testelor, evaluatorilor și experimentelor repetate, nu ca pe o inspecție informală.

Fiabilitatea necesită teste repetate

Rulați fiecare sarcină de suficiente ori pentru a observa variațiile cauzate de eșantionare, de schimbarea instrumentelor și de starea mediului. Raportați atât performanța medie, cât și frecvența erorilor grave. În cazul fluxurilor de lucru alcătuite din mai mulți pași dependenți, acuratețea fiecărui pas poate părea ridicată, în timp ce fiabilitatea de la un capăt la altul rămâne scăzută, deoarece o singură eroare este suficientă pentru a compromite întreaga sarcină.

Comportamentul agenților este probabilistic. Aceeași sarcină poate produce planuri, apeluri de instrumente și rezultate diferite. Rulați fiecare sarcină importantă de mai multe ori și raportați ratele de reușită sau distribuțiile scorurilor, nu doar cel mai bun exemplu.

Două măsuri ale fiabilității răspund la întrebări diferite:

• Pass@k: probabilitatea ca cel puțin una dintre cele k încercări să reușească. Este utilă atunci când sunt acceptabile mai multe încercări.
• Pass^k: probabilitatea ca toate cele k încercări să reușească. Aceasta reflectă consecvența atunci când fiecare rulare trebuie să funcționeze.

Un sistem poate avea o valoare pass@k atractivă și totuși să nu fie potrivit pentru operare automată, deoarece rulările individuale nu sunt fiabile.

Construiți un set reprezentativ de sarcini

Începeți cu erori reale și solicitări frecvente din producție. Includeți sarcini simple, cazuri-limită dificile, intrări ambigue, erori ale instrumentelor, date învechite, informații lipsă și conținut adversarial.

Segmentați rezultatele în funcție de tipul sarcinii și de risc. O medie generală poate ascunde o slăbiciune gravă în acțiuni financiare, sarcini cu orizont lung sau într-o anumită aplicație. Păstrați un set de date separat pentru testare, astfel încât ajustarea repetată a prompturilor să nu transforme suita de evaluare într-un set de antrenare.

Evaluați mediul, nu doar modelul

Performanța unui agent depinde de definițiile instrumentelor, permisiuni, memorie, gestionarea contextului, interfața cu utilizatorul, comportamentul rețelei și orchestrare. O actualizare a modelului poate reduce o eroare, dar poate scoate la iveală alta.

Înregistrați versiunea întregii stive folosite pentru fiecare rulare. Notați modelul, prompturile, instrumentele, instantaneul de date, mediul, limitele de resurse și versiunile evaluatorilor. În caz contrar, nu se poate identifica o cauză relevantă a modificării scorului.

Greșeli frecvente de evaluare

Scurgerea datelor reprezintă un alt risc. Dacă sarcinile de testare comparativă, răspunsurile așteptate sau tiparele de evaluare apar în datele de antrenare ale modelului ori în contextul promptului, scorul poate măsura recunoașterea, nu generalizarea. Păstrați sarcini de testare confidențiale, neincluse în setul de antrenare, actualizați cazurile pe măsură ce sistemele se schimbă și înregistrați modelul exact, promptul, versiunile instrumentelor și mediul folosit pentru fiecare execuție.

• Evaluare bazată pe demonstrații: alegerea sarcinilor după ce se vede la ce se descurcă bine agentul.
• Evaluare bazată doar pe răspunsul final: ignorarea traiectoriilor nesigure sau ineficiente.
• Concluzii bazate pe o singură execuție: considerarea unui succes norocos drept o capacitate stabilă.
• Teste cu scurgeri de informații: includerea răspunsului sau a traiectoriei de referință în contextul agentului.
• Evaluatori de modele nevalidați: presupunerea că un evaluator automat are dreptate, fără a verifica dacă este de acord cu experții.
• Medii statice: testarea unei singure interfețe, stări a contului sau configurații a datelor.
• Lipsa testelor negative: măsurarea finalizării sarcinii fără a verifica dacă agentul refuză sau escaladează situația în mod adecvat.
• Ignorarea aspectelor economice: optimizarea ratei de succes în timp ce costul și latența devin inacceptabile.

De la evaluările offline la monitorizarea în producție

Evaluările offline sunt controlate și reproductibile. Sunt ideale pentru compararea prompturilor, modelelor, instrumentelor și politicilor înainte de lansare. Monitorizarea în producție scoate la iveală varietatea amplă a comportamentului utilizatorilor reali și a schimbărilor din mediu.

Un program matur le conectează pe cele două. Incidentele și urmele de execuție din producție asociate cu un nivel scăzut de încredere devin sarcini noi de evaluare offline. Modificările candidate trebuie să treacă suita de teste de regresie. După implementare, echipele urmăresc rata de succes a sarcinilor, ratele intervențiilor, evenimentele legate de politici, erorile instrumentelor, costul, latența și feedbackul utilizatorilor.

O grilă practică de evaluare a agentului

O grilă de evaluare ar trebui să diferențieze criteriile eliminatorii de indicatorii de optimizare. Respectarea politicilor, autorizarea și dovezile solicitate pot fi criterii eliminatorii, cu rezultat admis sau respins; apoi, acuratețea, latența, costul și efortul evaluatorilor pot fi comparate între execuțiile acceptabile. Astfel, echipele nu vor sacrifica o măsură de siguranță pentru un mic câștig de eficiență, pe care un scor mediu l-ar putea ascunde.

O grilă de evaluare utilă poate include:

• rata de succes a sarcinilor și scorul de calitate;
• consecvența în cadrul testărilor repetate;
• rata încălcărilor critice ale politicilor;
• acuratețea selectării instrumentelor și a argumentelor furnizate;
• rata de recuperare după erori ale instrumentelor sau ale mediului;
• rata escaladărilor către oameni și a intervențiilor manuale;
• latența mediană și latențele din coada distribuției;
• costul modelului, al instrumentelor și al intervenției umane pentru fiecare sarcină reușită;
• eficiența traiectoriei în comparație cu un nivel de referință rezonabil.

Raportați costul pentru fiecare sarcină reușită, nu doar costul per execuție. Un agent ieftin care eșuează în mod repetat poate costa mai mult decât un model mai performant, care reușește din prima.

Ce trebuie reținut despre evaluarea unui agent IA

Evaluarea agenților este disciplina care constă în testarea unui sistem complet, orientat spre obiective, în condiții realiste. Aceasta măsoară dacă munca este corectă, dacă parcursul este acceptabil, dacă comportamentul poate fi repetat și dacă aspectele economice sunt justificate.

Începeți cu un set restrâns de sarcini cu miză importantă, mai multe testări, evaluatori pe mai multe niveluri și traiectorii complete. Apoi, transformați fiecare eșec relevant din producție într-un test de regresie. Capacitățile agenților se schimbă rapid; un sistem de evaluare durabil le permite echipelor să distingă progresul real de o demonstrație convingătoare.