AWS esittelee UAEF:n tekoälyagenttien arviointiin eri kehysten välillä

AWS julkaisi teknisen esittelyn Universal Agent Evaluation Framework (UAEF) -kehyksestä 11. marraskuuta 2026. Apache-2.0-lisenssillä julkaistu avoimen lähdekoodin järjestelmä arvioi tekoälyagentteja 36 sisäänrakennetun mittarin avulla seitsemässä ulottuvuudessa.

UAEF on suunniteltu pitämään arvioinnit vertailukelpoisina LangGraphin, LangChainin, Strands Agentsin ja Amazon Bedrock AgentCoren välillä. Nämä kehykset tallentavat viestit, työkalukutsut ja agenttien väliset siirrot eri tavoin, joten yhteen muotoon sidottu arviointikoodi voi vaatia uusia mittareita, pisteytyslogiikkaa ja tulosten tallennustapaa, kun kehystä vaihdetaan. Tällöin on vaikeampi selvittää, paransiko kehotteen, mallin tai työkalujen muutos agenttia.

AWS:n mukaan asiakkaat 12 organisaatiossa televiestinnän, terveydenhuollon ja rahoituspalveluiden aloilla käyttivät UAEF:ää yhtenäisten mittareiden soveltamiseen ja agenttiversioiden vertailuun ennen julkaisua. awslabs/uaef-koodivarasto sisältää Python-kirjaston, kehysten sovittimet, mittarit, AWS:n käyttöönottorakenteen, verkkokäyttöliittymän ja suoritettavia muistikirjoja.

Kanoniset jäljet mahdollistavat yhteisen pisteytyksen

Sovittimet normalisoivat kunkin agentin viestit, työkalukutsut ja siirrot kanoniseksi esitysmuodoksi AgentTrace, joka on ainoa pisteytysmoottorin käyttämä esitysmuoto. UAEF voi muuntaa aiemman ajon jäljen, lokin tai havainnointitietovaraston jäljen tai kutsua agenttia ajonaikaisen Amazon Resource Namen tai HTTP-päätepisteen kautta ja muuntaa näin syntyvän suorituksen. Yleiskäyttöinen JSON-sovitin laajentaa prosessin mukautettuihin kehyksiin.

Mittariluettelo ryhmittelee sisäänrakennetut mittarit työkalukutsuihin, vastausten laatuun, vastuulliseen tekoälyyn, suorituskykyyn, monivuorovaikutteisiin keskusteluihin, usean agentin koordinointiin ja päättelyyn. Pisteet ilmoitetaan normalisoidulla asteikolla 0–1, jolla 1 on paras tulos. Deterministiset mittarit lasketaan suoraan jäljistä ja vertailutiedoista, kun taas LLM-tuomaria hyödyntävät mittarit käyttävät Amazon Bedrockissa olevaa mallia esimerkiksi osuvuuden ja turvallisuuden arviointiin. Myös mukautettuja mittareita sekä RAGAS- ja DeepEval-integraatioita tuetaan.

Vertailuvastaukset ovat yleisesti ottaen valinnaisia, mutta vertailuun perustuvat mittarit edellyttävät niitä. Työkalukutsujen arvioinnissa voidaan määrittää myös odotetut työkalut, niiden järjestys ja argumentit. Jos mittarilta puuttuu tarvittava syöte, se ei palauta pisteitä vaan varoituksen, ja tyhjä tulos jätetään pois ulottuvuuden keskiarvosta sen sijaan, että se laskettaisiin nollaksi. Näin osittain tunnisteilla varustettuja aineistoja ja tunnisteettomia tuotantoliikenteen tietoja voidaan edelleen arvioida niillä mittareilla, joiden tarvitsemat syötteet ovat saatavilla.

Tallennetut kokeet paljastavat suorituskyvyn heikkenemisen

Tallennetuista arvioinneista muodostuu kokeita. Amazon DynamoDB tallentaa luettelointiin ja vertailuun tarvittavat metatiedot, kuten arviointien määrät ja keskimääräiset pisteet, kun taas Amazon S3 säilyttää täydelliset JSON-tulokset mittarikohtaisine pisteineen ja tuomarin perusteluineen. Yksittäisiin ajoihin voidaan tallentaa kehys, malli, työkalut, järjestelmäkehote, parametrit, kokoonpanon tilannevedos ja Git-commit, jolloin kukin pistemäärä yhdistyy testattavaan agenttiratkaisuun. UAEF tarkistaa jäljet henkilötietojen varalta ennen tallennusta, ja tallennettujen tulosten tietoja voidaan myös poistaa.

Niille mittareille, jotka ovat yhteisiä kahdelle ajolle, vertailumoottori laskee absoluuttiset ja prosentuaaliset muutokset lähtötasoon nähden. Määritettävä kynnysarvo, joka on oletusarvoisesti 5 %, erottaa parannukset, heikkenemiset ja muuttumattomat tulokset toisistaan. Heikkenemiset luokitellaan lieviksi, kohtalaisiksi tai vakaviksi ja ryhmitellään ulottuvuuksittain. Ryhmittely voi näyttää, vaikuttiko kehotteen tarkistus työkalukutsuihin muuttamatta vastausten laatua.

Raportoinnissa toistettavissa olevat tilastot pidetään erillään mallin tuottamasta tulkinnasta. Verkkokäyttöliittymä näyttää tulokset testitapauksittain ja ulottuvuuksittain, ja valinnainen tilastoraportti kattaa pistejakaumat, luottamusvälit, poikkeavat havainnot, mittarien väliset korrelaatiot ja epäonnistuneet testitapaukset ilman LLM:n käyttöä. Erillinen Bedrockin tuottama analyysi voi ehdottaa juurisyitä ja tärkeysjärjestykseen asetettuja jatkotoimia yksittäiselle ajolle tai vertailulle.

Python-kirjasto ja vähäkoodinen verkkopalvelu käyttävät samaa arviointimoottoria ja samoja tietovarastoja. Tiimit voivat suorittaa arviointeja muistikirjoissa, skripteissä ja jatkuvan integraation ja jatkuvan toimituksen (CI/CD) putkissa tai selaimessa muuttamatta tulosten pisteytys- ja vertailutapaa.

AWS-riippuvuudet ja eristämisen rajat

Asennusopas edellyttää Pythonin versiota 3.10 tai uudempaa sekä uv-paketinhallintaa. Bedrock-pohjaista arviointia ja DynamoDB-/S3-tallennusta varten tarvitaan AWS-tunnistetiedot, joten näitä arviointi- ja tallennusominaisuuksia käyttävät tiimit pysyvät yhteydessä AWS-palveluihin, vaikka niiden agentit käyttäisivät eri kehyksiä.

UAEF käsittelee arvioitavan agentin tuottamaa sisältöä epäluotettavana syötteenä arviointikehotteissa. Se lähettää arviointiperusteet erikseen, escapettaa sisällön, jäsentää arvioijan vastaukset tiukasti ja edellyttää sanatarkkaa näyttökatkelmaa ennen pisteen hyväksymistä. AWS:n mukaan arvioijan pisteitä ei pidä käyttää tietoturvakontrollien portinvartijoina; ajonaikainen valvonta kuuluu erilliseen Amazon Bedrock Guardrails -kutsupolkuun.

Koodivarastossa UAEF kuvataan viitearkkitehtuuriksi, joka on tarkoitettu suoritettavaksi alustalla, joka tarjoaa käyttäjä- ja vuokralaistason eristyksen. Suoraa monivuokralaista käyttöönottoa ilman isäntäympäristön tarjoamaa valvontaa ei tueta. Jokainen vuokralainen tarvitsee erillisen käyttöönoton omalla AWS-tilillään tai vähintään omalla pinollaan, DynamoDB-tauluillaan, S3-säilöillään ja Cognito-käyttäjäpoolillaan.

Yrityksille, jotka käyttävät useita agenttikehyksiä, UAEF tarjoaa vakaan pisteytyksen vertailutason, joka kestää kehotteiden, mallien, työkalujen tai toteutuksen muutokset. Tällaisen jatkuvuuden saavuttaminen vaatii muutakin kuin kirjaston asentamisen: hyödylliset vertailut edellyttävät sopivia mittareita ja aineistoja, kun taas usean vuokralaisen käyttö edellyttää UAEF:n ulkopuolelta tulevaa eristystä.