AWS Menguraikan UAEF untuk Evaluasi Agen AI Lintas Kerangka

Pada 11 November 2026, AWS menerbitkan pengenalan teknis tentang Universal Agent Evaluation Framework (UAEF), sistem sumber terbuka berlisensi Apache-2.0 yang mengevaluasi agen AI menggunakan 36 metrik bawaan dalam tujuh dimensi.

UAEF dirancang agar hasil evaluasi tetap dapat dibandingkan di LangGraph, LangChain, Strands Agents, dan Amazon Bedrock AgentCore. Kerangka kerja tersebut mencatat pesan, pemanggilan alat, dan alih kendali antargen secara berbeda. Karena itu, kode evaluasi yang terikat pada satu format mungkin memerlukan metrik, logika penilaian, dan penyimpanan hasil yang baru setelah terjadi perubahan kerangka kerja. Hal ini menyulitkan penentuan apakah perubahan pada prompt, model, atau alat meningkatkan kinerja agen.

AWS melaporkan bahwa pelanggan dari 12 organisasi di bidang telekomunikasi, layanan kesehatan, dan jasa keuangan menggunakan UAEF untuk menerapkan metrik yang konsisten dan membandingkan versi agen sebelum dirilis. Repositori awslabs/uaef berisi pustaka Python, adaptor kerangka kerja, metrik, infrastruktur penerapan AWS, antarmuka web, dan notebook yang dapat dijalankan.

Jejak Kanonis Memungkinkan Penilaian Bersama

Adaptor menormalkan pesan, pemanggilan alat, dan alih kendali setiap agen menjadi representasi kanonis AgentTrace, satu-satunya representasi yang digunakan mesin penilaian. UAEF dapat mengadaptasi jejak yang sudah ada dari proses sebelumnya, log, atau penyimpanan observabilitas, atau memanggil agen melalui Nama Sumber Daya Amazon saat runtime atau titik akhir HTTP, lalu mengonversi eksekusi yang dihasilkan. Adaptor JSON generik memperluas proses ini ke kerangka kerja khusus.

Katalog metrik mengelompokkan metrik bawaan ke dalam pemanggilan alat, kualitas respons, AI yang bertanggung jawab, kinerja, percakapan multi-giliran, koordinasi multiagen, dan penalaran. Skor menggunakan skala ternormalisasi dari 0 hingga 1, dengan 1 sebagai nilai terbaik. Metrik deterministik dihitung langsung dari jejak dan data acuan, sedangkan metrik LLM sebagai juri menggunakan model di Amazon Bedrock untuk menilai aspek seperti relevansi dan keamanan. Metrik khusus serta integrasi RAGAS dan DeepEval juga didukung.

Secara umum, jawaban acuan bersifat opsional, meskipun metrik yang membandingkan hasil dengan referensi memerlukannya. Evaluasi pemanggilan alat juga dapat menetapkan alat yang diharapkan, urutannya, dan argumennya. Jika suatu metrik tidak memiliki masukan yang diperlukan, metrik itu tidak menghasilkan skor dan memberikan peringatan; hasil kosong tersebut tidak disertakan dalam rata-rata dimensi, alih-alih dihitung sebagai nol. Karena itu, set data yang hanya diberi label sebagian dan lalu lintas produksi tanpa label tetap dapat dievaluasi menggunakan metrik yang memiliki masukan yang tersedia.

Eksperimen Tersimpan Mengungkap Regresi

Evaluasi yang disimpan menjadi eksperimen. Amazon DynamoDB menyimpan metadata untuk pencantuman dan perbandingan, termasuk jumlah evaluasi dan skor rata-rata, sedangkan Amazon S3 menyimpan hasil JSON lengkap beserta skor per metrik dan penalaran juri. Proses individual dapat mencatat kerangka kerja, model, alat, prompt sistem, parameter, cuplikan konfigurasi, dan komit Git, sehingga setiap skor dapat dikaitkan dengan rancangan agen yang diuji. UAEF menyaring jejak untuk mendeteksi informasi pribadi sebelum penyimpanan, dan penyamaran data tersedia untuk hasil yang tersimpan.

Untuk metrik yang digunakan oleh dua proses, mesin perbandingan menghitung perubahan absolut dan persentase terhadap nilai dasar. Ambang batas yang dapat dikonfigurasi dan secara bawaan ditetapkan sebesar 5% membedakan hasil yang membaik, mengalami regresi, atau tidak berubah; tingkat regresi dikelompokkan menjadi ringan, sedang, atau berat, lalu dikelompokkan berdasarkan dimensi. Pengelompokan itu dapat menunjukkan apakah revisi prompt memengaruhi pemanggilan alat tanpa mengubah kualitas respons.

Pelaporan memisahkan statistik yang dapat direproduksi dari interpretasi yang dihasilkan model. Antarmuka web menampilkan hasil per kasus uji dan per dimensi, sementara laporan statistik opsional mencakup distribusi skor, interval kepercayaan, pencilan, korelasi metrik, dan kasus uji yang gagal tanpa menggunakan LLM. Analisis terpisah yang dihasilkan Bedrock dapat mengusulkan penyebab utama dan langkah selanjutnya berdasarkan prioritas untuk satu proses atau suatu perbandingan.

Pustaka Python dan layanan web berkode rendah menggunakan mesin evaluasi dan penyimpanan yang sama. Tim dapat menjalankan evaluasi di notebook, skrip, dan alur integrasi berkelanjutan serta pengiriman berkelanjutan, atau melalui peramban, tanpa mengubah cara hasil dinilai dan dibandingkan.

Dependensi AWS dan Batas Isolasi

Panduan instalasi mensyaratkan Python 3.10 atau versi lebih baru serta pengelola paket uv. Kredensial AWS diperlukan untuk penilaian berbasis Bedrock dan penyimpanan di DynamoDB/S3. Karena itu, tim yang menggunakan fitur penilaian dan penyimpanan tersebut tetap terhubung ke layanan AWS meskipun agennya menggunakan kerangka kerja yang berbeda.

UAEF memperlakukan keluaran agen yang dievaluasi sebagai masukan tak tepercaya untuk prompt penilai. Sistem mengirim rubrik secara terpisah, melakukan escape pada konten, mengurai respons penilai dengan ketat, dan mensyaratkan kutipan bukti verbatim sebelum menerima skor. AWS menyatakan bahwa skor penilai tidak boleh menjadi gerbang bagi kontrol keamanan; penegakan saat runtime harus dilakukan melalui jalur pemanggilan Amazon Bedrock Guardrails yang terpisah.

Repositori tersebut menjelaskan UAEF sebagai arsitektur referensi yang dirancang untuk dijalankan di dalam platform yang menyediakan isolasi pengguna dan penyewa. Penerapan multi-penyewa secara langsung tanpa penegakan dari platform induk tersebut tidak didukung. Setiap penyewa memerlukan penerapan terpisah dengan akun AWS sendiri atau, paling tidak, tumpukan, tabel DynamoDB, bucket S3, dan kumpulan pengguna Cognito sendiri.

Bagi perusahaan yang menjalankan beberapa kerangka kerja agen, UAEF menyediakan tolok ukur penilaian yang stabil dan tetap dapat digunakan meski prompt, model, alat, atau implementasinya berubah. Untuk mewujudkan kesinambungan tersebut, diperlukan lebih dari sekadar memasang pustaka: perbandingan yang bermanfaat bergantung pada metrik dan kumpulan data yang sesuai, sedangkan penggunaan oleh banyak penyewa bergantung pada isolasi yang disediakan di luar UAEF.