AWS trình bày UAEF, khung đánh giá tác tử AI đa nền tảng

Ngày 11 tháng 11 năm 2026, AWS đã công bố phần giới thiệu kỹ thuật về Universal Agent Evaluation Framework (UAEF), một hệ thống mã nguồn mở được cấp phép theo Apache-2.0, dùng 36 chỉ số tích hợp sẵn trên bảy khía cạnh để đánh giá tác tử AI.

UAEF được thiết kế để duy trì khả năng so sánh kết quả đánh giá giữa LangGraph, LangChain, Strands Agents và Amazon Bedrock AgentCore. Các framework này ghi lại tin nhắn, lệnh gọi công cụ và lượt chuyển giao giữa các tác tử theo những cách khác nhau, vì vậy mã đánh giá gắn với một định dạng có thể cần được bổ sung chỉ số, logic chấm điểm và nơi lưu kết quả mới khi chuyển đổi framework. Điều đó khiến việc xác định liệu thay đổi lời nhắc, mô hình hay công cụ có cải thiện tác tử hay không trở nên khó khăn hơn.

AWS cho biết khách hàng thuộc 12 tổ chức trong các lĩnh vực viễn thông, chăm sóc sức khỏe và dịch vụ tài chính đã sử dụng UAEF để áp dụng các chỉ số nhất quán và so sánh các phiên bản tác tử trước khi phát hành. Kho lưu trữ awslabs/uaef bao gồm thư viện Python, bộ chuyển đổi framework, các chỉ số, hạ tầng triển khai AWS, giao diện web và các sổ tay có thể chạy được.

Dấu vết chuẩn hóa cho phép chấm điểm thống nhất

Các bộ chuyển đổi chuẩn hóa tin nhắn, lệnh gọi công cụ và lượt chuyển giao của từng tác tử thành một dạng biểu diễn chuẩn AgentTrace, hình thức biểu diễn duy nhất mà bộ máy chấm điểm sử dụng. UAEF có thể chuyển đổi dấu vết hiện có từ một lần chạy trước, nhật ký hoặc kho lưu trữ khả năng quan sát, hoặc gọi một tác tử thông qua Amazon Resource Name trong môi trường chạy hay điểm cuối HTTP, rồi chuyển đổi quá trình thực thi thu được. Bộ chuyển đổi JSON tổng quát mở rộng quy trình này để hỗ trợ các framework tùy chỉnh.

Danh mục chỉ số phân nhóm các chỉ số tích hợp sẵn thành các mục: gọi công cụ, chất lượng phản hồi, AI có trách nhiệm, hiệu năng, hội thoại nhiều lượt, phối hợp nhiều tác tử và suy luận. Điểm số được chuẩn hóa theo thang từ 0 đến 1, trong đó 1 là tốt nhất. Các chỉ số xác định tính toán trực tiếp từ dấu vết và dữ liệu chuẩn, trong khi các chỉ số dùng mô hình ngôn ngữ lớn làm giám khảo dựa vào một mô hình trên Amazon Bedrock để đánh giá những khía cạnh như mức độ liên quan và tính an toàn. UAEF cũng hỗ trợ các chỉ số tùy chỉnh và tích hợp RAGAS cùng DeepEval.

Nhìn chung, câu trả lời chuẩn là tùy chọn, dù các chỉ số so sánh với dữ liệu tham chiếu đòi hỏi phải có câu trả lời này. Việc đánh giá khả năng gọi công cụ cũng có thể xác định các công cụ dự kiến, thứ tự sử dụng và đối số của chúng. Khi thiếu dữ liệu đầu vào cần thiết, một chỉ số sẽ không trả về điểm số và đưa ra cảnh báo; kết quả trống đó bị loại khỏi điểm trung bình của khía cạnh thay vì bị tính là 0. Vì vậy, các tập dữ liệu chỉ được gắn nhãn một phần và lưu lượng thực tế chưa gắn nhãn vẫn có thể được đánh giá bằng những chỉ số có đủ dữ liệu đầu vào.

Thử nghiệm đã lưu giúp phát hiện sự suy giảm

Các lần đánh giá được lưu lại sẽ trở thành những thử nghiệm. Amazon DynamoDB lưu siêu dữ liệu để liệt kê và so sánh, bao gồm số lượng lần đánh giá và điểm trung bình, còn Amazon S3 lưu toàn bộ kết quả JSON, trong đó có điểm số của từng chỉ số và phần giải thích của giám khảo. Từng lần chạy có thể ghi lại framework, mô hình, công cụ, lời nhắc hệ thống, tham số, ảnh chụp cấu hình và mã Git commit, qua đó gắn mỗi điểm số với thiết kế tác tử đang được kiểm thử. UAEF sàng lọc dấu vết để phát hiện thông tin cá nhân trước khi lưu trữ; đồng thời có thể xóa thông tin nhận dạng khỏi các kết quả đã lưu.

Với những chỉ số được hai lần chạy cùng sử dụng, bộ máy so sánh tính toán mức thay đổi tuyệt đối và phần trăm thay đổi so với mốc chuẩn. Ngưỡng có thể cấu hình, mặc định là 5%, dùng để phân biệt kết quả cải thiện, suy giảm và không đổi; mức suy giảm được xếp loại nhẹ, trung bình hoặc nghiêm trọng, rồi nhóm theo từng khía cạnh. Cách phân nhóm này có thể cho thấy liệu việc chỉnh sửa lời nhắc có ảnh hưởng đến khả năng gọi công cụ mà không làm thay đổi chất lượng phản hồi hay không.

Báo cáo tách riêng các số liệu thống kê có thể tái lập với phần diễn giải do mô hình tạo ra. Giao diện web hiển thị kết quả theo từng trường hợp kiểm thử và từng khía cạnh; ngoài ra, báo cáo thống kê tùy chọn trình bày phân bố điểm số, khoảng tin cậy, giá trị ngoại lệ, mối tương quan giữa các chỉ số và các trường hợp kiểm thử thất bại mà không dùng mô hình ngôn ngữ lớn. Một bản phân tích riêng do Bedrock tạo ra có thể đề xuất nguyên nhân gốc rễ và các bước tiếp theo được ưu tiên cho một lần chạy hoặc một phép so sánh.

Thư viện Python và dịch vụ web ít cần viết mã sử dụng chung một bộ máy đánh giá và các kho lưu trữ. Các nhóm có thể chạy đánh giá trong sổ tay, tập lệnh và quy trình tích hợp liên tục, triển khai liên tục, hoặc thông qua trình duyệt mà không phải thay đổi cách chấm điểm và so sánh kết quả.

Các phụ thuộc AWS và ranh giới cô lập

Hướng dẫn cài đặt yêu cầu Python 3.10 trở lên và trình quản lý gói uv. Cần có thông tin xác thực AWS để chấm điểm bằng Bedrock và lưu trữ trên DynamoDB/S3, vì vậy các nhóm sử dụng những tính năng chấm điểm và lưu trữ này vẫn phải kết nối với các dịch vụ AWS, ngay cả khi tác tử của họ dùng những framework khác nhau.

UAEF xem đầu ra của tác tử được đánh giá là dữ liệu đầu vào không đáng tin cậy đối với lời nhắc dành cho giám khảo. Hệ thống gửi riêng bộ tiêu chí chấm điểm, thoát ký tự đặc biệt trong nội dung, phân tích nghiêm ngặt phản hồi của giám khảo và yêu cầu một đoạn bằng chứng trích nguyên văn trước khi chấp nhận điểm số. AWS cho biết không nên dùng điểm của giám khảo để kiểm soát các cơ chế bảo mật; việc thực thi ở thời điểm chạy cần được thực hiện qua một quy trình gọi Amazon Bedrock Guardrails riêng.

Kho lưu trữ mô tả UAEF là một kiến trúc tham chiếu được thiết kế để chạy bên trong một nền tảng cung cấp cơ chế cô lập người dùng và khách thuê. UAEF không hỗ trợ triển khai đa khách thuê trực tiếp nếu không có biện pháp thực thi của nền tảng chủ. Mỗi khách thuê cần một môi trường triển khai riêng với tài khoản AWS riêng hoặc, tối thiểu, một ngăn xếp, các bảng DynamoDB, vùng lưu trữ S3 và nhóm người dùng Cognito riêng.

Đối với các doanh nghiệp vận hành nhiều khung tác tử, UAEF cung cấp một cơ sở chấm điểm ổn định, có thể duy trì qua những thay đổi về câu lệnh, mô hình, công cụ hoặc cách triển khai. Để bảo đảm tính liên tục đó, chỉ cài đặt thư viện là chưa đủ: việc so sánh hữu ích phụ thuộc vào các chỉ số và bộ dữ liệu phù hợp, còn việc sử dụng nhiều khách hàng thuê chung phụ thuộc vào cơ chế cách ly được cung cấp bên ngoài UAEF.