AWS เผยรายละเอียดของ UAEF สำหรับการประเมินเอเจนต์ AI ข้ามเฟรมเวิร์ก

เมื่อวันที่ 11 พฤศจิกายน 2026 AWS เผยแพร่บทนำทางเทคนิคเกี่ยวกับ Universal Agent Evaluation Framework (UAEF) ซึ่งเป็นระบบโอเพนซอร์สภายใต้สัญญาอนุญาต Apache-2.0 สำหรับประเมินเอเจนต์ AI ด้วยเมตริกในตัว 36 รายการ ครอบคลุม 7 มิติ

UAEF ออกแบบมาเพื่อให้ผลการประเมินเปรียบเทียบกันได้ระหว่าง LangGraph, LangChain, Strands Agents และ Amazon Bedrock AgentCore เฟรมเวิร์กเหล่านี้บันทึกข้อความ การเรียกใช้เครื่องมือ และการส่งต่องานระหว่างเอเจนต์แตกต่างกัน ดังนั้น เมื่อเปลี่ยนเฟรมเวิร์ก โค้ดประเมินผลที่ผูกกับรูปแบบใดรูปแบบหนึ่งอาจต้องปรับเมตริก ตรรกะการให้คะแนน และการจัดเก็บผลลัพธ์ใหม่ ซึ่งทำให้ระบุได้ยากขึ้นว่าการเปลี่ยนพรอมป์ต์ โมเดล หรือเครื่องมือช่วยปรับปรุงเอเจนต์หรือไม่

AWS ระบุว่าลูกค้าจาก 12 องค์กรในภาคโทรคมนาคม การดูแลสุขภาพ และบริการทางการเงิน ใช้ UAEF เพื่อใช้เมตริกที่สอดคล้องกันและเปรียบเทียบเอเจนต์แต่ละเวอร์ชันก่อนเผยแพร่ คลังเก็บโค้ด awslabs/uaefประกอบด้วยไลบรารี Python อะแดปเตอร์สำหรับเฟรมเวิร์ก เมตริก โครงสร้างพื้นฐานสำหรับติดตั้งใช้งานบน AWS ส่วนติดต่อผู้ใช้บนเว็บ และโน้ตบุ๊กที่พร้อมเรียกใช้งาน

การติดตามมาตรฐานช่วยให้ใช้ระบบให้คะแนนร่วมกันได้

อะแดปเตอร์ปรับข้อความ การเรียกใช้เครื่องมือ และการส่งต่องานของเอเจนต์แต่ละตัวให้อยู่ในรูปแบบมาตรฐาน AgentTraceซึ่งเป็นรูปแบบเดียวที่กลไกให้คะแนนใช้ UAEF สามารถปรับการติดตามที่มีอยู่จากการเรียกใช้ครั้งก่อน บันทึก หรือคลังข้อมูลการสังเกตการณ์ หรือเรียกใช้เอเจนต์ผ่าน Amazon Resource Name ขณะรันไทม์หรือปลายทาง HTTP แล้วแปลงการทำงานที่ได้ อะแดปเตอร์ JSON ทั่วไปช่วยขยายกระบวนการนี้ให้รองรับเฟรมเวิร์กแบบกำหนดเอง

แค็ตตาล็อกเมตริกจัดกลุ่มเมตริกที่มีมาให้เป็นหมวดการเรียกใช้เครื่องมือ คุณภาพคำตอบ AI ที่มีความรับผิดชอบ ประสิทธิภาพ การสนทนาหลายรอบ การประสานงานระหว่างหลายเอเจนต์ และการให้เหตุผล คะแนนใช้มาตราส่วนที่ปรับให้อยู่ในช่วง 0 ถึง 1 โดย 1 คือคะแนนสูงสุด เมตริกแบบกำหนดแน่นอนคำนวณโดยตรงจากข้อมูลการติดตามและข้อมูลอ้างอิง ส่วนเมตริกแบบ LLM ในฐานะผู้ตัดสินจะใช้โมเดลบน Amazon Bedrock ประเมินคุณสมบัติต่าง ๆ เช่น ความเกี่ยวข้องและความปลอดภัย นอกจากนี้ยังรองรับเมตริกแบบกำหนดเอง รวมถึงการผสานการทำงานกับ RAGAS และ DeepEval

โดยรวมแล้ว คำตอบอ้างอิงที่เป็นข้อมูลจริงเป็นตัวเลือกเสริม แต่เมตริกที่เปรียบเทียบกับข้อมูลอ้างอิงจำเป็นต้องใช้คำตอบดังกล่าว การประเมินการเรียกใช้เครื่องมือยังกำหนดเครื่องมือที่คาดหวัง ลำดับการเรียกใช้ และอาร์กิวเมนต์ของเครื่องมือได้ด้วย หากเมตริกไม่มีข้อมูลนำเข้าที่จำเป็น ระบบจะไม่คืนคะแนนพร้อมแจ้งเตือน และจะไม่นำผลลัพธ์ที่ว่างเปล่านั้นมาคำนวณค่าเฉลี่ยของมิติ แทนที่จะนับเป็นศูนย์ ดังนั้นจึงยังประเมินชุดข้อมูลที่มีการกำกับป้ายกำกับเพียงบางส่วนและทราฟฟิกจริงที่ไม่มีป้ายกำกับได้ โดยใช้เมตริกที่มีข้อมูลนำเข้าพร้อมใช้งาน

การทดลองที่จัดเก็บไว้ช่วยเผยให้เห็นการถดถอย

ผลการประเมินที่บันทึกไว้จะกลายเป็นการทดลอง Amazon DynamoDB จัดเก็บข้อมูลเมตาสำหรับแสดงรายการและเปรียบเทียบ ซึ่งรวมถึงจำนวนการประเมินและคะแนนเฉลี่ย ส่วน Amazon S3 จัดเก็บผลลัพธ์ JSON ฉบับเต็ม พร้อมคะแนนรายเมตริกและเหตุผลประกอบการตัดสินของโมเดล การเรียกใช้แต่ละครั้งบันทึกเฟรมเวิร์ก โมเดล เครื่องมือ พรอมป์ต์ระบบ พารามิเตอร์ ภาพบันทึกการกำหนดค่า และคอมมิต Git ได้ ทำให้เชื่อมโยงคะแนนแต่ละรายการกับการออกแบบเอเจนต์ที่กำลังทดสอบ UAEF จะตรวจสอบข้อมูลการติดตามเพื่อค้นหาข้อมูลส่วนบุคคลก่อนจัดเก็บ และยังสามารถปกปิดข้อมูลในผลลัพธ์ที่จัดเก็บไว้ได้

สำหรับเมตริกที่มีร่วมกันในการเรียกใช้สองครั้ง กลไกเปรียบเทียบจะคำนวณการเปลี่ยนแปลงทั้งแบบสัมบูรณ์และแบบเปอร์เซ็นต์เทียบกับค่าฐาน เกณฑ์ที่กำหนดค่าได้ ซึ่งตั้งไว้ที่ 5% โดยค่าเริ่มต้น ใช้แยกผลลัพธ์ที่ดีขึ้น ถดถอย หรือไม่เปลี่ยนแปลง การถดถอยแบ่งระดับเป็นเล็กน้อย ปานกลาง หรือรุนแรง และจัดกลุ่มตามมิติ การจัดกลุ่มนี้ช่วยแสดงให้เห็นว่าการปรับแก้พรอมป์ต์ส่งผลต่อการเรียกใช้เครื่องมือหรือไม่ โดยไม่ทำให้คุณภาพคำตอบเปลี่ยนแปลง

การรายงานแยกสถิติที่ทำซ้ำได้ออกจากการตีความที่โมเดลสร้างขึ้น ส่วนติดต่อผู้ใช้บนเว็บแสดงผลรายกรณีทดสอบและรายมิติ ขณะที่รายงานสถิติซึ่งเป็นตัวเลือกเสริมครอบคลุมการกระจายของคะแนน ช่วงความเชื่อมั่น ค่าผิดปกติ ความสัมพันธ์ระหว่างเมตริก และกรณีทดสอบที่ไม่ผ่าน โดยไม่ใช้ LLM ส่วนการวิเคราะห์อีกชุดหนึ่งที่สร้างโดย Bedrock สามารถเสนอสมมติฐานเกี่ยวกับสาเหตุที่แท้จริงและขั้นตอนถัดไปที่จัดลำดับความสำคัญแล้ว สำหรับการเรียกใช้ครั้งเดียวหรือการเปรียบเทียบ

ไลบรารี Python และบริการเว็บแบบเขียนโค้ดน้อยใช้กลไกประเมินผลและคลังจัดเก็บชุดเดียวกัน ทีมต่าง ๆ สามารถเรียกใช้การประเมินผ่านโน้ตบุ๊ก สคริปต์ และไปป์ไลน์การผสานรวมและส่งมอบอย่างต่อเนื่อง หรือผ่านเบราว์เซอร์ได้ โดยไม่ต้องเปลี่ยนวิธีให้คะแนนและเปรียบเทียบผลลัพธ์

การพึ่งพาบริการ AWS และขอบเขตการแยกข้อมูล

คู่มือการติดตั้งกำหนดให้ใช้ Python 3.10 ขึ้นไป และตัวจัดการแพ็กเกจ uv จำเป็นต้องมีข้อมูลรับรอง AWS สำหรับการประเมินโดยใช้ Bedrock และการจัดเก็บข้อมูลใน DynamoDB/S3 ดังนั้นทีมที่ใช้ฟีเจอร์การตัดสินและการจัดเก็บเหล่านี้ยังคงต้องเชื่อมต่อกับบริการ AWS แม้เอเจนต์จะใช้เฟรมเวิร์กต่างกัน

UAEF ถือว่าผลลัพธ์จากเอเจนต์ที่นำมาประเมินเป็นข้อมูลนำเข้าที่ไม่น่าเชื่อถือสำหรับพรอมป์ต์ผู้ตัดสิน โดยส่งเกณฑ์การประเมินแยกต่างหาก ทำการเอสเคปเนื้อหา แยกวิเคราะห์คำตอบจากผู้ตัดสินอย่างเข้มงวด และกำหนดให้ต้องมีข้อความหลักฐานที่ยกมาตรงตามต้นฉบับก่อนยอมรับคะแนน AWS ระบุว่าไม่ควรใช้คะแนนจากผู้ตัดสินเป็นเงื่อนไขควบคุมความปลอดภัย การบังคับใช้ขณะรันไทม์ควรดำเนินการผ่านเส้นทางเรียกใช้ Amazon Bedrock Guardrails แยกต่างหาก

คลังเก็บโค้ดอธิบายว่า UAEF เป็นสถาปัตยกรรมอ้างอิงที่ออกแบบมาให้ทำงานภายในแพลตฟอร์มซึ่งจัดให้มีการแยกผู้ใช้และผู้เช่า ไม่รองรับการติดตั้งใช้งานแบบหลายผู้เช่าโดยตรง หากไม่มีการบังคับใช้การแยกดังกล่าวจากแพลตฟอร์มที่โฮสต์ แต่ละผู้เช่าจำเป็นต้องมีการติดตั้งใช้งานแยกต่างหาก โดยใช้บัญชี AWS ของตนเอง หรืออย่างน้อยต้องมีสแตก ตาราง DynamoDB บัคเก็ต S3 และพูลผู้ใช้ Cognito ของตนเอง

สำหรับองค์กรที่ใช้เฟรมเวิร์กเอเจนต์หลายรูปแบบ UAEF มีเกณฑ์พื้นฐานที่มั่นคงสำหรับการให้คะแนน ซึ่งยังคงใช้ได้แม้มีการเปลี่ยนพรอมป์ต์ โมเดล เครื่องมือ หรือวิธีนำไปใช้งาน อย่างไรก็ตาม การทำให้การเปรียบเทียบต่อเนื่องได้เช่นนี้ต้องอาศัยมากกว่าการติดตั้งไลบรารี เพราะการเปรียบเทียบที่มีประโยชน์ขึ้นอยู่กับการเลือกใช้เมตริกและชุดข้อมูลที่เหมาะสม ส่วนการใช้งานแบบหลายผู้เช่าก็ขึ้นอยู่กับการแยกส่วนที่จัดให้จากภายนอก UAEF