AWS تكشف عن UAEF لتقييم وكلاء الذكاء الاصطناعي عبر أطر عمل مختلفة

نشرت AWS في 11 نوفمبر 2026 مقدمة تقنية عن Universal Agent Evaluation Framework (UAEF)، وهو نظام مفتوح المصدر مرخّص بموجب Apache-2.0، يقيّم وكلاء الذكاء الاصطناعي باستخدام 36 مقياسًا مدمجًا موزعة على سبعة أبعاد.

صُمم UAEF لضمان إمكانية مقارنة نتائج التقييم عبر LangGraph وLangChain وStrands Agents وAmazon Bedrock AgentCore. تسجل هذه الأطر الرسائل واستدعاءات الأدوات وعمليات تسليم المهام بين الوكلاء بطرق مختلفة، لذا قد يتطلب تغيير إطار العمل إنشاء مقاييس جديدة ومنطق جديد للتقييم وتخزين النتائج، إذا كان كود التقييم مرتبطًا بتنسيق واحد. وهذا يجعل تحديد ما إذا كان تغيير الموجّه أو النموذج أو الأدوات قد حسّن أداء الوكيل أمرًا أصعب.

تفيد AWS بأن عملاء من 12 مؤسسة في قطاعات الاتصالات والرعاية الصحية والخدمات المالية استخدموا UAEF لتطبيق مقاييس موحّدة ومقارنة إصدارات الوكلاء قبل إطلاقها. ويضم مستودع awslabs/uaef مكتبة Python ومحوّلات الأطر والمقاييس والبنية التحتية لنشر AWS وواجهة ويب ودفاتر ملاحظات قابلة للتشغيل.

سجلات التتبّع المعيارية تتيح تقييمًا مشتركًا

توحّد المحوّلات رسائل كل وكيل واستدعاءاته للأدوات وعمليات تسليم المهام في صيغة معيارية AgentTrace، وهي التمثيل الوحيد الذي يستخدمه محرك التقييم. يستطيع UAEF تكييف سجل تتبّع موجود من تشغيل سابق أو سجل أو مخزن للرصد، أو استدعاء وكيل عبر اسم مورد Amazon (ARN) لوقت التشغيل أو نقطة نهاية HTTP، ثم تحويل التنفيذ الناتج. كما يتيح محوّل JSON عام توسيع هذه العملية لتشمل الأطر المخصصة.

يجمع كتالوج المقاييس المقاييس المدمجة ضمن فئات: استدعاء الأدوات، وجودة الاستجابة، والذكاء الاصطناعي المسؤول، والأداء، والمحادثات متعددة الأدوار، والتنسيق بين الوكلاء، والاستدلال. تُعرض النتائج على مقياس موحّد من 0 إلى 1، حيث تمثل 1 أفضل نتيجة. وتُحسب المقاييس الحتمية مباشرةً من سجلات التتبّع والإجابات المرجعية، بينما تستخدم مقاييس التقييم بواسطة نموذج لغوي نموذجًا على Amazon Bedrock لتقييم خصائص مثل الملاءمة والسلامة. كما تتوفر مقاييس مخصصة وعمليات تكامل مع RAGAS وDeepEval.

الإجابات المرجعية اختيارية عمومًا، لكن المقاييس التي تقارن النتائج بالمراجع تتطلبها. ويمكن أيضًا، عند تقييم استدعاء الأدوات، تحديد الأدوات المتوقعة وترتيبها ومدخلاتها. إذا افتقر أحد المقاييس إلى مدخل ضروري، فلن يعرض نتيجة، بل سيصدر تحذيرًا؛ وتُستبعد هذه النتيجة الفارغة من متوسطات الأبعاد بدلًا من احتسابها صفرًا. لذلك، تظل مجموعات البيانات ذات الوسوم الجزئية وحركة الإنتاج غير الموسومة قابلة للتقييم باستخدام المقاييس التي تتوفر مدخلاتها.

التجارب المحفوظة تكشف التراجعات

تتحول التقييمات المحفوظة إلى تجارب. يخزّن Amazon DynamoDB البيانات الوصفية اللازمة لإدراجها ومقارنتها، بما يشمل أعداد التقييمات ومتوسط النتائج، بينما يحتفظ Amazon S3 بنتائج JSON الكاملة، بما فيها نتائج كل مقياس وتعليلات النموذج المُحكِّم. ويمكن أن تسجل عمليات التشغيل المنفردة إطار العمل والنموذج والأدوات وموجّه النظام والمعلمات ولقطة الإعدادات ومعرّف إيداع Git، لربط كل نتيجة بتصميم الوكيل قيد الاختبار. ويفحص UAEF سجلات التتبّع بحثًا عن معلومات شخصية قبل تخزينها، كما يتيح تنقيح النتائج المحفوظة.

بالنسبة إلى المقاييس المشتركة بين تشغيلين، يحسب محرك المقارنة التغيرات المطلقة والنسبية قياسًا إلى خط أساس. وتفصل عتبة قابلة للضبط، محددة افتراضيًا عند 5%، بين التحسينات والتراجعات والنتائج التي لم تتغير؛ وتُصنّف التراجعات إلى طفيفة أو متوسطة أو شديدة، ثم تُجمع بحسب البعد. ويمكن لهذا التجميع أن يبيّن ما إذا كان تعديل الموجّه قد أثّر في استدعاء الأدوات من دون أن يغيّر جودة الاستجابة.

تفصل التقارير الإحصاءات القابلة لإعادة الإنتاج عن التفسيرات التي يولدها النموذج. تعرض واجهة الويب النتائج لكل حالة اختبار ولكل بُعد، ويغطي تقرير إحصائي اختياري توزيعات النتائج وفترات الثقة والقيم المتطرفة والارتباطات بين المقاييس وحالات الاختبار الفاشلة، من دون استخدام نموذج لغوي كبير. ويمكن، بصورة منفصلة، إجراء تحليل ينشئه Bedrock لاقتراح الأسباب الجذرية والخطوات التالية ذات الأولوية لتشغيل واحد أو لمقارنة.

تستخدم مكتبة Python وخدمة الويب منخفضة البرمجة محرك التقييم ومخازن البيانات نفسيهما. ويمكن للفرق إجراء التقييمات في دفاتر الملاحظات والبرامج النصية وخطوط التكامل المستمر والتسليم المستمر، أو عبر المتصفح، من دون تغيير طريقة احتساب النتائج ومقارنتها.

اعتماد UAEF على AWS وحدود العزل

يتطلب دليل التثبيت Python 3.10 أو إصدارًا أحدث ومدير الحزم uv. ويلزم توفير بيانات اعتماد AWS لإجراء التقييم بواسطة Bedrock ولحفظ البيانات في DynamoDB/S3، لذا تظل الفرق التي تستخدم ميزات التقييم والتخزين هذه متصلة بخدمات AWS، حتى عندما تستخدم وكلاؤها أطر عمل مختلفة.

يتعامل UAEF مع مخرجات الوكيل الخاضع للتقييم على أنها مدخلات غير موثوقة لموجّهات التقييم. ويرسل معايير التقييم بصورة منفصلة، ويُجري ترميزًا آمنًا للمحتوى، ويفرض تحليل استجابات النموذج المُحكِّم بدقة، ويشترط تقديم مقطع دليل حرفي قبل قبول النتيجة. وتقول AWS إنه لا ينبغي استخدام نتائج النموذج المُحكِّم للتحكم في بوابات الأمان؛ إذ يجب تطبيق الإنفاذ أثناء التشغيل عبر مسار استدعاء منفصل لـ Amazon Bedrock Guardrails.

يصف المستودع UAEF بأنه بنية مرجعية مصممة للعمل ضمن منصة توفر العزل بين المستخدمين والمستأجرين. ولا يدعم النشر المباشر متعدد المستأجرين من دون تطبيق تلك المنصة لآليات الإنفاذ. ويحتاج كل مستأجر إلى عملية نشر منفصلة، بحساب AWS خاص به، أو على الأقل بمكدس وجداول DynamoDB وحاويات S3 ومجموعة مستخدمين في Cognito خاصة به.

بالنسبة إلى المؤسسات التي تستخدم عدة أطر عمل للوكلاء، يوفّر UAEF خط أساس ثابتًا للتقييم يمكنه الصمود أمام التغييرات في المطالبات والنماذج والأدوات أو أساليب التنفيذ. ويتطلب الحفاظ على هذا الاتساق أكثر من مجرد تثبيت المكتبة؛ فإجراء مقارنات مفيدة يعتمد على مقاييس ومجموعات بيانات مناسبة، في حين يتوقف الاستخدام متعدد المستأجرين على توفير العزل خارج UAEF.