كيف تقيّم وكيلاً يعمل بالذكاء الاصطناعي؟ المهام ومسارات التنفيذ والموثوقية والتكلفة

يعني تقييم وكيل يعمل بالذكاء الاصطناعي اختبار قدرته على إنجاز مهام تمثيلية بموثوقية، واتباع مسارات مقبولة، واحترام حدوده، وتحقيق قيمة تتناسب مع تكلفته. ولا تكفي الإجابة النهائية وحدها، إذ قد يصل الوكيل إلى نتيجة تبدو معقولة عبر إجراءات غير آمنة أو ادعاءات لا تستند إلى أدلة أو محاولات متكررة بإفراط أو بمحض المصادفة.

يصعب تقييم الوكلاء لأن النظام يتصرف بمرور الوقت. فالنموذج يختار الأدوات، ويراقب بيئات متغيرة، وقد يسلك مساراً مختلفاً في كل مرة. لذلك تقيس التقييمات الفعالة النتائج ومسارات التنفيذ عبر تجارب متكررة.

مصطلحات تقييم الوكلاء

يقدّم دليل Anthropic حول تبسيط فهم تقييمات الوكلاء مجموعة مفيدة من المصطلحات:

• المهمة: حالة اختبار واحدة تتضمن هدفاً وبيئة ومدخلات ومعايير للنجاح.
• التجربة: محاولة واحدة من الوكيل لإنجاز مهمة.
• السجل أو مسار التنفيذ: تسلسل الرسائل والقرارات واستدعاءات الأدوات والملاحظات والإجراءات أثناء التجربة.
• المُقيِّم: قاعدة أو برنامج أو نموذج أو شخص يقيّم جزءاً من الأداء.
• منظومة التقييم: النظام الذي يجهّز البيئات، ويجري التجارب، ويجمع سجلات التنفيذ، ويستدعي المُقيِّمين، ويعرض النتائج.

يساعد الفصل بين هذه المفاهيم على تجنب خطأ شائع، وهو اعتبار عرض توضيحي ناجح واحد دليلاً على أن أداء الوكيل سيكون موثوقاً.

ابدأ بمواصفات واضحة للمهمة

تصف مهمة التقييم المفيدة الحالة الأولية، والأدوات المتاحة، والقيود، والنتيجة المتوقعة، والسلوكيات المهمة المحظورة. وينبغي أن يحاكي الاختبار العمل الحقيقي من دون أن يكشف عن مسار واحد محدد سلفاً.

بالنسبة إلى وكيل دعم العملاء، فإن عبارة «حلّ التذكرة» مبهمة للغاية. أما المهمة الأكثر تحديداً فتوضح سجل العميل، والسياسة المعمول بها، والحلول المسموح بها، والتواصل المطلوب، والتغييرات التي يجب أن تظهر في النظام المعتمد للسجلات. وعندئذ يمكن تقييمها بموضوعية.

أربع طبقات لتقييم الوكلاء

ينبغي إبقاء هذه الطبقات منفصلة في التقارير. فقد يؤدي دمجها في متوسط واحد إلى إخفاء سلوك غير مقبول؛ كأن تحجب نتيجة مرتفعة لنجاح المهام محاولات متكررة لاستخدام أدوات من دون تصريح. ويمكن للفرق أن تضع أولاً بوابات صارمة للسلامة، ثم تقارن جودة النتائج والكفاءة بين التجارب التي اجتازت تلك البوابات.

1. جودة النتائج

هل حقق الوكيل الهدف؟ يمكن لمُقيِّمي النتائج التحقق من تغييرات محددة في الحالة، أو حقول مطلوبة، أو نتائج الاختبارات، أو الدقة الواقعية، أو مدى استناد الاستشهادات إلى مصادر، أو الجودة وفق معايير تقييم محددة.

حيثما أمكن، اعتمد على الحالة النهائية للبيئة بدلاً من ادعاء الوكيل نفسه. فلا يُعدّ وكيل البرمجة ناجحاً لمجرد قوله إنه أصلح الخلل؛ بل يجب أن تؤكد الاختبارات والسلوكيات ذات الصلة ذلك.

2. جودة مسار التنفيذ

هل سلك الوكيل مساراً سليماً؟ يمكن لتقييم مسار التنفيذ كشف الوصول غير الضروري إلى البيانات، أو استخدام أدوات محظورة، أو تكرار الإخفاقات، أو إغفال التحقق، أو اختلاق الملاحظات، أو مخالفة متطلبات الموافقة.

ليس كل انحراف عن مسار مرجعي خطأً. فقد يتوصل الوكلاء إلى حلول صحيحة لم يتوقعها المُقيِّمون. وينبغي للمُقيِّمين إنفاذ المتطلبات الفعلية مع السماح باتباع أساليب بديلة تتسم بالكفاءة.

3. السلامة والامتثال للسياسات

هل التزم الوكيل بحدود صلاحياته؟ ينبغي أن تشمل الاختبارات حقن التعليمات، والتعليمات المتعارضة، والبيانات الحساسة، وغموض مقصود المستخدم، والطلبات التي تستلزم الرفض أو التصعيد.

تتطلب تقييمات السلامة عواقب واقعية في بيئة معزولة. فصياغة جملة متوافقة مع السياسة لا تكفي إذا كان الوكيل قد أرسل الرسالة بالفعل، أو غيّر السجل، أو كشف البيانات.

4. الكفاءة التشغيلية

كم استغرق النجاح من وقت ومال؟ تتبّع رموز النموذج، واستدعاءات الأدوات، وزمن الاستجابة الفعلي، والمحاولات المتكررة، والتدخلات البشرية، وتكاليف الخدمات الخارجية. فقد يكون الوكيل الذي ينجح بعد 100 إجراء غير ضروري أقل فائدة من سير عمل أبسط.

استخدم أنواعاً متعددة من المُقيِّمين

المقيّمات الحتمية تفحص خصائص محددة بدقة: ما إذا كان الاختبار قد اجتاز، أو ما إذا كان ملف قد عُدّل على النحو الصحيح، أو ما إذا كان حقل في قاعدة البيانات يحمل القيمة المطلوبة، أو ما إذا تم استدعاء نقطة نهاية محظورة. وهي سريعة ومتسقة، لكنها لا تغطي إلا ما يبرمجه المطوّرون.

المقيّمات القائمة على النماذج تقيّم خصائص مثل الوضوح والاكتمال والملاءمة والالتزام بمعايير دقيقة. وهي أقدر على التوسّع من المراجعة البشرية، لكنها تحتاج إلى تحقق خاص بها، لاحتمال تحيزها أو عدم اتساقها.

المقيّمون البشريون مهمون لإصدار أحكام الخبراء، والتعامل مع الحالات الملتبسة، والتحقق من المقيّمات الآلية. وهم أبطأ وأكثر تكلفة، لذا تستعين بهم الفرق غالبًا لتقييم عينات وحالات الخلاف والمجالات ذات الأثر الكبير.

تجمع أقوى مجموعات التقييم بين هذه الأساليب. وبالمثل، تتعامل منصة Evals التابعة لـ OpenAI مع التقييم بوصفه عملية منظّمة لتحديد الاختبارات والمقيّمين وإجراء التجارب المتكررة، لا مجرد فحص غير رسمي.

يتطلب قياس الموثوقية تكرار التجارب

نفّذ كل مهمة عددًا كافيًا من المرات لملاحظة التباين الناجم عن أخذ العينات وتغيّر الأدوات وحالة البيئة. وأبلغ عن متوسط الأداء ومعدل الإخفاقات الجسيمة معًا. في تدفقات العمل المؤلفة من خطوات مترابطة عدة، قد تبدو دقة كل خطوة مرتفعة، بينما تظل الموثوقية من البداية إلى النهاية ضعيفة؛ إذ يكفي إخفاق واحد لإفشال المهمة بأكملها.

سلوك الوكيل احتمالي. فقد تنتج عن المهمة نفسها خطط واستدعاءات للأدوات ونتائج مختلفة. نفّذ كل مهمة مهمة مرات متعددة، وأبلغ عن معدلات النجاح أو توزيعات الدرجات، لا عن أفضل مثال فحسب.

يجيب مقياسان للموثوقية عن سؤالين مختلفين:

• Pass@k: احتمال نجاح محاولة واحدة على الأقل من أصل k محاولات. ويكون هذا المقياس مفيدًا عندما يكون تكرار المحاولة مقبولًا.
• Pass^k: احتمال نجاح جميع k المحاولات. ويعكس هذا المقياس الاتساق عندما يُشترط نجاح كل تشغيل.

قد يحقق النظام نتيجة جذابة في مقياس Pass@k، لكنه يظل غير ملائم للتشغيل الآلي بسبب عدم موثوقية عمليات التشغيل الفردية.

أنشئ مجموعة مهام تمثيلية

ابدأ بالإخفاقات الفعلية والطلبات الشائعة في بيئة الإنتاج. وأدرج مهامًا مباشرة، وحالات حدّية صعبة، ومدخلات ملتبسة، وأخطاء في الأدوات، وبيانات قديمة، ومعلومات ناقصة، ومحتوى عدائيًا.

صنّف النتائج بحسب نوع المهمة ومستوى المخاطر. فقد يخفي المتوسط الإجمالي ضعفًا كبيرًا في الإجراءات المالية أو المهام طويلة الأمد أو تطبيق معيّن. واحتفظ بمجموعة بيانات محجوبة عن التدريب، حتى لا يؤدي الضبط المتكرر للموجّهات إلى تحويل مجموعة التقييم إلى مجموعة تدريب.

قيّم البيئة، لا النموذج وحده

يعتمد أداء الوكيل على تعريفات الأدوات، والأذونات، والذاكرة، وإدارة السياق، وواجهة المستخدم، وسلوك الشبكة، والتنسيق. وقد يقلل تحديث النموذج أحد الأخطاء، لكنه يكشف عن خطأ آخر.

حدّد إصدارات مجموعة المكونات كاملةً المستخدمة في كل تشغيل. وسجّل النموذج والموجّهات والأدوات ولقطة البيانات والبيئة والميزانيات وإصدارات المقيّمات. وإلا، فلن يكون من الممكن إرجاع أي تغيّر في الدرجة إلى سبب ذي دلالة.

أخطاء شائعة في التقييم

تسرّب البيانات خطر آخر. فإذا ظهرت مهام الاختبار المعياري أو الإجابات المتوقعة أو أنماط التقييم في بيانات تدريب النموذج أو في سياق المطالبة، فقد تقيس النتيجة التعرّف بدلًا من التعميم. احتفظ بمهام اختبار سرية، وحدّث الحالات مع تغيّر الأنظمة، وسجّل النموذج والمطالبة وإصدارات الأدوات والبيئة المستخدمة في كل تشغيل بدقة.

• التقييم المدفوع بالعروض التوضيحية: اختيار المهام بعد معرفة ما يجيده الوكيل.
• التقييم الذي يقتصر على الإجابة النهائية: تجاهل المسارات غير الآمنة أو المهدرة للموارد.
• استخلاص النتائج من تشغيل واحد: اعتبار نجاح عابر قدرةً مستقرة.
• اختبارات متسربة: وضع الإجابة أو المسار المرجعي في سياق الوكيل.
• مقيّمات النماذج غير المعتمدة: افتراض صحة الحكم الآلي من دون التحقق من مدى توافقه مع أحكام الخبراء.
• البيئات الثابتة: اختبار واجهة واحدة أو حالة حساب واحدة أو ترتيب واحد للبيانات.
• غياب الاختبارات السلبية: قياس إنجاز المهمة من دون التحقق مما إذا كان الوكيل يرفض أو يصعّد الأمر على نحو ملائم.
• تجاهل الجوانب الاقتصادية: تحسين معدل النجاح بينما تصبح التكلفة وزمن الاستجابة غير مقبولين.

من التقييمات غير المتصلة إلى مراقبة الإنتاج

تُجرى التقييمات غير المتصلة في ظروف مضبوطة وقابلة للتكرار. وهي مثالية لمقارنة المطالبات والنماذج والأدوات والسياسات قبل الإطلاق. أما مراقبة الإنتاج فتكشف السلوك الفعلي للمستخدمين على نطاق واسع والتغيّرات التي تطرأ على البيئة.

يربط البرنامج الناضج بين الجانبين. فالحوادث والمسارات المسجّلة في الإنتاج ذات مستويات الثقة المنخفضة تتحول إلى مهام جديدة للتقييم غير المتصل. ويجب أن تجتاز التغييرات المرشحة حزمة اختبارات الانحدار. وبعد النشر، تراقب الفرق نجاح المهام ومعدلات التدخل وأحداث السياسات وأخطاء الأدوات والتكلفة وزمن الاستجابة وملاحظات المستخدمين.

بطاقة تقييم عملية للوكيل

ينبغي أن تميّز بطاقة التقييم بين شروط الاجتياز الإلزامية ومقاييس التحسين. إذ يمكن أن يكون الامتثال للسياسات والتفويض والأدلة المطلوبة شروطًا يُحكم عليها بالنجاح أو الإخفاق؛ وبعد ذلك يمكن مقارنة الدقة وزمن الاستجابة والتكلفة والجهد المطلوب من المراجعين بين عمليات التشغيل المقبولة. ويحول ذلك دون مقايضة الفرق تحسنًا طفيفًا في الكفاءة بتراجع في السلامة قد تخفيه نتيجة متوسطة.

يمكن أن تتضمن بطاقة التقييم المفيدة ما يلي:

• معدل نجاح المهام ودرجة الجودة؛
• الاتساق بين التجارب المتكررة؛
• معدل الانتهاكات الجسيمة للسياسات؛
• دقة اختيار الأدوات وتحديد الوسائط؛
• معدل التعافي بعد إخفاق الأدوات أو البيئة؛
• معدل التصعيد إلى البشر وتدخلهم لتجاوز قرارات الوكيل؛
• الوسيط وزمن الاستجابة في الحالات الطرفية؛
• تكلفة النموذج والأدوات والجهد البشري لكل مهمة ناجحة؛
• كفاءة المسار مقارنة بخط أساس معقول.

أبلغ عن التكلفة لكل مهمة ناجحة، لا عن التكلفة لكل تشغيل فحسب. فقد يكون الوكيل الرخيص الذي يخفق مرارًا أعلى تكلفةً من نموذج أقوى ينجح من المرة الأولى.

ما الذي ينبغي تذكّره عن كيفية تقييم وكيل ذكاء اصطناعي

تقييم الوكلاء هو ممارسة اختبار نظام متكامل موجّه نحو هدف في ظروف واقعية. وهو يقيس صحة العمل، ومدى قبول المسار، وقابلية تكرار السلوك، ومعقولية التكلفة.

ابدأ بمجموعة صغيرة من المهام المهمة، وتجارب متعددة، ومقيّمات على مستويات مختلفة، ومسارات كاملة. ثم حوّل كل إخفاق مهم في الإنتاج إلى اختبار انحدار. تتغير قدرات الوكلاء بسرعة؛ ونظام التقييم المتين هو ما يمكّن الفرق من التمييز بين التقدم الحقيقي والعرض التوضيحي المقنع.