نادرًا ما تتعطل وكلاء الذكاء الاصطناعي. إنها تفشل بصمت، وتوضح الأبحاث السبب

تجيب وكلاء النماذج اللغوية الكبيرة الآن عن تذاكر الدعم، وتستعلم من قواعد البيانات، وتخطط للرحلات. وعندما تسوء الأمور، فإنها غالبًا ما تقدم إجابة واثقة ورمز نجاح. وتفسر مجموعة متزايدة من الأبحاث صعوبة اكتشاف هذه الإخفاقات، وتوضح كيف تتعلم فرق الهندسة قياسها.

إخفاق يبدو نجاحًا

غالبًا ما يكون إخفاق البرمجيات التقليدية واضحًا. فإحدى الدوال تثير استثناءً، أو يعيد الخادم رمز خطأ، أو تتحول لوحة المراقبة إلى اللون الأحمر. أما وكيل الذكاء الاصطناعي فيتصرف على نحو مختلف. فهو يعمل في حلقة: يقرأ النموذج اللغوي مطالبة، ويقرر استدعاء أداة مثل واجهة برمجة تطبيقات للبحث أو قاعدة بيانات، ثم يقرأ النتيجة ويقرر ما ينبغي فعله بعد ذلك. وقد تسوء الأمور في أي خطوة، مع أن كل طلب شبكة ضمن السلسلة ينجح.

لننظر في حالة شائعة. تتعطل أداة الطقس وتعيد عبارة «الخدمة غير متاحة» ضمن استجابة طبيعية في ما عدا ذلك. يقرأ النموذج هذه العبارة، فيعتذر بلباقة، أو—والأسوأ—يكتب توقعًا جويًا مقنعًا استنادًا إلى بيانات تدريبه. ويتلقى المستخدم إجابة سلسة. وتُظهر سجلات الخادم طلبًا ناجحًا بزمن استجابة طبيعي. ولا يسجل أي شيء في منظومة المراقبة التقليدية أن خللًا قد وقع.

يصف مزودو النماذج هذه الفجوة نفسها في وثائقهم. وتشير إرشادات Google لواجهة Gemini البرمجية إلى أن النموذج «لا ينفذ الدالة بنفسه». فهو لا يقترح سوى اسم الدالة والوسائط، بينما ينفذ تطبيق المطوّر الاستدعاء. ولذلك، فإن التطبيق هو الجزء الوحيد من النظام الذي يرى النتيجة الفعلية. وتوضح إرشادات Anthropic الهندسية لبناء الوكلاء النقطة ذات الصلة، وهي أن الوكلاء يحتاجون في كل خطوة إلى «حقيقة مرجعية» من البيئة، مثل نتائج الأدوات، كي يقيّموا تقدمهم. وعندما تبلغ أداة عن إخفاق في صورة نص عادي، تكون تلك الحقيقة المرجعية خاطئة، ولا يملك الوكيل وسيلة لاكتشاف ذلك.

هذه ليست مشكلة من نوع جديد، بل نسخة أكثر حدة من مشكلة قديمة. ففي عام 2015، وصف مهندسو Google بقيادة D. Sculley «الدين التقني الخفي» في أنظمة التعلم الآلي. ورأوا أن معظم المخاطر في أنظمة التعلم الآلي المستخدمة فعليًا تكمن خارج شيفرة النموذج، في تبعيات البيانات والتهيئة والشيفرات الرابطة. وتضيف الوكلاء طبقة جديدة إلى هذه القائمة. فالمطالبات وأوصاف الأدوات إعدادات يمكنها تغيير سلوك النظام من دون أي تغيير في شيفرته.

تعديلات بسيطة، آثار كبيرة

ما حجم أثر تغيير بسيط في المطالبة؟ في ورقة بحثية قُدّمت في ICLR 2024، غيّرت Melanie Sclar من University of Washington وزملاؤها تنسيق مطالبات التعلّم من أمثلة قليلة فحسب، بما في ذلك الفواصل والمسافات واستخدام الأحرف الكبيرة. وظل المعنى كما هو. ومع ذلك، تفاوت الأداء في المهمة نفسها بما يصل إلى 76 نقطة في الدقة على نموذج LLaMA-2-13B. ولم تختفِ هذه الحساسية مع النماذج الأكبر أو الأمثلة الأكثر أو الضبط بالتعليمات.

يوصي الباحثون بالإبلاغ عن نطاق للأداء عبر تنسيقات المطالبات المعقولة بدلًا من الاكتفاء برقم واحد. أما بالنسبة إلى فرق الهندسة، فالدرس العملي أبسط: تعديل المطالبة هو تغيير في الشيفرة. لذا يحتاج إلى سجل للإصدارات، كما يحتاج إلى اختبار قبل وصوله إلى المستخدمين.

وينطبق الأمر نفسه على أوصاف الأدوات، التي يقرؤها النموذج بوصفها جزءًا من المطالبة. وتوصي إرشادات Anthropic بأن تحظى تعريفات الأدوات «بالقدر نفسه من الاهتمام بهندسة المطالبات» الذي تحظى به المطالبة الرئيسية. وتعرض الإرشادات حالة وكيل برمجي ظل يخطئ في التعامل مع مسارات الملفات النسبية. وعندما عُدّلت الأداة لتشترط استخدام المسارات المطلقة، استخدمها النموذج من دون أخطاء. لم يتغير النموذج؛ بل تغير الوصف الذي قرأه فحسب.

نجاح واحد لا يثبت الكثير

يتناول خط بحثي آخر الاتساق. ويحاكي المعيار τ-bench، الذي نشره Shunyu Yao وزملاؤه في Sierra وقُدّم في ICLR 2025، محادثات خدمة العملاء التي يتعين فيها على الوكيل استخدام الأدوات واتباع قواعد العمل. وابتكر الباحثون مقياسًا أسموه pass^k، وهو احتمال أن ينجز الوكيل المهمة نفسها على نحو صحيح في جميع المحاولات البالغ عددها k.

كانت النتائج مثيرة للقلق. فقد أنجز وكيل GPT-4o نحو 61% من مهام البيع بالتجزئة في محاولة واحدة. لكن عندما طُلب منه إنجاز المهمة نفسها بنجاح ثماني مرات متتالية، انخفض المعدل إلى نحو 25%. ولا يكشف عرض تجريبي ينجح مرة واحدة إلا القليل عن سلوك النظام عند تشغيله للمرة الألف.

مواطن تعطل الأنظمة متعددة الوكلاء

تربط فرق كثيرة الآن عدة وكلاء معًا، فيتولى أحدهم التخطيط، وينفذ آخر، ويتحقق ثالث من العمل. وحللت دراسة أجرتها UC Berkeley عام 2025، بعنوان «لماذا تفشل أنظمة النماذج اللغوية الكبيرة متعددة الوكلاء؟»، أكثر من 1,600 سجل تنفيذ مشروحًا عبر سبعة أطر عمل شائعة متعددة الوكلاء. ووضع الباحثون، بقيادة Mert Cemri، تصنيفًا أسموه MAST، يضم 14 نمطًا من أنماط الإخفاق ضمن ثلاث فئات: مشكلات تصميم النظام، وعدم التوافق بين الوكلاء، والتحقق من المهام.

تتمثل خلاصة النتائج في أن كثيرًا من الإخفاقات مرده إلى تصميم النظام، لا إلى حدود النموذج الأساسي وحدها. فقد يتجاهل الوكلاء الأدوار المسندة إليهم، أو يفقدون مسار المحادثة، أو يعلنون انتهاء مهمة من دون التحقق من النتيجة. ولا تخلّف هذه الإخفاقات أي خطأ مسجل؛ ولا يمكن كشفها إلا إذا استطاع أحدهم قراءة ما فعله كل وكيل بالفعل. وتطرح تغطية Unite.AI لمفارقة تعدد الوكلاء نقطة ذات صلة من منظور البنية: إذ يمكن أن تؤدي إضافة وكلاء إلى تضخيم خطأ مبكر بدلًا من إلغائه.

إظهار ما لا يُرى

يستند النهج الهندسي إلى الأنظمة الموزعة، حيث دأب المهندسون منذ زمن طويل على تتبّع الطلبات عبر خدمات متعددة باستخدام تقنية تُسمى التتبّع. وعند تطبيق ذلك على الوكلاء، يصبح كل طلب من المستخدم مسار تتبّع، ويصبح كل استدعاء للنموذج أو للأداة «مقطعًا» ضمن هذا المسار. ويسجّل المقطع مدخلاته ومخرجاته وعدد الرموز المستخدمة والوقت الذي استغرقه. وتتولى OpenTelemetry، وهي هيئة معايير الصناعة المعنية بهذا المجال، صياغة قواعد مشتركة لمقاطع الذكاء الاصطناعي التوليدي. وحتى عام 2026، لا تزال هذه القواعد مصنّفة على أنها قيد التطوير، لذا قد تظل أسماء السمات عرضة للتغيير.

تطبّق بالفعل عدة مشاريع مفتوحة المصدر هذه الفكرة، مثل Langfuse وArize Phoenix وAcruxCore. وشيفرتها المصدرية متاحة للعامة، ما يتيح للفرق الاطلاع على كيفية تخزين مسار التتبّع وتشغيل البرنامج على خوادمها الخاصة. وتسجّل هذه المشاريع استدعاءات النماذج والأدوات كمقاطع ضمن مسار تتبّع واحد، وتتيح للفرق إرفاق درجات للجودة بها. ولا يهم اختيار الأداة بقدر ما تهم نقطة واحدة: يجب أن يسجّل مقطع الأداة ما أعادته الأداة فعليًا، لا مجرد نجاح طلب الشبكة. ومن دون ذلك، يظل الإخفاق في أداة الطقس المذكور أعلاه غير مرئي.

تشير استطلاعات الصناعة إلى أن التتبّع أصبح شائعًا، لكن الاختبار لا يواكبه. واستطلع تقرير LangChain بعنوان واقع هندسة الوكلاء آراء 1,340 ممارسًا في أواخر عام 2025. وكانت الجودة أكثر العوائق التي ذُكرت عند إدخال الوكلاء إلى بيئات الإنتاج، إذ أشار إليها 32% من المشاركين. وأفادت 89% من المؤسسات بأنها تطبّق شكلًا من أشكال رصد وكلائها، فيما كان لدى 62% منها تتبّع مفصّل للخطوات الفردية واستدعاءات الأدوات. ولم يُجرِ تقييمات غير متصلة بالإنترنت على مجموعات اختبار سوى 52.4%، بينما قيّم 37.3% حركة البيانات الحية. تستطيع معظم الفرق رؤية ما فعله وكلاؤها، لكن عددًا أقل منها يتحقق مما إذا كان ما فعلوه صحيحًا.

تقييم الإجابات على نطاق واسع

تُظهر مسارات التتبّع ما حدث، لكنها لا توضح ما إذا كانت الإجابة جيدة. ولا يمكن توسيع نطاق مراجعة كل محادثة يدويًا، لذا تلجأ الفرق بصورة متزايدة إلى استخدام نموذج ثانٍ لتقييم الإجابات، في نهج يُعرف باسم «النموذج اللغوي الكبير بوصفه حكمًا». وخلصت ورقة بحثية قُدّمت في NeurIPS 2023، أعدّها Lianmin Zheng وزملاؤه، إلى أن النماذج القوية مثل GPT-4 وافقت التفضيلات البشرية في أكثر من 80% من الحالات، وهي نسبة تقارب معدل اتفاق البشر بعضهم مع بعض.

وثّقت الورقة نفسها جوانب الضعف في هذه الطريقة. فالنماذج المستخدمة للتحكيم تفضّل الإجابة المعروضة أولًا، وتميل إلى تفضيل الإجابات الأطول، وقد تفضّل نصوصًا كتبتها بنفسها. لذلك، تُعد درجات التحكيم تقديرات. وهي مفيدة عند التعامل مع كميات كبيرة، لكن ينبغي التحقق منها بمقارنتها بمجموعة صغيرة من الأمثلة التي صنّفها بشر، مع تبديل ترتيب الإجابات عشوائيًا.

من الممارسة إلى السياسات

أصبح هذا العمل على القياس أيضًا مطلبًا متزايدًا في مجال الحوكمة. ونشر المعهد الوطني الأمريكي للمعايير والتكنولوجيا إطار إدارة مخاطر الذكاء الاصطناعي في يناير 2023. وتدعو إحدى وظائفه الأساسية الأربع، وهي «القياس»، المؤسسات إلى تحديد مخاطر الذكاء الاصطناعي كمّيًا وتتبعها وتوثيقها بمرور الوقت. وبالنسبة إلى الوكيل، تشكّل مسارات التتبّع ودرجات التقييم الأدلة التي تتطلبها هذه الوظيفة.

ما الذي يمكن للفرق فعله الآن

وهذا ينسجم مع الحجة المطروحة على هذه المنصة، ومفادها أن الموثوقية هي الاختبار الحقيقي للذكاء الاصطناعي الوكيلي. ويضيف البحث أعلاه تفصيلًا يتعلق بالقياس يدعم هذه الحجة: فالموثوقية ليست صفة تلاحظها مرة واحدة، بل نطاقًا يتعين مواصلة قياسه.

يشير البحث إلى مجموعة قصيرة من الممارسات، ويوصي مزودو النماذج الرئيسيون بكثير منها أيضًا. ويحث الدليل العملي من OpenAI لبناء الوكلاء الفرق على «إعداد التقييمات لتحديد خط أساس للأداء» قبل التحسين، وعلى إحالة التحكم إلى إنسان عندما يتجاوز الوكيل عددًا محددًا من المحاولات الفاشلة أو يواجه إجراءً ينطوي على مخاطر عالية. وتوصي Anthropic بإجراء «اختبارات مكثفة في بيئات معزولة» قبل أن تعمل الوكلاء بمفردها.

عمليًا، يعني ذلك اتخاذ بضع خطوات محددة. احتفظوا بالمطالبات وأوصاف الأدوات في نظام للتحكم بالإصدارات، كما تفعلون مع الشيفرة البرمجية. واختبروا كل تغيير في المطالبات باستخدام مجموعة بيانات ثابتة، وتوقعوا نطاقًا من النتائج بدلًا من رقم واحد. وشغّلوا كل حالة اختبار عدة مرات، لأن إجراء الاختبار مرة واحدة يخفي التباين. وسجّلوا مخرجات الأدوات ضمن مسارات التتبّع، كي لا يتمكن إخفاق الأداة من التخفي وراء رمز نجاح. وتعاملوا مع درجات التحكيم الآلية على أنها تقديرات، وتحققوا منها بمراجعة أشخاص.

لا تتطلب أي من هذه الممارسات اختراقًا في قدرات النماذج. بل تتطلب التعامل مع وكيل الذكاء الاصطناعي على حقيقته: نظام احتمالي لا بد من قياسه، لأنه نادرًا ما يعلن عن إخفاقاته بنفسه.