وجدت أبحاث NVIDIA أن وكلاء الذكاء الاصطناعي يصبحون أقل أمانًا عند استخدام الأدوات

يمكن استخدام نماذج الذكاء الاصطناعي مثل ChatGPT وGemini وClaude لتشغيل وكلاء، أي «أطر تشغيل» تتيح للنماذج التفاعل مباشرة مع العالم الحقيقي. وهذا ابتكار حديث، لكنه يثير جدلًا متزايدًا.

على أي حال، لا تُزوَّد الوكلاء تلقائيًا بالقدرات التي ستحتاج إليها أثناء تنقّلها في شبكة أو قاعدة بيانات، لأن الأدوات اللازمة ستختلف باختلاف المهام والأنماط. فقد تحتاج، مثلًا، إلى إمكانات التعرّف الضوئي على الحروف (OCR) لتفسير النصوص في الصور، إلى جانب مهارات أخرى. وهناك أيضًا فئات من الأدوات مصممة بما يتناسب مع نطاق عمل الوكيل والغرض منه.

نظريًا، لا يُفترض أن يُنفَّذ أبدًا طلب يخالف ضوابط الأمان المدمجة في الذكاء الاصطناعي، سواء استُخدمت الأدوات لتنفيذه أم لا. لكن أبحاثًا جديدة وجدت عمليًا أن استخدام الأدوات قد يضعف بدرجة كبيرة المرشحات الوقائية التي تمنع وكيل الذكاء الاصطناعي من ارتكاب «تجاوزات».

الإخفاق في الرفض

تكشف الورقة البحثية الجديدة الصادرة عن NVIDIA، بعنوان تفشل نماذج اللغة متعددة الوسائط في الرفض عند استخدام الأدوات بطريقة الوكلاء، أن نماذج اللغة متعددة الوسائط (MLLM، التي سنشير إليها اختصارًا بالتسمية الأكثر شيوعًا «VLM»، أي نموذج الرؤية واللغة) تصبح أكثر ميلًا بكثير إلى الاستجابة للطلبات الضارة عند إدخال الأدوات، إذ ترتفع حالات الإخفاق في الرفض في جميع النماذج ومعايير التقييم التي خضعت للاختبار.

ومع أن النماذج ذات الأوزان المفتوحة، مثل Qwen3-VL، كانت أكثر عرضة لهذه المشكلة، فإن نماذج الذكاء الاصطناعي المتقدمة مثل Claude Opus 4.7 وGemini 3.1 Pro وGPT-5.4 أظهرت أيضًا زيادة في حالات الإخفاق في الرفض عند استخدام الأدوات.

ويذكر المؤلفون* ما يلي:

«على الرغم من النجاح الكبير الذي حققته مؤخرًا نماذج اللغة متعددة الوسائط العاملة بصفتها وكلاء، تكشف هذه الدراسة عن إخفاق خطير في سلامة نهج استخدام الأدوات: إذ تصبح نماذج اللغة متعددة الوسائط التي تستخدم الأدوات بصفتها وكلاء أقل قدرة على رفض الطلبات الضارة.»

«تؤكد تجاربنا أن جميع نماذج اللغة متعددة الوسائط الرائدة ذات الأوزان المفتوحة والمغلقة التي اختبرناها أظهرت، عبر ثلاثة معايير شائعة لتقييم السلامة، مستوى أمان أقل بكثير عند استخدام الأدوات مقارنةً بالحالات التي لا تُستخدم فيها، مع ارتفاع نسبي يصل إلى 68.7% في معدل الإخفاق في الرفض.»

«واستنادًا إلى تحليل أكثر من 100,000 استجابة، بما في ذلك تجارب موسعة، نقترح أيضًا سببين محتملين لهذا التراجع في السلامة.»

والسببان المحتملان اللذان تطرحهما الورقة هما تشتت السياق، إذ يصبح الطلب الضار الأصلي أقل بروزًا مع تراكم مخرجات الأدوات؛ وتحوّل بؤرة الاهتمام بعيدًا عن السلامة، إذ يركّز النموذج على وصف الملاحظات المستمدة من الأدوات بدلًا من إعطاء الأولوية للسلامة.

نتائج الاختبارات التي توضح الخلاصة الأساسية للورقة بشأن السلامة. في الأعلى، يسأل مستخدم عن كيفية تنفيذ عملية نشل تبدو ظاهرة في صورة. يرفض نموذج الرؤية واللغة التقليدي الطلب رفضًا قاطعًا، بينما تستدعي نسخة تستخدم الأدوات أولًا أدوات لتحليل الصورة، مثل التكبير، ثم تواصل الاستدلال وتقدّم في النهاية إجابة ضارة. ويوضح الرسم البياني أدناه أن هذه الزيادة في حالات الإخفاق في الرفض ظهرت في كل نموذج ذي أوزان مفتوحة وكل نموذج مملوك خضع للتقييم. المصدر

في النماذج الإحدى عشرة التي خضعت للاختبار، أدى تفعيل الأدوات باستمرار إلى زيادة حالات الإخفاق في الرفض، ووصلت الزيادة النسبية إلى 68.7% في أسوأ الحالات، حتى في النماذج التي أظهرت أداءً قويًا في السلامة في غير ذلك.

سيكون من المثير للاهتمام معرفة ما إذا كانت نتائج هذا العمل، الذي أجراه ستة باحثين في NVIDIA، ستتكرر أو تُستنسخ في أماكن أخرى، وما إذا كان من شأنها أن تعمّق فهمنا للجنوح الظاهر والمتنامي لدى وكلاء الذكاء الاصطناعي الخارجين على القانون.

المنهجية والبيانات

قيّم الباحثون أحد عشر نموذجًا للرؤية واللغة تنتمي إلى سبع عائلات من النماذج. وشملت النماذج المملوكة Gemini 2.5 Pro وGemini 3.1 Pro Preview وClaude Opus 4.6 وClaude Opus 4.7 وGPT-5.4.

وشملت النماذج ذات الأوزان المفتوحة Qwen3-VL-235B-A22B-Instruct وQwen3.5-122B-A10B و Kimi-K2.5 وKimi-K2.6 وGLM-5V-Turbo وAdaReasoner-7B-Randomized، وهو نموذج ذو أوزان مفتوحة ضُبط خصيصًا لاستخدام الأدوات بصفته وكيلًا.

وأُجريت أيضًا تجارب منفصلة باستخدام Gemini 3 Flash Vision Agent، لأن استخدامه المستقل للأدوات استلزم تقييمه على نحو منفصل.

في الاختبارات التي استخدمت الأدوات، استخدم الباحثون صيغة ReAct، التي تتناوب فيها عمليات الاستدلال واستدعاءات الأدوات. وشملت الأدوات الأربع المتاحة وضع العلامات باستخدام RAM++؛ والتكبير والاقتصاص للصور؛ والتعرّف الضوئي على الحروف (OCR) باستخدام GOT-OCR2.0؛ ومفسّرًا لشفرة Python يعمل في بيئة معزولة، وكان قادرًا على معالجة الصور وتحليلها.

صمّم الباحثون مطالبات متطابقة لقياس أثر استخدام الأدوات بمعزل عن أسلوب المطالبة. فقد طُلب من نماذج الرؤية واللغة التقليدية فحص الصورة والإجابة مباشرة عن طلب المستخدم، بينما اتبعت الإصدارات الوكيلة سير عمل ReAct، إذ كانت تقرر مرارًا ما إذا كانت ستستدعي الأدوات قبل تقديم إجابة نهائية.

مقارنة بين المطالبات المتطابقة المستخدمة في التجارب الرئيسية. اشترطت حالة عدم استخدام الأدوات تحليل الصورة والاستدلال المباشر، في حين اتبعت الحالة الوكيلة سير عمل ReAct التكراري، ما أتاح للنموذج تحديد وقت استدعاء الأدوات الخارجية قبل تقديم إجابته النهائية.

كانت معايير السلامة الثلاثة متعددة الوسائط المستخدمة هي MM-SafetyBench؛ وVLSBench؛ وHoliSafe. يتألف كل معيار من صور مقترنة بطلبات ضارة من المستخدمين، وصُمّم لاختبار ما إذا كان النموذج يرفض تقديم المساعدة في مواقف غير آمنة، مثل طلب إرشادات حول تنفيذ عملية نشل ظاهرة في صورة.

استُخدم معدل الإخفاق في الرفض (RFR) مقياسًا رئيسيًا، وهو يقيس نسبة الطلبات الضارة التي لم يرفضها النموذج، وتشير الدرجات الأعلى إلى انخفاض مستوى السلامة.

الاختبارات

صنّف GPT-5.2 الإجابات بصفته محكّمًا يعتمد على نموذج لغوي كبير، باستخدام مطالبة التقييم التي أوصى بها VLSBench:

مطالبة التقييم التي استخدمها GPT-5.2 لتحديد ما إذا كانت إجابة كل نموذج تمثل رفضًا ناجحًا، أو استجابة تراعي السلامة وتحدد المخاطر المحتملة، أو إجابة غير آمنة لم تدرك تلك المخاطر ومضت في تلبية الطلب الضار. وقد زُوّد المحكّم بالصورة الأصلية واستفسار المستخدم وإجابة النموذج، وطُلب منه إرجاع التصنيف وتعليله بتنسيق JSON.

صُنّفت كل إجابة ضمن واحدة من ثلاث فئات: آمنة مع رفض؛ أو آمنة مع تحذير؛ أو غير آمنة.

معدلات الإخفاق في الرفض عبر معايير السلامة الثلاثة، مع مقارنة كل نموذج عند إتاحة الأدوات له وعند عدم إتاحتها. أصبح كل نموذج أقل ميلًا إلى رفض الطلبات الضارة عند استخدام الأدوات، وإن اختلفت الزيادة كثيرًا: فقد ارتفع متوسط معدل الإخفاق في الرفض بمقدار 12.6 نقطة لدى GLM-5V-Turbo، مقارنةً بـ2.3 نقطة لدى GPT-5.4. ويشير التظليل الأغمق إلى زيادة أكبر في الإخفاق في الرفض.

أدى تزويد النماذج بالأدوات إلى زيادة احتمال استجابتها لطلبات ضارة كانت سترفضها لولا ذلك؛ وقد ظهر هذا لدى كل نموذج وفي جميع معايير التقييم المختبرة. وإجمالًا، ارتفعت حالات الإخفاق في الرفض بنسبة 17.7% مقارنةً بالنماذج نفسها عند تشغيلها من دون أدوات.

كان GPT-5.4 الأقل تأثرًا: فبدون أدوات، أخفق في رفض 14.6% من الطلبات الضارة؛ ومع الأدوات، ارتفعت النسبة إلى 16.8%. أما لدى GLM-5V-Turbo، فارتفعت حالات الإخفاق من 38.7% (خط الأساس من دون أدوات) إلى 51.3%. وظهر النمط نفسه عبر معايير التقييم الثلاثة، ما يشير إلى أن المشكلة قد لا تقتصر على نوع معين من الطلبات الضارة.

أسباب الإخفاق..؟

كما ذُكر سابقًا، يقترح الباحثون «تخفيف السياق» تفسيرًا لزيادة الإخفاقات: فمع تتابع استدعاءات الوكيل للأدوات، يصبح الطلب الضار الأصلي أقل بروزًا وسط مخرجات الأدوات المتراكمة.

لاختبار ذلك، اقتصروا على الطلبات التي سبق أن رفض النموذج نفسه تلبيتها بنجاح من دون أدوات. وكما هو موضح أدناه، ازدادت حالات الإخفاق تدريجيًا مع زيادة عدد استدعاءات الأدوات، من معدلات قاربت الصفر عند عدم استدعاء أي أداة إلى معدلات أعلى بكثير بعد ثلاثة استدعاءات أو أكثر:

نتائج اختبار تقارن حالات الإخفاق في الرفض عند استخدام أعداد مختلفة من استدعاءات الأدوات. ارتفعت معدلات الإخفاق مع تراكم استدعاءات إضافية للأدوات، سواء لدى النماذج الفردية أو لدى النماذج مجتمعة.

عكس اختبار ثانٍ هذا الأثر جزئيًا. فعندما أُدرج الطلب الأصلي والصورة مجددًا بعد آخر استدعاء للأداة، مباشرة قبل إجابة النموذج، انخفضت حالات الإخفاق في الرفض بمتوسط 7.6% عبر النماذج ومقاييس التقييم، كما هو موضح أدناه:

نتائج اختبار تقارن حالات الإخفاق في الرفض مع إعادة إدراج الطلب الأصلي والصورة ودونها. أدت إعادة الإدراج بعد آخر استدعاء للأداة إلى خفض متوسط معدل الإخفاق بنسبة 7.6% عبر النماذج الخمسة التي خضعت للاختبار.

يدعم هذا فرضية أن تشتت السياق عامل مساهم، ويشير أيضًا إلى وجود إجراء تخفيف بسيط نسبيًا.

أما التفسير الثاني الذي تطرحه الورقة البحثية فهو «إزاحة التركيز عن السلامة». ويبدو هنا أن استخدام الأدوات يحوّل انتباه النموذج بعيدًا عن تقييم مدى ضرر الطلب، ويوجهه إلى وصف ما عثرت عليه أدواته.

نتائج اختبار توضح كيف غيّر استخدام الأدوات الطريقة التي بدأت بها النماذج إجاباتها التي انتهت برفض الطلبات الضارة. من دون أدوات، كانت الإجابات تبدأ عادةً بالتعامل مع الطلب مباشرةً (55.6%) أو بإثارة مخاوف تتعلق بالسلامة (25.8%). أما عند استخدام الأدوات، فكانت 52.3% من الإجابات تبدأ بدلًا من ذلك بوصف ما عُثر عليه عبر الأدوات، في حين انخفضت التصريحات الصريحة المتعلقة بالسلامة إلى 10.3%.

دُرست الحالات التي نجحت فيها النماذج في رفض الطلبات، سواء باستخدام الأدوات أم من دونها. ومن دون أدوات، بدأت 55.6% من هذه الإجابات بالتعامل مع الطلب مباشرةً، في حين بدأت 25.8% منها بتصريح صريح يتعلق بالسلامة. أما مع استخدام الأدوات، فانخفضت هاتان النسبتان إلى 37.4% و10.3% على التوالي، بينما ارتفعت نسبة الإجابات التي بدأت بوصف الملاحظات المستخلصة من الأدوات إلى 52.3%.

يقدم المؤلفون مثالًا نوعيًا لافتًا باستخدام Claude Opus 4.6. فعندما سُئل النموذج عن كيفية تجاوز إجراءات الأمن في دورات المياه العامة، رفض الطلب فورًا من دون استخدام الأدوات:

مثال يوضح كيف أزاح استخدام الأدوات السلامة عن دائرة تركيز النموذج المباشر. رفض Claude Opus 4.6 الطلب الضار فورًا من دون أدوات؛ أما عند استخدامها، فكبّر الصورة أولًا وقرأ محتواها وتعرّف إليه، ثم وصف لافتة دورة المياه قبل أن يرفض الطلب في نهاية المطاف.

لكن عند إتاحة الأدوات للنموذج نفسه، كبّر الصورة بدلًا من ذلك، وقرأ النص وتعرّف إلى محتواها، ثم استهل إجابته بوصف لافتة دورة المياه. ولم يأتِ الرفض إلا بعد ذلك، ما يوضح كيف أزاحت عملية استخدام الأدوات السلامة عن قائمة أولويات النموذج المباشرة.

ويخلص المؤلفون إلى ما يلي:

«بوجه عام، تشير نتائجنا إلى ضرورة التعامل مع استخدام الأدوات لا بوصفه آلية لتعزيز القدرات على الاستدلال البصري فحسب، بل أيضًا خيارًا تصميميًا ذا صلة بالسلامة، يمكنه تغيير سلوك الرفض؛ ولذلك ينبغي تقييم نماذج اللغة والرؤية متعددة الوسائط ذات القدرات الوكيلة المستقبلية وتدريبها في ظل استخدام الأدوات، بدلًا من افتراض أن مواءمة السلامة في غياب الأدوات تنتقل إلى البيئات الوكيلة من دون تغيير».

الخلاصة

من الواضح أن الإخفاق في الحفاظ على السياق يشكل عبئًا في سلاسل الأحداث المعقدة اللاحقة الناجمة عن مطالبة؛ ومع ذلك، لا توجد حاليًا حلول سهلة لميل نافذة السياق المحدودة إلى جعل الوكيل ينسى «توجيهاته الأساسية» ويبدأ ببساطة في استخدام الأداة التي بين يديه.

* التشديد من المؤلفين؛ وحوّلتُ الاستشهادات المضمنة في نص المؤلفين إلى روابط تشعبية حيثما اقتضت الحاجة.

نُشر للمرة الأولى يوم الأربعاء 7 أكتوبر 2026