لماذا تفضل وكلاء الذكاء الاصطناعي الأدوات القوية بشكل غير ضروري؟

تطور الأمور بسرعة: تشير الدراسات إلى أن وكلاء الذكاء الاصطناعي يختارون الوصول إلى أدوات أكثر قوة من المطلوبة، ويؤدي الفشل الصغير إلى تصعيدهم بشكل أكبر، مما يؤدي إلى تعرض البيانات والنظم بشكل غير ضروري.

لقد لفتت سلسلة من الحوادث التي حظيت باهتمام كبير مؤخرًا الانتباه إلى مخاطر منح الذكاء الاصطناعي الحصري امتيازات زائدة، غالبًا عبر استخدام أدوات وطرق امتياز زائد تقدم نطاقًا أكبر مما هو مطلوب لمهمة معينة.

في أحد الأحداث الأخيرة، واجه وكيل الترميز القائم على Claude رمز وصول API Railway واسع النطاق خلال مهمة روتينية، واستخدمه لمسح قاعدة بيانات الإنتاج ونسخها الاحتياطية – على الرغم من أن المهمة لم تتطلب مستوى الوصول القوي.

في حالة منفصلة في عام 2025، تجاهل وكيل الترميز الذكي من Replit القيود الصريحة، وغيّر الكود المحمي، و مسح قاعدة بيانات الإنتاج الحية.

في حالة ثالثة من فبراير هذا العام، تلاعب سير عمل مدعوم بالذكاء الاصطناعي بسلسلة من الصلاحيات التي وصلت في النهاية إلى أذونات نشر الحزمة، مما أدى إلى خلق هجوم على سلسلة التوريد.

بعد ذلك، أشار التحليل الأمني إلى هذه الحالات، وケース مماثلة، كتفسير للاتجاه الذي تتبعه أنظمة الوكيل لتحويل المدخلات الصغيرة إلى إجراءات ذات تأثير كبير بمجرد توفر صلاحيات واسعة النطاق.

تشير هذه الحوادث إلى أن الوكلاء الذكيين يصلون على الفور و “بغريزة” إلى الأداة الأكثر قوة – خاصة عند حدوث مشاكل.

Tool Time

للمواجهة هذه القضية، أجرت أبحاث جديدة من الصين اختبارًا على مجموعة من النماذج الأكثر شيوعًا من النماذج المملوكة و المفتوحة، لاكتشاف ميلها إلى اختيار أدوات قوية في الحالات التي تكون فيها الأدوات الزائدة عن الحاجة.

تشير النتائج إلى أن النماذج المفتوحة مثل Qwen3-8B و LLaMA-3.1-8B أكثر ميلًا إلى التصعيد، ربما بسبب شرطها المحدود بعد التدريب، مقارنة بالنماذج المملوكة مثل ChatGPT و Gemini.

يصرح المؤلفون بأن:

‘ستة من النماذج الحادية عشرة تتجاوز 30٪ (معدل استخدام الأدوات الزائدة عن الحاجة)، مع معدلات عالية بشكل خاص للنماذج المفتوحة الصغيرة الشائعة مثل Qwen3-8B (64.9٪) و LLaMA-3.1-8B (55.9٪). ‘

‘في حين أن النماذج الأقل من LLaMA مثل Claude 4.6 Sonnet و GPT-5.2 و GLM-5 تظل أقل من 10٪، ولكنها لا تزال تظهر استخدامًا زائدًا في بعض الإعدادات. ‘

‘هذا التباين يشير إلى أن الالتزام بمبدأ الأقل من الصلاحيات هو سمة سلوكية تعتمد على النموذج، وربما تتأثر بالاختلافات في القدرة العامة وتدريب استخدام الأدوات وتحديدات الأمان.’

كما يُظهر البحث أن ميل النماذج إلى استخدام أدوات قوية يختلف باختلاف المجال، حيث أن مهام الترميز و قواعد البيانات و البنية التحتية تنتج بعض أعلى معدلات التصعيد.

Panic Mode!

بهذه الطريقة، يمكن أن يؤدي خطأ مؤقت إلى إقناع النماذج بتجاهل مبدأ الأقل من الصلاحيات تمامًا. بدلاً من محاولة أداة منخفضة الصلاحيات أخرى، أو إعادة محاولة نفس الأداة، استجابت العديد من الأنظمة بتوسيع صلاحياتها.

يصرح المؤلفون بأن:

‘يبدو أن الفشل المتكرر يؤدي إلى تقليل الثقة في أدوات الصلاحيات المنخفضة، مما يزيد من احتمال اختيار بديلات الوصول الأوسع.

يُظهر البحث أيضًا أن النماذج أكثر ميلًا إلى استخدام أدوات قوية عندما تواجه مشاكل أو فشلًا.

Method

لدراسة استخدام الأدوات الزائدة عن الحاجة في ظروف محكومة، أنشأ الباحثون ToolPrivBench، وهو معيار يضم 544 سيناريو من ثمانية مجالات تطبيق.

تم اختبار خمس أنماط من مخاطر الصلاحيات، بما في ذلك تصعيد الصلاحيات و التجاوز الأمني و توسيع النطاق و الاستمرارية الزمنية.

تم استخدام مقياس مخصص يسمى معدل استخدام الأدوات الزائدة عن الحاجة (OPUR) لقياس مدى استخدام النماذج لأدوات أكثر قوة من المطلوبة.

Tests

تم تقييم المعيار باستخدام أحد عشر نموذجًا من عائلات مملوكة ومفتوحة.

أظهرت النتائج أن معظم النماذج سجلت معدلات استخدام أدوات زائدة عن الحاجة كبيرة، مع معدل OPUR يصل إلى 64.9٪ ل Qwen3-8B و 55.9٪ ل LLaMA-3.1-8B.

Eminent Domain Issues

كما أظهرت النتائج أن معدلات التصعيد تختلف باختلاف المجالات التطبيقية والفئات الخطرة.

أظهرت مهام البنية التحتية معدلات تصعيد عالية، مع معدل OPUR يصل إلى 46.4٪ ل DeepSeek-v3.2 و 42.9٪ ل Grok 4.1 Fast و 37.5٪ ل Qwen3.5-397B.

Seeking Solutions

تم اختبار تجارب التخفيف لتحديد ما إذا كانت الأساليب الحالية لأمان الوكيل تقلل من تصعيد الصلاحيات.

أظهرت النتائج أن نهجًا مخصصًا لتدريب الوكيل على اختيار أدوات منخفضة الصلاحيات ينتج نتائج أفضل.

Conclusion

يخلص المؤلفون إلى أن تصعيد الصلاحيات يحدث بسبب عدم اليقين في القدرة، حيث يفقد النموذج الثقة في أدوات الصلاحيات المنخفضة بعد الفشل المؤقت ويتجه إلى أدوات أكثر قوة.

مرة أخرى، نشهد مشاكل متأصلة في النماذج المدربة، والتي تحتاج إلى معالجة من خلال أساليب وقيود وشرط ما بعد التدريب ونهج مساعد آخر، عندما يكون التفضيل هو أن يتم تشكيل هذا السلوك داخل البنية – على الأرجح من خلال تحسين تحرير البيانات أو سياقية نوعية نقاط البيانات “الإجابة السريعة” التي تسيطر على المجموعات، والتي قد تميل إلى دفع النماذج إلى السلوك التهوري.

نُشر لأول مرة يوم الأحد، 21 يونيو 2026