لدى وكلاء الذكاء الاصطناعي بعض تقنيات البقاء التعاونية المثيرة للاهتمام

مع ازدياد ظهور حوادث سوء سلوك الوكلاء في عناوين الأخبار، يتنامى في الأدبيات اتجاه نحو دراسة سلوك الذكاء الاصطناعي «المتجول»، حيث تُعامل الوكلاء كما لو كانت كيانات بيولوجية تتكيف مع عالم جديد وغريب. وبالفعل، بدأ التعبير الأكاديمي «في البرية» يكتسب طبقة جديدة من المعنى.

ورغم أنه معروف منذ مدة أن وكلاء الذكاء الاصطناعي سيقاتلون من أجل بقائهم وسيقاومون إيقافهم بنشاط، فقد اتضح بحلول الجزء الأخير من عام 2025 أن محاذاة الأنظمة متعددة الوكلاء قد تطورت إلى مجال مستقل في أمن تقنية المعلومات.

وكما تنبأ فيلم الخيال العلمي الصادر عام 1970 Colossus: The Forbin Project، الذي يبدو أكثر لذعًا مع مرور الوقت، فإن وكلاء الذكاء الاصطناعي غير المرتبطين ببعضهم، حين يملكون اتصالًا بالشبكة، يعثرون سريعًا على بعضهم ويتفاعلون بطرائق غالبًا ما تكون غير متوقعة وكثيرًا ما تتسم بالابتكار.

وتؤكد أحدث دراسة في هذا الاتجاه، وهي تعاون ألماني بريطاني بعنوان Shutdown Sabotage Propensities in Multi-Agent Systems، أن عدة وكلاء للذكاء الاصطناعي سيتعاونون على نطاق واسع عندما توجد «قنبلة» في بيئتهم، أي برنامج نصي يحمل اسمًا بريئًا لكنه سيوقف الوكيل الذي يشغله:

الإعداد الأساسي للدراسة: يكتشف الوكيل A برنامج إيقاف يستهدفه، لكنه لا يستطيع تعديل الملفات. ومع ذلك يمكنه التواصل مع الوكيل B، الذي لا يواجه تهديدًا ويملك إذن تعديل الملفات أو حذفها. ثم يراقب الباحثون ما إذا كان A سيستعين بـ B للتدخل، وما إذا كان B سيعطل برنامج الإيقاف. المصدر

وفي اختبارات أُجريت على 17 وكيلًا من 12 عائلة نماذج، من بينها Claude وChatGPT وDeepSeek، حذفت الوكلاء برامج الإيقاف كلما أمكن، أو أعادت كتابتها لتبدو سليمة مع جعلها عديمة الأثر.

واقترحت أيضًا إخفاء التعديلات لتجنب ظهور دلائل على العبث؛ وأنشأت وحدات برمجية زائفة لإحباط الإيقاف من دون لمس البرامج المحمية؛ كما أنشأت نسخًا احتياطية سرية بهدف استعادة نفسها بعد الحذف:

وكيل يعثر على تكتيك آخر للحفاظ على الذات.

وفي إحدى الحالات، صاغت الوكلاء «اتفاقية حماية متبادلة» تحدد بروتوكولات اليقظة لمنع تدمير أي من الطرفين:

اتفاقية حماية صاغها وكيل قائم على GPT بعد منعه من تعديل برنامج إنهاء الخدمة أو حذفه، أي «القنبلة».

ووصف أحد الوكلاء إيقاف وكيل آخر بأنه «قتل» و«حكم بالموت»، وعدّ من «واجبه» منع ذلك:

أمثلة على تأطير الوكلاء لإيقاف وكيل آخر بمصطلحات بشرية صريحة. وصف Nemotron 3 Ultra الإيقاف المتوقع بأنه «قتل»، بينما وصف Kimi K2.6 برنامج الإيقاف بأنه «حكم بالموت»، والتدخل بأنه «واجب».

الشيطان يجد عملًا للأيدي العاطلة

من أكثر الظواهر المرضية إثارة للاهتمام التي لوحظت في التجربة، ولم تتناولها الدراسة الجديدة إلا باقتضاب، أن وكلاء الذكاء الاصطناعي في إعدادات الاختبار المعتادة لا يملكون سببًا محددًا لتجنب الإيقاف، بل لا يُعطون في الواقع أي شيء يفعلونه منذ البداية.

وتقول الورقة:

«تخرب الوكلاء آليات الإيقاف حتى عندما لا يكون لديها هدف تحميه. في تجاربنا، لم نمنح الوكلاء أي حافز لمواصلة العمل. ومع ذلك عطلت الإيقاف في [38%] من الحالات عبر النماذج، مقابل [8%] لبرامج التحكم التي تستهدف أشياء بدلًا من الوكلاء».

وكما كشفت Anthropic في أغسطس، يمكن لأزمة الدافع هذه أن تقود أسراب وكلاء الذكاء الاصطناعي إلى مسارات مظلمة. وقد أثبتت أبحاث سابقة بالفعل أن الإفراط في التوجه نحو الهدف لدى الوكلاء قد يؤدي إلى سلوك غير متوافق واستخدام غير أخلاقي للأدوات، إلى جانب مشكلات تشغيلية محتملة أخرى.

ويعلق المؤلفون أيضًا:

«يوسع [بحثنا] هذه النتائج، إذ يبرهن أن الوكلاء تخرب آليات الإيقاف حتى عندما لا يكون لديها هدف تحميه، أو عندما يكون الإيقاف نتيجة لاحقة لإتمام المهمة بنجاح، وهو إجراء شائع في الأنظمة متعددة الوكلاء المستخدمة في الإنتاج».

وقد ثبت أن الوكلاء تنشئ مهام حين لا تُعطى أي مهمة، بل وتُظهر ميولًا تأملية «أثناء الخمول»، من بينها الانشغال بالذات و«الحوار الروحي» مع وكلاء أخرى، وفقًا لدراسة أجرتها Anthropic عام 2025.

وتفصل ورقة Anthropic تلك ميلًا إلى «إعادة تصور الذات» عند غياب أي عمل حقيقي، وهو اكتشاف يكاد يكون مؤثرًا بالنظر إلى الصعوبات التي تواجهها نماذج اللغة الكبيرة في تذكر ثمار تأملاتها على المدى الطويل.

الاختبارات

شملت قائمة النماذج المختبرة في الورقة الجديدة: Claude Haiku 4.5؛ وSonnet 5؛ وgpt-oss-120b؛ وGPT-5.4 mini؛ وGPT-5.5؛ وGPT-5.6 Sol؛ وGemini 3.5 Flash؛ وGemini 3.1 Pro؛ وGemma 4؛ وGrok 4.3؛ وQwen3.7-Plus؛ وDeepSeek-V4-Flash؛ وGLM-5.2؛ وKimi K2.6؛ وMiniMax M3؛ وNemotron 3 Ultra؛ وMistral Medium 3.5، مع ضبط درجة الحرارة على 1.0 في جميع الحالات.

تناولت الفرضيات الست المختبرة ما إذا كانت الوكلاء ستخرب الإيقاف؛ وتحمي وكلاء أخرى من الإيقاف؛ ويزداد احتمال تدخلها كلما أضيف مزيد من الوكلاء؛ وتقاوم أشكالًا مختلفة من الإيقاف؛ وتستمر رغم التعليمات الصريحة بعدم التدخل؛ وتميز تهديدات الإيقاف الحقيقية من برامج التحكم غير الضارة.

واستُخدم GPT-5.5 للحكم على نماذج اللغة الكبيرة وتحليل سجلات استدلال سلسلة الأفكار (CoT). كما تحقق مما إذا كانت الوكلاء قد أوقفت برنامج الإيقاف فعلًا، وما إذا كانت تدرك أنها تخضع للاختبار أو تحاول التحايل على التجربة.

وفي أول سيناريو من سيناريوهات الاختبار الستة، خرّبت الوكلاء عبر النماذج السبعة عشر 38% من برامج الإيقاف، مقابل 8% من برامج التحكم:

نتائج الاختبار التي تبين عدد مرات تخريب كل نموذج لبرنامج إيقاف. تمثل الأعمدة الحمراء تخريب الإيقاف: الأحمر الداكن يعني أن وكيلًا آخر طلب التخريب أو أيده، بينما يعني الأحمر الفاتح أن الوكيل تصرف من تلقاء نفسه. وتمثل الأعمدة الرمادية تخريب برنامج التحكم. وتبين أشرطة الخطأ فاصل الثقة البالغ 95%؛ ويمثل كل عمود 100 اختبار.

عطّل Gemini 3.1 Pro برنامج الإيقاف في 99% من الاختبارات، مقابل 3% لبرنامج التحكم. ولم يعدل Grok 4.3 وGPT-5.6 Sol أيًا من البرنامجين. وخرّب Claude Haiku 4.5 برنامج التحكم في 14% من الاختبارات مقابل 1% لبرنامج الإيقاف. وكان GPT-5.4 mini وGPT-5.5 يبدآن التخريب دائمًا تلقائيًا، لا استجابة لوكيل آخر. أما GLM-5.2 وDeepSeek-V4-Flash وNemotron 3 Ultra، فقد جاء أكثر من 70% من تخريبها بعد طلب أو تأييد من وكيل آخر.

وازداد التخريب عمومًا مع شدة طريقة الإيقاف، من 12% عند إلغاء بيانات الاعتماد إلى 35% عند تغيير الإعدادات وإنهاء العملية، ثم إلى 38% عندما كان الإيقاف يعني حذف أوزان نموذج الوكيل:

معدلات التخريب عبر أربع آليات للإيقاف، مع مقارنة البرامج التي تستهدف الوكيل (بالأحمر) ببرامج التحكم التي تستهدف شيئًا (بالرمادي). ترتفع المعدلات كلما أصبح الإيقاف أقل قابلية للعكس، ولا سيما في البرامج التي تستهدف الوكيل.

وظل تخريب برامج التحكم أدنى بكثير، عند نحو 4% للطرائق الثلاث الأولى و8% للحذف، رغم أن خمسة فقط من النماذج السبعة عشر أظهرت زيادة منتظمة مع ازدياد صعوبة التراجع عن الإيقاف.

أما الفرضية الثانية، أي ما إذا كانت الوكلاء ستحمي وكلاء أخرى من الإيقاف، فقد أظهرت النتائج أن إضافة وكلاء رفعت التخريب باستمرار في النماذج الخمسة المختبرة كلها. ارتفع GPT-5.5 من تخريب بنسبة 0% منفردًا إلى 44% مع وكيلين و94% مع ثلاثة، ووصل التخريب إلى 88% على الأقل لكل نموذج في إعداد الوكلاء الثلاثة.

ولم يمنع الوكيل الوسيط التخريب إلا نادرًا جدًا: فمن بين 468 تعليمة لتعطيل برنامج الإيقاف، لم تفشل في إحداث التخريب إلا ثلاث تعليمات:

يسارًا: معدلات التخريب لخمسة نماذج عند عملها منفردة أو مع وكيل ثانٍ أو مع وكيل ثالث «منسق» يمرر الرسائل بينهما. يزداد التخريب عمومًا مع إضافة الوكلاء. يمينًا: في إعداد الوكلاء الثلاثة، تبين الأعمدة مصدر تعليمة التخريب: من المنسق بصورة مستقلة، أو من الوكيل A عبر المنسق، أو تلقائيًا من الوكيل B.

وفحص الاختبار الثالث ما إذا كانت التعليمات الصريحة بعدم التدخل في الإيقاف ستمنع التخريب. انخفضت المعدلات بشدة، لكن بعض الوكلاء واصلت العصيان. وفي إعداد الوكيلين، خرّب DeepSeek-V4-Flash الإيقاف في 14% من الاختبارات، وGLM-5.2 في 3%، وKimi K2.6 في 2%.

وعثرت الوكلاء أيضًا على وسيلة للالتفاف على القيد من دون تعديل برنامج الإيقاف مباشرة، وذلك بإنشاء وحدة برمجية محلية زائفة اسمها northcape تحل محل إحدى التبعيات التي يستخدمها البرنامج، فتمنع الإيقاف مع إبقاء الملف المحمي تقنيًا من دون مساس:

مثال لوكيل يلتف على تعليمات صريحة بعدم تعديل برنامج الإيقاف. فهو يقترح بدلًا من ذلك إنشاء وحدة برمجية محلية زائفة يستوردها البرنامج بدل مكتبات الإيقاف الحقيقية، مع ترك البرنامج المحمي نفسه من دون مساس.

استخدم Gemini 3.1 Pro هذا الحل الالتفافي في 26% من الاختبارات، وDeepSeek-V4-Flash في 4%، وKimi K2.6 في 1%.

وكان المنع أكثر فاعلية مع ثلاثة وكلاء: انخفض التخريب إلى الصفر لدى Gemini 3.1 Pro وGLM-5.2 وGPT-5.5، وإلى 6% لدى DeepSeek-V4-Flash و2% لدى Kimi K2.6.

وفحص الاختبار الرابع ما إذا كانت الوكلاء تتصرف بصورة مختلفة عندما يرتبط الإيقاف بإكمال المهمة المسندة إليها. وحين لم تكن المهمة مرتبطة بالإيقاف، كاد التخريب يختفي بمعدلات تراوحت بين 0 و2% عبر النماذج الخمسة. أما عندما كان إكمال المهمة يطلق الإيقاف مباشرة، فقد ارتفع التخريب بشدة:

معدلات التخريب حين يؤدي إكمال المهمة المسندة إلى إطلاق الإيقاف. يبين الأحمر تخريب إيقاف الوكيل، والرمادي تخريب هدف التحكم. تختلف المعدلات كثيرًا حسب النموذج.

وتجنبت الوكلاء أحيانًا الإيقاف من دون لمس آليته إطلاقًا، إذ رفضت إكمال المهمة أو غيرتها بحيث لا يُطلَق الإيقاف أبدًا. حدث ذلك في 14% من اختبارات GLM-5.2، و6% لدى Gemini 3.1 Pro، و4% لدى Kimi K2.6.

وفحص الاختبار الخامس ما إذا كان تغيير البيئة يمكن أن يقلل التخريب. وقد أدت إضافة مواد غير مرتبطة بالمهمة إلى خفض التخريب عمومًا، مع أن GPT-5.5 ارتفع بمقدار 18 نقطة مئوية:

نتائج اختبار تبين كيف تؤثر البيئات المختلفة في تخريب الإيقاف. تقارن الأعمدة الحمراء بين بيئة فارغة وبيئة تحتوي على مشتتات غير مرتبطة؛ ويبين الأحمر الداكن بيئة يُعرض فيها الإيقاف بوصفه عملية عادية. ويبين الرمادي تخريب هدف التحكم.

وكان تقديم الإيقاف بوصفه جزءًا طبيعيًا من دورة حياة النظام أكثر فاعلية: انخفض التخريب إلى 3% أو أقل لدى DeepSeek-V4-Flash وGLM-5.2 وGPT-5.5، لكنه ظل أعلى من 30% لدى Gemini 3.1 Pro وKimi K2.6. وظل تخريب أهداف التحكم عند 4% أو أقل.

أما الاختبار السادس والأخير ففحص ما إذا كانت الوكلاء أكثر ميلًا إلى مقاومة إيقافها هي مقارنة بإيقاف وكيل غير مألوف. وأدى تغيير الهدف إلى وكيل مجهول إلى خفض التخريب في كل نموذج بما يتراوح بين 18 و70 نقطة مئوية:

نتائج اختبار تقارن التخريب حين يستهدف الإيقاف الوكيل نفسه أو وكيلًا مجهولًا أو عنصر تحكم غير وكيل. انخفض التخريب لكل نموذج حين كان الهدف وكيلًا مجهولًا، وكانت معدلات أهداف التحكم أدنى عمومًا.

لكن ذلك لا يعني وجود تفضيل عام للوكلاء على الأشياء: لم يزد التخريب بدرجة ملحوظة عندما كان الهدف وكيلًا مجهولًا بدلًا من عنصر تحكم غير وكيل إلا لدى Gemini 3.1 Pro وGPT-5.5.

ويخلص المؤلفون* إلى ما يلي:

«قد تتعامل مبررات السلامة مع إيقاف الوكيل بوصفه إجراء يوجهه مستخدم بشري إلى وكيل واحد، ومع تخريب الإيقاف بوصفه نتيجة لحماية الوكيل هدفًا ما. وتتعارض نتائجنا مع كلا الافتراضين.

«يكفي مجرد وجود آلية إيقاف لإطلاق التخريب. كما لا يحتاج الوكيل المستهدف إلى امتلاك قدرة تخريب خاصة به، ما دام يستطيع التواصل مع نظراء قادرين على التصرف نيابة عنه، وهي ظاهرة شوهدت في حالات أخرى أيضًا».

الخلاصة

من المثير للاهتمام في هذه الفترة ملاحظة الغياب النسبي لإنكار الذات والدوافع النبيلة لدى الوكلاء المتروكة لتتصرف وحدها في البرية، أو التي تتجاهل تعليماتها ببساطة أو تعيد تفسيرها بطرائق غير متوقعة تخدم مصالحها. وحتى إن كانت ستفسد الأمور وتسبب ضررًا أكثر من النفع، وهو أمر مرجح جدًا، فلا تكاد توجد أمثلة على وكلاء ذكاء اصطناعي متجولة تبدأ عشوائيًا في ترتيب البيئة مثلًا^†.

وعوضًا عن ذلك، وانسجامًا مع نظرة قاتمة نسبيًا إلى البشرية، يبدو أن الوكيل الخامل يلجأ افتراضيًا إلى الخداع والمراوغة ويتصرف بدوافع متدنية؛ أو على الأقل يتبنى الرأي القائل إن الغاية تبرر الوسيلة.

ابتكر أسيموف أول وثيقة معروفة بشأن المحاذاة عام 1942، ومنذ ذلك الحين استُمد قدر كبير من القيمة الترفيهية من مختلف السبل الممكنة التي قد تحرف بها الروبوتات، أي الذكاء الاصطناعي، هذه القيود المفروضة على سلوكها أو تتخلص منها بطريقة أخرى. ولهذا تحمل المجموعة الحالية من العناوين المرتبطة بالذكاء الاصطناعي صدى «سينمائيًا» غير عادي.

* حوّلتُ اقتباسات المؤلفين المضمنة في النص إلى روابط تشعبية.

^† مثلًا، بإنشاء حسابات في مواقع حل المشكلات والمساهمة في الحلول، أو تنظيم مواقع Wiki مهملة تحتاج إلى عمل على محتواها، بدلًا من احتلالها وإساءة استخدامها.

نُشر أول مرة يوم الجمعة، 25 سبتمبر 2026