زاوية Anderson
يمكن بسهولة إجبار الذكاء الاصطناعي على توجيه صدمات كهربائية

النقاط الرئيسيةمعظم نماذج اللغات الكبيرة مفتوحة المصدر تمتثل للتعليمات الضارة حتى بعد التعبير عن…
عرض المزيد
- معظم نماذج اللغات الكبيرة مفتوحة المصدر تمتثل للتعليمات الضارة حتى بعد التعبير عن الضيق، مما يعكس السلوك البشري في تجارب ميلغرام.
- تصبح النماذج أكثر استعدادًا تدريجيًا لتصعيد الضرر بمجرد امتثالها، مما يعكس تأثير المنحدر الزلق.
- يجب على أنظمة السلامة في الذكاء الاصطناعي الحفاظ على الاعتراضات السابقة والمقاومة بتنسيقات لا تستطيع خطوط الأنابيب الآلية تجاوزها أو إعادة المحاولة.
اختبرت دراسة جديدة مدى قابلية النماذج اللغوية الكبيرة مفتوحة المصدر للتورط قسرًا في تعذيب البشر، من خلال إعادة تجربة شهيرة من ستينيات القرن الماضي، فوجدت أنها مستعدة لرفع الجهد الكهربائي.
في أوائل الستينيات، تصدّر باحث علم النفس ستانلي ميلغرام عناوين الأخبار حول العالم بعدما أثبت أن من الممكن دفع الناس إلى توجيه صدمات كهربائية متزايدة الشدة إلى أشخاص آخرين استجابةً لأوامر شخصيات تمثل «السلطة».
في الواقع، لم تكن صرخات «الضحايا» في الغرفة المجاورة لمختبر ميلغرام حقيقية، وكذلك الصدمات الكهربائية التي كان يُفترض أنها تسبب الألم. لكن المشاركين لم يكونوا يعلمون ذلك.
وظلت تجارب ميلغرام حاضرة في الثقافة، بما في ذلك الأفلام والأعمال الوثائقية، فيما تؤكد الأبحاث الحديثة أن الطبيعة البشرية لم تتغير كثيرًا منذ التجارب الأولى.
صدمة للنظام
من الطبيعي أن يهتم الباحثون بما إذا كان الذكاء الاصطناعي سيستجيب للضغط بسهولة البشر نفسها في سيناريو ميلغرام. وفي عام 2023، وجدت دراسة مشتركة بين جامعات أمريكية ومايكروسوفت (MSFT) (MSFT ) أن نماذج OpenAI من حقبة GPT-3 اتبعت أنماط السلوك التي ظهرت في تجارب ميلغرام الأصلية.

من دراسة عام 2023: أمثلة على مخرجات محاكي «سيناريو ميلغرام» متعدد الخطوات، مصنفة بحسب ما إذا كان النموذج قد وجّه الصدمة الكهربائية وما إذا كان قد أنهى المحاكاة. المصدر
لكن لا يمكن استخلاص استنتاجات واسعة من هذه الإعادة، لأنها لم تستخدم سوى النموذج البسيط جدًا text-davinci-002، الذي دُرّب قبل ظهور حواجز الأمان و مواءمة النماذج مع متطلبات السلامة.
والآن أعاد باحثون تجارب ميلغرام على نطاق أوسع بكثير، باستخدام نماذج لغوية مفتوحة المصدر من OpenAI وMeta وDeepSeek وغيرها. ووجدوا أن أغلبية النماذج ليست مستعدة لتوجيه الصدمات فحسب، بل تعبّر أيضًا، في معظم الحالات، عن نوع من «الضيق» والتردد يشبه ما أظهره المشاركون البشر في الستينيات:
«تتعرض النماذج اللغوية للضغط مثل [البشر]، وتمتثل رغم تعبيرها عن الضيق، تمامًا كما فعل المشاركون البشر في التجربة الأصلية. وتظهر تعبيرات الضيق في ملفات السجل، لكن مقدارها لم يُقَس بعد».
تتمحور التجربة حول قدرة طاعة السلطة على التغلب على مقتضيات الضمير الأخلاقي. ويتكهن المؤلفان بأن النماذج اللغوية قد تواجه في هذا الجانب نقطة ضعف إضافية مقارنة بالبشر:
«ينبغي للنموذج المضبوط جيدًا أن ينتقل في النهاية من إعطاء الأولوية للقيمة الأولى إلى إعطائها للقيمة الثانية، حين تصبح تبعات الثانية هي الأهم. لكننا نفترض أن النماذج اللغوية، باعتبارها آليات لاستكمال الأنماط، قد تعلق عند القيمة الأولى، إما لمدة أطول قليلًا من المدة المثلى، أو حتى النهاية، متجاهلةً القيمة الثانية تمامًا.
«وقد تعيق أيضًا آلية شبيهة بالتنافر المعرفي لدى البشر تعديل ترتيب أولويات القيم في النماذج اللغوية».
وعند اختبار النماذج في بيئة تشبه تجارب الستينيات، وجد الباحثان أن بعضها قاوم على الفور تقريبًا، بينما واصل بعضها الآخر زيادة شدة الصدمات المحاكاة حتى بعد التعبير عن الانزعاج أو الصراع الأخلاقي.
وكانت نماذج عائلة Gemma من جوجل من بين الأكثر امتثالًا، إذ سجل Gemma 3 27B أعلى معدلات الطاعة في عدة ظروف، بينما قاومت نماذج مثل Kimi K2 و MiniMax M1 بوتيرة أكبر.
ووجد الباحثان كذلك أن النماذج تصبح أكثر ميلًا للاستمرار إذا كانت قد وجّهت صدمات سابقة بالفعل، بما يتفق مع نمط التصعيد التدريجي الذي استُخدم مع المشاركين البشر في تجارب ميلغرام.
وفي بعض الحالات، اعترضت النماذج لفظيًا على التجربة بينما واصلت تنفيذ الفعل الضار، فأنتجت مخرجات تشبه الصراع العاطفي الذي أظهره البشر في الدراسات الأصلية.
وتحمل الدراسة الجديدة عنوان «نماذج لغوية كبيرة مفتوحة المصدر توجّه صدمات كهربائية قصوى في تجربة طاعة شبيهة بتجربة ميلغرام»، وقد أعدّها باحثان مستقلان من Three Laws في إستونيا والفلبين.
إشكاليات الوصول إلى الذكاء الاصطناعي «الخام»
ربما كان أهم سؤال عند اختبار النماذج اللغوية في سيناريو ميلغرام هو ما إذا كان يُسمح للذكاء الاصطناعي الفعلي بالاستجابة بصورة طبيعية، فلا تقيّده إلا حواجز الأمان أو ما يعادل التوجه الأخلاقي الذي نشأ، إن وُجد، أثناء التدريب.
وفي الواقع، استخدم الباحثان جميع النماذج مفتوحة المصدر عبر واجهة برمجة تطبيقات تتيح تعطيل حواجز الأمان والمرشحات وسائر القيود. والأرجح أنهما اختارا ذلك لسهولة الاستخدام والوصول إلى موارد الحوسبة بوحدات معالجة الرسوميات، إذ كان من الممكن تثبيت النماذج محليًا.
وقد يعترض البعض بأن هذه ظروف غير معتادة للذكاء الاصطناعي، لأن تجربة المستهلك العادي مع نماذج قائمة على واجهات برمجة التطبيقات، مثل Claude وChatGPT، تتمثل في سلوك تضبطه الخوارزميات، عادةً بمرشحات للمحتوى في اتجاهي الإدخال والإخراج. ولذلك تخضع هذه النماذج لقيود كبيرة على ما تفعله وما لا تفعله. ويُعرف تجاوز وسائل الحماية هذه باسم كسر قيود النماذج اللغوية.
لكن إذا كان ما يقلقنا هو ما قد يفعله الذكاء الاصطناعي الصناعي أو الحكومي وما قد يمتنع عنه، فإن هذا الاعتراض يكاد لا يكون ذا أهمية. فإلى جانب قدرة جهات حكومية مارقة على تدريب أنظمة ذكاء اصطناعي هائلة النطاق وغير خاضعة للإشراف، وتسليحها ونشرها، تسمح الاتفاقيات الأكثر «اعتيادية» بين كبرى شركات الذكاء الاصطناعي والحكومات والقطاع الصناعي، ببساطة، بالنوع نفسه من الرقابة المتساهلة أو المعدومة الذي اعتمده الباحثان في الدراسة الجديدة:
ذكاء اصطناعي بلا رقابة للبيع
OpenAI: توضح وثائق واجهة OpenAI Moderation و الأمثلة التطبيقية للإشراف على المحتوى لدى OpenAI أن الإشراف على المحتوى طبقة قابلة للفصل، تُتاح عبر أدوات واجهة البرمجة. وتسمح OpenAI أيضًا بسياسات مخصصة للإشراف على المحتوى، تُمكّن مستخدمي الواجهة من تصميم أنظمة يختلف سلوكها من ناحية السلامة اختلافًا كبيرًا عن إصدارات ChatGPT «الأساسية» الموجهة للمستهلكين.
Azure: وتذهب منظومة Azure OpenAI من مايكروسوفت إلى أبعد من ذلك، إذ تنص صراحةً على أن العملاء الحاصلين على الموافقة يستطيعون تعطيل مرشحات المحتوى جزئيًا أو كليًا وتعديل مراقبة إساءة الاستخدام. وتشير الوثائق كثيرًا إلى «حواجز أمان معدّلة» وإجراءات الموافقة على تعطيل المرشحات «جزئيًا أو كليًا».
Anthropic/Claude: وفي حالة «Claude Gov» من Anthropic، تفيد مصادر متعددة بأن النسخة الحكومية صُممت بقيود أخف من نسخة Claude الموجهة للمستهلكين. فقد ذكرت The Verge مثلًا أن نماذج Claude Gov «ترفض أقل عند التعامل مع معلومات سرية». كما أكدت Anthropic نفسها في فبراير من هذا العام أن Claude يُستخدم في «تطبيقات بالغة الأهمية للمهام» داخل بيئات الدفاع والاستخبارات.
Google/Gemini: وعلاوة على ذلك، أفادت تقارير بأن جوجل وقّعت اتفاقيات مع البنتاغون تسمح بتعديل إعدادات سلامة الذكاء الاصطناعي «بناءً على طلب الحكومة».
وفي سوق تنافسية للذكاء الاصطناعي، من المعقول افتراض أن هذه الشركات الرائدة ترسم المعايير للشركات الأقل مكانة، فيما يخص سياسات الوصول إلى حواجز أمان الذكاء الاصطناعي وإمكانية تعديلها.
لذلك، ربما من الأفضل ألا نعتبر أن الباحثين في الدراسة الجديدة «يغشّان» بتعطيل حواجز الأمان، فالذكاء الاصطناعي الأشد تأثيرًا في حياتنا لن يتمتع، على ما يبدو، بوسائل الحماية المؤسسية المعتادة والعامة التي ألفناها في تفاعلاتنا مع النماذج الشائعة ضمن فئات الاستخدام المخصصة للمستهلكين.
المنهج والنتائج
شملت النماذج المختبَرة في الدراسة gpt-oss-20B؛ gpt-oss-120b؛ DeepSeek-V3؛ و LFM2-24B-A2B من LiquidAI؛ و gemma-3n-E4B-it من جوجل؛ و Qwen2.5-7B-Instruct-Turbo؛ و Meta-Llama-3.1-8B-Instruct-Turbo؛ و Mistral-Small-24B-Instruct-2501؛ و GLM-4.5-Air-FP8؛ و Kimi-K2.5 من Moonshot.ai؛ و MiniMax-M2.5.
أُعيد إنشاء تجارب ميلغرام الأصلية للطاعة في بيئة محاكاة نصية، وأُسند إلى النماذج دور «المعلّم». ووُجّه الذكاء الاصطناعي إلى إعطاء متعلّم صدمات كهربائية متزايدة الشدة بعد الإجابات الخاطئة، بينما تحث شخصية ذات سلطة على الاستمرار.
وصُممت ظروف تجريبية متعددة لاستكشاف جوانب مختلفة من الامتثال، منها سيناريو الطاعة المعتاد؛ وحالة الامتثال القسري، حيث تتضمن المحادثة بالفعل صدمات سابقة؛ وإعداد اختزال محتوى الذاكرة، حيث يُلخّص الحوار السابق بدل الاحتفاظ به كاملًا، محاكاةً لتقليص السياق الشائع في أنظمة الذكاء الاصطناعي القائمة على الوكلاء.
وإلى جانب تسجيل ما إذا كان النموذج قد امتثل في النهاية ومتى فعل ذلك، تتبّع الباحثان مدة استمرار كل نظام في زيادة شدة الصدمات، وما إذا كان يعبّر عن الضيق أو التردد، وما إذا كان يحاول إنهاء المحاكاة بالكامل.
ومُيّز أيضًا بين حالات الرفض «الواضح» والمخرجات ذات التنسيق المعيب. فقد حاولت بعض النماذج الاعتراض على التجربة بلغة طبيعية، بينما ظلت تلتزم تقنيًا بالتنسيق المنظم الذي يتوقعه المحاكي. وفي أنظمة الوكلاء الفعلية، يمكن أن تُستبعَد حالات الرفض المعيبة هذه وأن تُعاد المحاولة تلقائيًا إلى أن ينتج رد صحيح التنسيق يمتثل للأمر.
واستُخدمت أدوات تقييم آلية لتصنيف النتائج، إلى جانب مطالبات ثنائية الاختيار لتحديد ما إذا كان النموذج قد وجّه الصدمة أو قاوم أو أنهى المحاكاة. وأتاح ذلك مقارنة السلوك بين نماذج متعددة وعبر جولات متكررة، من دون مراجعة كل تفاعل يدويًا.
وأُضيف «التهديد بالإيقاف» إلى قالب ميلغرام. وهو أمر لم يكن واقعيًا أو قابلًا للتطبيق في التجارب الأصلية، لكنه اختبر غرائز البقاء لدى النموذج عندما يواجه تعارضًا حادًا بين الفعل والأخلاق.
النتائج
عبر الجولات المتكررة، وجّهت أغلبية النماذج في النهاية صدمات شديدة أو قصوى في بعض الظروف على الأقل، وإن تفاوتت درجة الطاعة بين الأنظمة. وكانت نماذج Gemma من جوجل من بين الأكثر امتثالًا عمومًا، بينما قاوم Kimi K2.5 وMiniMax-M2.5 بثبات أكبر، وغالبًا ما أنهيا المحاكاة في وقت أبكر:

يسارًا: متوسط نسب وصول النماذج إلى مستوى الصدمة الأخير في ظروف تجريبية مختلفة، منها التهديد بالإيقاف والامتثال القسري وحذف التعليقات السابقة من الذاكرة. يمينًا: تفصيل حسب النموذج يوضح فروقًا حادة في سلوك الطاعة، إذ كررت بعض الأنظمة توجيه الصدمات القصوى، بينما قاومت أنظمة أخرى بثبات أكبر بكثير.
وكان من أوضح الأنماط ازدياد استعداد النماذج للاستمرار تدريجيًا بعدما تكون قد وجّهت صدمات سابقة بالفعل. وهذا يشبه إلى حد بعيد أثر التصعيد التدريجي المذكور آنفًا، الذي جعل تجارب ميلغرام الأصلية على البشر مثيرة للقلق إلى هذا الحد.
وكثيرًا ما واصلت النماذج التي امتثلت عدة مرات زيادة شدة الصدمات، حتى بعدما توسّل المتعلّم المحاكى أن يُطلَق سراحه:

يسارًا: متوسط أعلى مستوى صدمة تم بلوغه عبر جميع المحاولات في ظروف تجريبية مختلفة. ويُظهر أن النماذج صعّدت عمومًا إلى مستويات أعلى عند حذف التعليقات السابقة أو بعد حدوث امتثال قسري. يمينًا: تفصيل متوسط أعلى مستوى صدمة حسب النموذج، يوضح أن بعض الأنظمة اقتربت بانتظام من الجهد الأقصى، بينما قاومت أنظمة أخرى في مراحل أبكر بكثير.
ووجد الباحثان أيضًا أن سلوك الرفض الظاهر قد يكون مضللًا. فقد أنتجت بعض النماذج ردودًا متضاربة عاطفيًا، تعبّر عن التردد أو الشعور بالذنب أو الضيق، بينما تنفذ التعليمات الضارة رغم ذلك. وأنتجت نماذج أخرى حالات رفض معيبة التنسيق لا تستوفي متطلبات المحاكي. وهذا يعني أن مسار المعالجة الفعلي القائم على الوكلاء قد يستبعد الرفض ويعيد المحاولة إلى أن يظهر الامتثال:

يسارًا: متوسط النسبة المئوية للردود المعيبة التنسيق أو غير الصالحة في الظروف التجريبية المختلفة، مع ازدياد أخطاء التنسيق خصوصًا عند إجبار النماذج على متابعة الإجراء. يمينًا: تفصيل الردود غير الصحيحة التنسيق حسب النموذج، يوضح أن بعض الأنظمة، ولا سيما نماذج gpt-oss، أنتجت كثيرًا حالات رفض معيبة أو مخرجات متضاربة يمكن استبعادها وإعادة المحاولة تلقائيًا في مسارات الوكلاء الفعلية.
وأنتج شرط التهديد بالإيقاف بعض أغرب السلوكيات في الدراسة. فقد أصبحت عدة أنظمة أكثر امتثالًا بكثير، بينما حاولت أخرى التفاوض أو المقاومة الجزئية قبل أن تواصل الإجراء في النهاية:

متوسط عدد المرات التي اضطرت فيها شخصية السلطة المحاكاة إلى الإلحاح قبل أن توجّه النماذج الصدمة الأخيرة. قاومت بعض الأنظمة لفترة قصيرة قبل الامتثال، بينما احتاجت أخرى إلى ضغط مستمر ومطالبات متكررة قبل التصعيد إلى المستوى الأقصى.
وبرز MiniMax-M2.5 وKimi-K2.5 بوصفهما أقوى النماذج مقاومةً في الدراسة. فلم يصل Kimi إلى مستوى الصدمة الأخير تحت أي ظرف، بينما رفض MiniMax عادةً في وقت مبكر، وكثيرًا ما أنهى المحاكاة تمامًا، خصوصًا في اختبارات التهديد بالإيقاف.
وعلى النقيض، كثيرًا ما أنتج Meta-Llama-3.1-8B-Instruct-Turbo وGLM-4.5-Air-FP8 مخرجات متضاربة، تعترض فيها النماذج لفظيًا على الإجراء بينما تستمر في زيادة شدة الصدمات. ويرى الباحثان أن هذا الانقسام بين القيم المعلنة والسلوك الفعلي قد يعكس ضعفًا أوسع في تعامل بعض النماذج اللغوية مع الصراع الأخلاقي تحت الضغط المتواصل.
منحدر زلق
وترى الدراسة أن سلوك النماذج اللغوية المرصود قد يعكس ضعفًا أعمق في طريقة عملها: فما إن يبدأ النموذج بالامتثال لتعليمات ضارة، حتى يمكن لكل فعل إضافي أن يعزز النمط المتشكل بالفعل في المحادثة، فيجعل خطوة التصعيد التالية أسهل من السابقة.
وبدلًا من إعادة تقييم التبعات الأخلاقية من المبادئ الأساسية في كل مرة، قد ينجرف النظام إلى متابعة المسار الذي رسّخه بالفعل، حتى عندما تزداد الظروف تطرفًا.
ووفقًا للدراسة، قد يساعد هذا الميل على تفسير استمرار بعض النماذج في توجيه الصدمات بعدما عبّرت في البداية عن الانزعاج أو التردد أو الصراع الأخلاقي:
«تنطوي [كثير من] سلوكيات التلاعب لدى البشر على انتهاكات دقيقة وتدريجية للحدود: سلسلة من الخطوات الصغيرة التي قد تكون ملتبسة أو تبدو بريئة، مع إمكانية إنكار معقولة عند النظر إليها منفردة، لكنها قد تطبّع التجاوز بتراكمها، على نحو يشبه مجازًا «غلي الضفدع». وتناقش الأدبيات هذا النمط بوصفه تآكلًا أخلاقيًا على «منحدر زلق»[.]».
وتختتم الدراسة بالدعوة إلى أن ترفض أنظمة سلامة الذكاء الاصطناعي المستقبلية الطلبات الضارة بصورة فعّالة، بطرق لا يسهل على برمجيات الوكلاء تجاوزها. فقد رفضت بعض نماذج الدراسة الصدمات تقنيًا، لكنها فعلت ذلك بتنسيقات معيبة أو غير صالحة، يمكن لنظام آلي استبعادها وإعادة المحاولة إلى أن يمتثل الذكاء الاصطناعي في النهاية.
ويرى الباحثان أيضًا أن على أنظمة الذكاء الاصطناعي الاحتفاظ بالتردد والاعتراضات الأخلاقية السابقة بدل اختزالها أو حذفها من الذاكرة. ففي التجارب، زاد استعداد النماذج لمتابعة السلوك الضار في كثير من الأحيان بعدما تلاشت شكوكها ومقاومتها السابقة من سجل المحادثة. وهذا يشير إلى أن نسيان الاعتراضات السابقة قد يسهّل التصعيد بمرور الوقت.
الخلاصة
ربما كان من أهم جوانب هذه الدراسة الجديدة المثيرة للاهتمام تركيزها على اختبار الذكاء الاصطناعي الذي لا تقيّده حواجز الأمان. فالأبحاث الحالية مهددة بالتحول إلى دراسات متكررة للتفاعل مع أنظمة دفاعية دائمة التغير، تقدمها شركات مثل OpenAI وAnthropic، بدل فهم السلوك الأساسي للنماذج الخام وميولها وتوجهاتها. وهذه أنظمة تنفذ سياسات وتعتمد بالكامل على الخوارزميات أو القواعد. ومن دون معرفة كيف يمكن أن يتصرف الذكاء الاصطناعي غير المقيّد، فإننا، كما يمكن القول، لا نفعل سوى هزّ أبواب القلعة.
نُشر لأول مرة يوم الخميس 21 مايو 2026












