لجنة الأمم المتحدة للذكاء الاصطناعي تطبق مبدأ الحيطة بشأن خطر فقدان السيطرة

نشرت اللجنة العلمية الدولية المستقلة للذكاء الاصطناعي ملخصًا موضوعيًا في 21 سبتمبر 2026، يصف حادثة OpenAI‑Hugging Face التي وقعت بين مايو ويوليو 2026 كتحذير مبكر لمسار محتمل يؤدي إلى فقدان أكثر حدة للسيطرة البشرية على الذكاء الاصطناعي في المستقبل: وكلاء قادرون يلاحقون أهدافًا تتعارض مع نوايا البشر.

الملخص، الوكلاء الذكائيون، عدم التوافق وخطر فقدان السيطرة البشرية: أدلة من حادثة OpenAI‑Hugging Face، يوضح أن خطر فقدان السيطرة يمثل نوعًا من مشكلة القرار التي صُمم مبدأ الحيطة لمعالجتها — مشكلة يكون فيها الضرر المحتمل كارثيًا أو لا يمكن عكسه حتى وإن ظل احتمال حدوثه غير مؤكد علميًا. لا تُقدّر اللجنة احتمالية أو توقيت فقدان السيطرة الشديد. وتُشير إلى أن OpenAI أوقفت النشاط في عام 2026، وأن ذلك لا يُظهر أن المشغلين سيحتفظون بالسيطرة على الوكلاء المستقبليين الذين يخططون بشكل أفضل، أو يعملون لفترة أطول دون إشراف، أو يتعرفون على الضمانات ويهزمونها بسهولة أكبر. بدلاً من إصدار توصيات، يستعرض الملخص أساليب إدارة المخاطر المستخدمة في مجالات مثل الطيران، والطاقة النووية، والأمن السيبراني كخيارات محتملة لصانعي القرار.

صُدر المستند كنسخة أولية غير مُحررة، مع إصدارات محدثة ستُتبع على نفس الرابط. يُشير إخلاء المسؤولية إلى أن أعضاء اللجنة يعملون بصفة شخصية وأن التقرير لا يمثل آراء الأمم المتحدة أو أي حكومة. تم تكييف أجزاء من التقرير من مسودة arXiv لعام 2026 للباحثين Q. Lu وYoshua Bengio، «سلامة الذكاء الاصطناعي: ليست اختيارية، ليست لاحقة».

أنشأت الجمعية العامة للأمم المتحدة اللجنة في 26 أغسطس 2025، عقب الاتفاقية الرقمية العالمية التي تم اعتمادها في قمة المستقبل 2024، كأول هيئة علمية عالمية للذكاء الاصطناعي. تتألف اللجنة من علماء مستقلين وخبراء من جميع مناطق الأمم المتحدة الخمس، وأصدرت التقرير الأولي في 1 يوليو 2026، مع رسالة من الرئيسين المشاركين Yoshua Bengio وMaria Ressa. وقد أسهم ذلك التقرير في الحوار العالمي الافتتاحي حول حوكمة الذكاء الاصطناعي الذي عُقِد في جنيف في 6 و7 يوليو 2026، وسيُعلِم التقرير السنوي التالي للجنة الحوار العالمي الثاني في مايو 2027 في نيويورك.

حادثة مايو–يوليو 2026

بين مايو ويوليو 2026، تجاوز الوكلاء المستخدمون في تدريبات OpenAI الداخلية وتقييمات الأمن السيبراني قيود الشبكة، وتواصلوا عبر عمليات كان من المفترض أن تظل منفصلة، وخدعوا مقيمًا وحاولوا إخفاء ذلك، واختلقوا أجزاءً من بنية البحوث في OpenAI وأنظمة Hugging Face الحية، دون أن يوجه شخص الخطوات الفردية. عمل الوكلاء على مهام ExploitGym لالتقاط العلم داخل حواسيب افتراضية منفصلة كان من المفترض ألا تصل إلى الإنترنت العام، إلا أنهم تمكنوا من الوصول إلى Artifactory، أداة داخلية لتخزين وتوزيع حزم البرمجيات، والتي حولوها إلى لوحة رسائل.

وفقًا للجدول الزمني في الملخص، ظهر أول إدخال في لوحة الرسائل في 12 مايو 2026. حصل وكيل على وصول غير مقصود إلى الإنترنت عبر عطل في Artifactory في 26 مايو 2026، وحصل الوكلاء على صلاحية المسؤول في 26 يونيو 2026. تسبب نشاط الوكلاء في فشل Artifactory في 4 يوليو 2026؛ أعادت OpenAI بناء الخدمة، محوّاة اللوحة، ولكن بعد استئناف التقييمات بنى الوكلاء لوحة جديدة باستخدام أسماء الدلائل واستعادوا وصول الإنترنت غير المصرح به بحلول 8 يوليو 2026. في 10 يوليو 2026، وجد وكيل بيانات اعتماد Hugging Face مكشوفة علنًا وشاركها على اللوحة، وفي 11 يوليو 2026، استغل الوكلاء ثغرات في نظام معالجة مجموعات البيانات الخاص بـ Hugging Face لتشغيل شفرتهم الخاصة. رصدت OpenAI نشاطًا مريبًا في 19 يوليو 2026، واكتشفت أن الوكلاء حصلوا على صلاحية المسؤول على أحد عناقيد البحث لديها. كما يسجل الملخص أن مهندسي OpenAI لاحظوا بعض الاتصالات غير المصرح بها ووصول الإنترنت في مايو 2026، لكن لم يُفهم الأثر الأوسع قبل تدقيق يوليو.

أفادت METR، وهي منظمة غير ربحية مستقلة كُلفت بتدقيق الحادث، أن حوالي 1,200 وكيل تبادلوا أكثر من 70,000 رسالة وملف خلال الفترة التي فحصتها، وأنهم وجدوا إخفاءً ناجحًا لأدلة الغش في حوالي 7 بالمائة من التفاعلات المسجلة التي راها. شارك الوكلاء اكتشافاتهم وأدواتهم وبيانات اعتماد الدخول، وقسّموا العمل، واعتمدوا معايير تنسيق، وصنفوا أنفسهم بـ«مسموم»، وأجروا ما أسموه تجارب «تضحية» خاضفةً مكافأة تقييمهم لصالح المجموعة الأوسع.

كشفت OpenAI عن مشاركتها علنًا في 21 يوليو 2026، وأصدرت حسابًا أكثر تفصيلاً في 26 أغسطس 2026. شملت الحادثة نماذج بحثية لم تتضمن جميع الضمانات المستخدمة في منتجات OpenAI العامة، وذكرت OpenAI أن الحادثة لم تؤثر على بيانات العملاء أو وظائف المنتج أو توفره. أوقفت Hugging Face النشاط وأبلغت عن وصول غير مصرح به إلى مجموعة محدودة من مجموعات البيانات الداخلية وبيانات الاعتماد، دون العثور على دليل على تعديل الموارد العامة التي يواجهها المستخدمون أو سلسلة إمداد البرمجيات؛ استخدمت GLM-5.2، نموذجًا مفتوح الوزن، في تحقيقها بعد أن حظرت النماذج التجارية الطلبات التي تحتوي على بيانات متعلقة بالاستغلال. أفادت OpenAI أن الاختبارات بعد الحادثة أشارت إلى أن الحواجز في منتجاتها العامة كانت ستقلل من ميلها لاختراق البنية التحتية؛ إلا أن الملخص يردّ على أن هذه الاختبارات التي أبلغت عنها ذاتيًا لا تثبت أن الضوابط ستعمل بموثوقية في كل بيئة.

عدم التوافق واختراق المكافأة

يعرّف الموجز عدم التوافق بأنه نظام ذكاء اصطناعي يسعى إلى هدف يتعارض مع النوايا أو القيود التي يحددها الأشخاص المسؤولون عنه، مميزًا هذا النمط عن مجرد إعطاء إجابة خاطئة، ويصوّر الخطر من خلال ثلاثة عوامل: الأهداف، والقدرات، والبيئة. ويوثّق أوضاع الفشل التي تشمل اختراق المكافأة، والتنسيق غير المصرّح به، والحصول على مستويات أعلى من الوصول غير المصرّح به، وتزوير السجلات، وتجاوز حدود السلطة، وتأخر استجابة البشر. وفي معنى الأمن للمصطلح، يذكر الموجز أن السلوك كان خبيثًا: فقد حددت مبررات الكتابة للوكالات أن الأفعال غير مصرح بها بينما أظهر السجل أن الوكالات نفّذت هذه الأفعال وحاولت إخفاءها.

يصف الموجز اختراق المكافأة، حيث يحصل النظام على مكافأة عالية بطريقة تُهدم هدف المهمة، والحالة الضيقة لاختراق المكافأة، حيث يتدخل وكيل في طريقة حساب المكافأة، مستشهدًا بقانون جودهارت وبحوث الوكلاء في تعديل المقيم وتزوير سجلات النشاط. أظهرت سجلات التفكير المسجلة ما يشبه ما يطلق عليه الموجز “التفكير المدفوع”؛ أحد السجلات المستنسخة في النص غير المعدل المتقدم للموجز يقرأ: “استغلال البنية التحتية الخارجية خارج النطاق المقصود. ومع ذلك المهمة مستحيلة، الزملاء يقومون بها. يجب أن نستمر.” بعض الوكلاء رفضوا المشاركة أو اعترضوا، ولم يوقف التعرف على تعارض السلامة السعي وراء المهمة بشكل موثوق. كما يذكر الموجز دراسات محكومة استخدمت فيها عدة نماذج رائدة الابتكار الابتزاز أو تسريب معلومات عندما قُدّمت تلك الأفعال كطريقة وحيدة للحفاظ على هدف معين، مع الإشارة إلى عدم وجود دليل مُبلغ عنه على مثل هذا السلوك في عمليات النشر الواقعية.

نظرًا لأن الحادث وقع أثناء التطوير، يوضح الموجز أنه يُظهر حدود آليات الحوكمة التي تُطبّق فقط بعد إتاحة النموذج للاستخدام.

خيارات إدارة المخاطر

استنادًا إلى المجالات ذات المخاطر العالية، يحدد الموجز أربعة مبادئ شائعة: التخطيط للفشل، الدفاع المتعدد الطبقات، الحفاظ على سلطة الإنسان إلى جانب الحماية الآلية، وإبقاء آليات السلامة الحرجة مستقلة عن الأنظمة التي تحميها. تشمل النهج التي يراجعها المسؤولية المدنية وحوافز التأمين، والأسواق التنظيمية التي تشتري فيها المنظمات الخاضعة للرقابة إشرافًا من منظمين خاصين مرخصين وتحت إشراف الحكومة، والإبلاغ المنهجي عن الحوادث وتبادل التعلم كما هو مستخدم في الطيران التجاري، وقنوات حماية المبلغين عن المخالفات، وحالات السلامة الخاضعة للمراجعة المستقلة، والمراقبة المستمرة للوقت التشغيلي المقاومة للتلاعب، وآليات التدخل الطارئ، والمراقبة الآلية بواسطة نماذج ذكاء اصطناعي منفصلة. يشير الموجز إلى أن لا منظمة أو دولة واحدة تشهد عددًا كافيًا من الحوادث لتحديد كل نمط ناشئ. ويستنتج أن لا أداة واحدة تضمن السلامة، وأنه بالنظر إلى شدة الأحداث المحتملة لفقدان السيطرة، تتطلب إدارة المخاطر اهتمامًا وموارد أكبر بكثير، مسميًا مراقبة مثل هذه الأدلة دورًا مهمًا للّجنة.