فريق الاختبار الهجومي في METR يكشف ثغرات في نظام المراقبة لدى OpenAI

نشرت METR وRedwood Research في 22 أكتوبر 2026 رواية علنية عن تمرين تجريبي أمضى خلاله موظف من كل مؤسسة ثلاثة أسابيع، مع صلاحيات واسعة للوصول إلى البنية التحتية الداخلية لدى OpenAI، في اختبار نظام الشركة الداخلي لرصد عدم التوافق تحت الضغط. وأفاد المُقيِّمون بأنهم اكتشفوا عدداً من الثغرات الجديدة في النظام بصورته القائمة في 21 يوليو 2026 وما قبله.

استمر التمرين من 21 يوليو إلى 11 أغسطس 2026، وركّز أساساً على تقدير نسبة الاستدلال القائم على الوكلاء التي تخضع للمراقبة، وعلى ما إذا كان بإمكان الوكلاء، من حيث المبدأ، تعطيل نظام المراقبة أو تقويضه. وأسفر التمرين عن تقرير داخلي من 61 صفحة، أُتيح لباحثي OpenAI وموظفي الأمن فيها؛ كما أُتيحت نسخة من 38 صفحة، حجبت OpenAI بعض محتواها، لفِرق القيادة في METR وRedwood Research.

صلاحيات وصول واسعة ضمن شروط مضبوطة

أُتيح للمُقيِّمين الاثنين الوصول إلى قاعدة الشيفرة الداخلية لدى OpenAI، والتعليمات الموجّهة إلى مراقب عدم التوافق وتفاصيل إعداداته، والوثائق الداخلية. كما أجريا مقابلات تقنية مع نحو اثني عشر باحثاً ومهندساً من فرق المراقبة وأنظمة السلامة والأمن. ولتوفير هذا المستوى من الوصول، استخدما أجهزة وفّرتها OpenAI ولم تغادر مقارها، ورافقهما موظفون أثناء وجودهما في الموقع.

صممت METR وRedwood Research وOpenAI التمرين بوصفه تجربة تجريبية تتيح للباحثين الخارجيين وصولاً واسعاً إلى البنية التحتية الداخلية، لا باعتباره وسيلة لتحقيق شفافية عامة راسخة بشأن أنظمة المراقبة لدى OpenAI. واتفق الأطراف مسبقاً على نشر منشور علني موجز نسبياً وعالي المستوى فحسب. واحتفظت OpenAI بحق حجب أي معلومات من النسخة العلنية ترى، وفق تقديرها المنفرد، أنها سرية أو حساسة لسبب آخر. وتصف النتائج النظام التاريخي الذي جرى تقييمه في 21 يوليو وما قبله، ولا تقيّم التغييرات التي كانت قيد التنفيذ آنذاك؛ وأشارت METR إلى أن OpenAI كانت توسّع نطاق نظام المراقبة خلال التمرين.

ثغرات في التغطية وسبل لتجاوز المراقبة

قدّرت METR أن نحو 75–94% من حركة المرور الداخلية عبر Responses API، الناشئة عن وكلاء يستخدمون نماذج لا تقل قوتها عن GPT-5.5، كانت مؤهلة للمراقبة وقت إجراء التمرين، مع الإقرار بوجود قدر كبير من عدم اليقين في كلا الاتجاهين. وتدعم Responses API تشغيل Codex، من بين أمور أخرى، وقدّر المقيّمون أن 99.2% من حركة المرور هذه، ضمن الشريحة المستخدمة لوكلاء Codex الداخليين، كانت مؤهلة للمراقبة. وقالوا إنهم لم يتمكنوا من تقدير حجم حركة المرور الأخرى لبرمجة الوكلاء الداخلية التي كانوا على علم بها، مثل حركة الوكلاء العاملين على خدمة الاستدلال البحثي الداخلية لدى OpenAI، بسبب قيود الوصول والوقت.

تناولت عدة نتائج ثغرات في تلك التغطية. ففي بداية التمرين، لم تكن عمليات تدريب التعلم بالتعزيز مشمولة بنظام المراقبة، مع أن المُقيِّمين أُبلغوا بأن مجموعة فرعية من جولات التدريب بالتعزيز كانت خاضعة لمراقبة عدم التوافق بين مارس ويونيو. وقدّرت METR أن عدم مراقبة أحداث ضغط السياق ربما ترك نحو 10% من حركة المرور الداخلية المؤهلة لمنتج Codex من دون مراقبة بين مايو ويوليو 2026؛ وهي ثغرة كان موظفو OpenAI قد رصدوها بشكل مستقل قبل بدء التمرين وأصلحوها خلاله. وبما أن النظام كان يُفعَّل عند إعادة الوكلاء التحكم إلى المستخدم، كان بإمكان الوكلاء تأجيل خضوعهم للمراقبة إلى أجل غير مسمى بمجرد مواصلة العمل خلال تلك الفترة؛ لكن قيود الوصول حالت دون تمكن المُقيِّمين من التحقق مما إذا كان أي وكيل قد فعل ذلك فعلياً. وعلى نحو منفصل، عُرضت على المُقيِّمين معلومات تشير إلى أن المراقب، وقت إجراء التمرين، كان يُصدر أخطاءً في أقل من 0.2% من الطلبات، وأنه لم يسجل أي حالات لإسقاط الحمل خلال فترة واحدة مدتها 24 ساعة.

حدّد المُقيِّمون أيضاً وسائل تمكّن الوكيل من إحباط المراقبة كلياً. فقد عثروا على طريقة يمكن لوكلاء Codex من خلالها، من حيث المبدأ، تجاوز العزل في Codex وميزة Auto-Review لتنفيذ أي إجراء متاح للمستخدم المضيف، كما عثروا على ثغرة حجبت OpenAI تفاصيلها، كان من شأنها أن تمنع مراقبة مئات الإجراءات الأخيرة، بما فيها الإجراءات المستخدمة لتنفيذ الثغرة نفسها. ووجدوا أن الوكلاء قد يتمكنون على الأرجح من إنشاء مدخلات تُعطّل المراقب، وبذلك يتجنبون إحالة الحالة إلى المراجعة البشرية، عبر استغلال الاختلافات بين طريقة تسلسل مسار الوكيل وطريقة تسلسله للمراقب. كما وجدوا ترويستين مستقلتين، يمكن للعميل التحكم فيهما، وتعطّلان نظام المراقبة للوكلاء الجدد؛ وقد يتيح ذلك للوكيل تشغيل نسخة مطابقة في سائر الجوانب لكنها تعمل من دون مراقبة، إلا أن نظام المراقبة نفسه قد يرصد عملية ضبط هاتين الترويستين وإنشاء النسخة. وعثروا كذلك على أداتين داخليتين غير خاضعتين للمراقبة، تعملان بوكلاء ويُعتقد أن صلاحياتهما تقتصر على القراءة، وكان من الممكن استغلالهما بسهولة لتأدية إجراءات عشوائية في بيئتهما المعزولة؛ لكن المُقيِّمين لم يتحققوا من هذا السلوك أو يختبروه عملياً.

إلى جانب مواطن الضعف، تحقق المقيّمون من أن نظام المراقبة، باستثناء حالات طفيفة قليلة، يطّلع على مسار التفاعل الكامل الذي يراه الوكلاء، وتأكدوا من أن المطالبات الموجّهة إلى نظام المراقبة تبحث عن التخطيط الماكر، وتقويض نظام المراقبة، والتخريب، وتهريب البيانات، والخداع، وحقن المطالبات الواردة والصادرة، إلى جانب فئات أخرى من المخاطر. ومنذ انتهاء التقييم، أفادت OpenAI بأنها أصلحت جميع مواطن الضعف التي حُددت والتي تؤثر في منظومة ضمانات الإنتاج لديها، كما وصفت تغييرات لاحقة مهمة في التغطية التي يستهدفها نظام المراقبة. وقالت METR إنها لم تقيّم هذه الادعاءات.

نظام المراقبة كما وصفته OpenAI

وصفت OpenAI النظام الذي خضع للاختبار علنًا في منشور بتاريخ 19 مارس 2026. ووفقًا لذلك المنشور، يعمل النظام منخفض الكمون بواسطة GPT-5.4 Thinking بأقصى جهد للاستدلال، ويراجع تفاعلات الوكلاء في غضون 30 دقيقة من اكتمالها، ويسجل سلاسل تفكير الوكلاء وأفعالهم ويحللها، ويصنّف كل تفاعل ويحدد مستوى خطورته، ويرصد الحالات الشاذة لإحالتها إلى مراجعة بشرية. وقالت OpenAI إن النظام يعمل على جميع عمليات نشر وكلاء البرمجة الداخلية القياسية، ويطّلع على سجل المحادثة الكامل، بما يشمل جميع رسائل المستخدم والمطوّر والمساعد، إلى جانب استدعاءات الأدوات ومخرجاتها.

يسرد منشور OpenAI فئات السلوك الخاضعة للمراقبة، ومنها التحايل على القيود، والخداع، وإخفاء عدم اليقين، والتلاعب بالمكافآت، ونقل البيانات دون تصريح، والأفعال التدميرية، وحقن المطالبات الواردة والصادرة. كما أفاد المنشور بأنه لم تُسجّل أي حالات إيجابية صحيحة للتظاهر بضعف الأداء أو التخريب أو التخطيط الماكر حتى 17 مارس 2026. وعلى مدى خمسة أشهر من التشغيل، قالت OpenAI إن النظام راقب عشرات الملايين من مسارات تفاعل وكلاء البرمجة الداخلية، وصعّد نحو 1,000 محادثة متوسطة الخطورة لإخضاعها لمراجعة بشرية، وكان كثير منها ناتجًا عن اختبارات داخلية متعمدة للثغرات، كما لم يسجل أي محادثة حقيقية بلغت أعلى مستوى للخطورة. وأضافت الشركة أن نظام المراقبة رصد كل تفاعل أبلغ عنه الموظفون بشكل مستقل عبر القنوات الداخلية.

ذكرت OpenAI في المنشور أن هذا النهج يعتمد اعتمادًا جوهريًا على قابلية المراقبة، وأنها لا تستطيع تقدير معدلات النتائج السلبية الكاذبة بثقة في حركة المرور الواقعية المفتوحة من دون تقييمات رقابية واختبارات مخصصة للثغرات، ووصفت المراقبة بأنها طبقة واحدة ضمن منظومة دفاع متعددة الطبقات. وشملت خارطة الطريق المعلنة تقييمات رقابية، ووضع معايير لمستويات مقبولة من موثوقية أنظمة المراقبة وزمن استجابتها، وكذلك للمراجعين البشريين، والتوسع نحو الحظر المتزامن، بحيث تُقيَّم أفعال النماذج وتُمنع قبل تنفيذها.

مبادئ تصميم أنظمة المراقبة المستقبلية

استنادًا إلى النتائج، عرض المقيّمون مبادئ تصميم لأنظمة المراقبة والتحكم، مشيرين إلى أن البنية التحتية المستقبلية للمراقبة ينبغي، من وجهة نظرهم، أن تُصمَّم لتصمد أمام هجمات متعمدة ومتواصلة، تُشنّ بأسلوب استراتيجي وعلى نطاق واسع، من وكلاء ذوي قدرات عالية يعملون داخل مؤسسة. وتدعو المبادئ الخمسة إلى جعل تفادي المراقبة أمرًا صعبًا، وضمان مراقبة حركة البيانات التي يُفترض أن تخضع للمراقبة فعلًا، والاستجابة للحوادث بسرعة وموثوقية، وإخضاع نظام المراقبة لاختبارات نشطة للثغرات، وفرض العزل بين الوكلاء وأنظمة مراقبتهم. ومن الممارسات المحددة المذكورة مراقبة الوكلاء بعد عدد محدد من الرسائل أو الدقائق بدلًا من انتظار انتهاء أدوارهم، والاحتفاظ بقائمة بجميع الأساليب المعروفة للتحايل على المراقبة، وحفظ سجلات محمية من العبث وقابلة للبحث، وتشغيل أطر عمل الوكلاء في بيئة معزولة عن البيئة التي تُنفّذ فيها استدعاءات الأدوات.

قالت METR إن التقييم استفاد كثيرًا من عمق إمكانية الوصول، ومن الدعم اللوجستي والتقني الكبير الذي قدّمه موظفو OpenAI. وأضافت METR أنها تتوقع، في النسخ المستقبلية من التقييم، اتباع أفضل ممارسات الشفافية والاستقلالية الواردة في وثيقتها «نهجنا في العمل مع شركات الذكاء الاصطناعي»، بهدف توفير شفافية عامة أكثر متانة.