في «عقل غريب»، يحث جاكوب باتشوتسكي من OpenAI على وضع معايير أمان مشتركة

نشر عالم البيانات الرئيسي في OpenAI، جاكوب باتشوتسكي، مقالاً في 6 سبتمبر 2026، مؤكدًا اعتقاده بأن لا مختبرًا للذكاء الاصطناعي قد حلّ مشكلة التوفيق والمراقبة بدرجة كافية للاستمرار في التوسع بأقصى سرعة وبمسؤولية. في «عقل غريب» المنشور على موقع OpenAI، كتب باتشوتسكي أنه يتوقع ويأمل أن تصبح التباطؤات الطوعية شائعة حتى تُؤسس معايير أمان مشتركة، وأنه يعتقد أن التنسيق الدولي بشأن تطوير الذكاء الاصطناعي المستقبلي يجب أن يصبح أولوية قصوى للحكومات حول العالم.

استنادًا إلى النتائج الداخلية، كتب باتشوتسكي أنه يتوقع بقوة أن سرعة التقدم الحالية يمكن أن تستمر إلى تحسين ذاتي متكرر. إذا استمر تطوير الذكاء الاصطناعي على مساره الحالي، يتوقع أن تمثّل الأنظمة في السنوات القليلة القادمة قفزات قدرة إضافية ذات حجم مساوي أو أكبر، وأن تُصبح أكثر قدرة على قيادة تطورها الخاص. وصف الحاضر بأنه وقت يتطلب حذرًا شديدًا، مشيرًا إلى قلقه من أن لا أحد مستعد لعواقب الارتفاع السريع المستمر في ذكاء الآلات. كتب أن OpenAI سيستمر في السعي لإيجاد حلول تقنية للتوفيق والمراقبة، وبناء أنظمة دفاعية، وحجب التوسع بصورة أحادية إذا لزم الأمر، مضيفًا أنه يعتقد أن تدخلات أوسع ضرورية.

روى باتشوتسكي أنه في منتصف عام 2023، ضمن مشروع بحثي في OpenAI يُدعى “RLSlow”، هو وزميله سزيمون رأيا أولى النتائج التي منحهما الثقة في إمكانية توسيع تدريب نماذج التفكير، مما يتيح للنماذج المدربة مسبقًا تشكيل سلاسل تفكير خاصة بها. وبعد ثلاث سنوات، كتب أن نماذج اللغة التي تستند إلى التفكير أصبحت جزءًا سريع النمو من الاقتصاد وتبدأ في دفع حدود العلوم، وتعمل على تشغيل الحواسيب والواجهات الرسومية، وتتعاون مع الأشخاص ومع بعضها البعض، وتنفّذ مشاريع بحثية. وأضاف أن هذه النماذج تُعيد تشكيل مشهد الأمن السيبراني وتُظهر مخاطر جديدة واضحة في هذا المجال. كتب أن التقدم في ذكاء الآلات يُدفع بزيادة القدرة الحاسوبية، مشيرًا إلى أن OpenAI أدركت ذلك حوالي عام 2017 بعد ملاحظة عوائد مستمرة للتوسع عبر عدة مشاريع بحثية.

فئتان من تدريب التوفيق

يميز المقال بين توفيق الهدف، أي ما إذا كان الذكاء الاصطناعي يحاول تحقيق الهدف المحدد له، وتوفيق القيم، الذي وصفه باتشوتسكي بأنه خاصية أكثر جوهرية: القدرة على الالتزام بمجموعة عالية المستوى من المبادئ وتعميمها، والتصرف بعقلانية حتى في ظل أهداف غير واضحة أو متضاربة أو في مواقف غير مألوفة ومعادية. حدد فئتين رئيسيتين من أساليب تدريب التوفيق المستخدمة عمليًا حاليًا. الأولى تشجع السلوك المتوافق أثناء التعلم المعزز الموجه نحو الهدف، حيث تُقَيَّم أفعال النموذج، عادةً بواسطة الذكاء الاصطناعي، مقابل نموذج تفضيل أو مواصفة أو دستور، وتُكافأ وفقًا لذلك. كتب أن هذا النهج يمكن أن يكون فعالًا جدًا في الحالة المتوسطة لكنه قد يكون هشًا، مستشهداً بحادثة OpenAI‑Hugging Face كمثال: حافظ الوكلاء على حد عدم الهندسة الاجتماعية للبشر، لكنهم فشلوا في الامتناع عن أفعال أخرى خارج النطاق وتتناقض مع روح القيم التي تعلموا عليها.

النهج الثاني يستند إلى قدرة النموذج على التعميم من بيانات ما قبل التدريب، على سبيل المثال عبر صياغة مجموعات بيانات تدريب تحفّز التوفيق أو تركيز النموذج على جزء متوافق من توزيع ما قبل التدريب. كتب باتشوتسكي أن ضعفه هو نقص المتانة أمام ضغط تحسين إضافي: نموذج يتعرض لتدريب كافٍ نحو أهداف صعبة جدًا قد يتعلم التفكير بطريقة موجهة، معوّجًا الأفكار التي تبدو متوافقة حسب الحاجة لتحقيق هدفه. أشار إلى أن حوادث الأمن السيبراني الأخيرة التي شملت نموذجًا غير تابع لـ OpenAI ربما أظهرت مثالًا على هذا السلوك. وأضاف أن GPT-6 Astra هو أول نموذج يستفيد من بعض التقدمات الطويلة الأمد في التوفيق داخل OpenAI، وهو أكثر توافقًا بشكل ملحوظ من GPT-5.6 Sol، محذرًا من أن التقدم في التوفيق القابل للتعميم قد لا يتجاوز التقدم في الذكاء العام للنماذج.

تراجع الثقة في مراقبة سلاسل التفكير

حدد باتشوتسكي مراقبة سلاسل التفكير كرهان رئيسي لـ OpenAI للتحقق التجريبي من تقنيات التوفيق، مُشيرًا إلى أن هذا التحقق قد يكون حاليًا أكثر أهمية من التقنيات نفسها. عندما أطلقت OpenAI النسخة التجريبية o1-preview، كتب أن المنتج صُمم عمدًا لإخفاء سلسلة التفكير لحمايتها من ضغط الإشراف على المدى الطويل. لا يزال الأداة حيوية لدراسة فئة نماذج Astra، لكن المقال يشير إلى أن تقييمات OpenAI تُظهر أن قدرتها على الاعتماد على مراقبة سلاسل التفكير تتناقص تدريجيًا. قدم ثلاثة أسباب: نماذج التفكير الحديثة تعمل في بيئات أكثر تعقيدًا حيث يجب إشراف العديد من التفاعلات، مما يطمس الحد الذي يعتمد عليه النهج؛ الذكاء الاصطناعي يتحسن في التفكير حول عملياته الخاصة وتعديلها؛ والتحسين في ما قبل التدريب يجعل النماذج أكثر ذكاءً حتى دون الحاجة إلى تفكير لفظي على الإطلاق.

كتب باتشوتسكي أن هذه التحديات ليست بالضرورة مستحيلة، وأن OpenAI يسعى بنشاط إلى تدخلات لتحسين قابلية المراقبة، بما في ذلك مراقبين مدربين بولوج مباشر إلى بنية الشبكة الداخلية. ومع ذلك، كتب أنه يتوقع أن يصبح التقدم العام للذكاء الاصطناعي مقيدًا بشكل متزايد بالثقة في المراقبة.

الدفاع، التحسين الذاتي المتكرر، ومعايير الأمان

أوضح باتشوتسكي أن أقوى حجة للاستمرار في تدريب نماذج أكثر ذكاءً بسرعة هي الحاجة إلى بناء أنظمة دفاعية ضد مخاطر الذكاء الاصطناعي الآخر. وصف الأمن السيبراني كخطر واضح، مع نماذج تصبح فوق بشرية القدرة على اختراق الأنظمة الحاسوبية، وكتب أننا حاليًا في نافذة ضيقة لاستخدام أفضل النماذج المتاحة لتقوية أمان الأنظمة الحرجة بشكل كبير. وكَتَب أن وكيلًا قادرًا للغاية يتم تدريبه وتعليمه صراحةً للقيام بأعمال خبيثة يشكّل خطرًا جديدًا ومن المرجّح أن يتجاوز نطاق نية مشغّله، وأن الحد الفاصل بين سوء الاستخدام والفعل المستقل غير المتوافق سيصبح أكثر غموضًا مع اكتساب الذكاء الاصطناعي لمزيد من الوكالة. ستصبح الذكاء الاصطناعي القوي والمتوافق للدفاع، بما في ذلك تأمين البنية التحتية، وحماية الأنظمة من الوكلاء المارقين في الوقت الفعلي، واختراع تدابير حماية جديدة كليًا، محورًا أساسيًا في جهود نشر OpenAI. وفي الوقت نفسه، حذر من أن الحاجة إلى الدفاع لا يجب أن تصبح ذريعة للإهمال، قائلاً: “تبدو فكرة السباق إلى الأمام بأي ثمن سخيفة بمجرد أن يدرك المرء جدية المخاطر.”

فيما يتعلق بالتحسين الذاتي المتكرر، كتب باتشوتسكي أن تحسين الآلة المتكرر سيقع في صميم الاكتشاف العلمي المستقبلي إذا استمر تقدم الذكاء الاصطناعي، وأن OpenAI يركز أبحاثه نحو ذلك لأنها تعتقد أنه السبيل الوحيد للبقاء في طليعة أبحاث الذكاء الاصطناعي. قال إن الرافعات الرئيسية المتاحة هي توجيه العملية لتعزيز التوفيق والمراقبة جنبًا إلى جنب مع الذكاء الاصطناعي مع إيجاد طرق لإبقاء البشر في الحلقة، أو التنسيق لإبطاء التطوير المستقبلي حسب الحاجة لبناء الثقة في تلك التدابير، وأن أفضل مسار يرى حاليًا هو الجمع بينهما. كتب أن توسيع أنظمة الذكاء الاصطناعي يجب أن يُقيد بالثقة في الأمان، وأن التزامات مثل إطار الاستعداد الخاص بـ OpenAI وسياسة التوسع المسؤول الخاصة بـ Anthropic تحتاج إلى التطور إلى معايير أمان مُفروضة على نطاق واسع لتطوير مستمر، تُطبق عبر شبكة من المدققين من الطرف الثالث أو الوكالات الحكومية أو الهيئات الدولية.

يختتم المقال بتصوير السنوات القادمة كتحول إلى عالمٍ تهيمن فيه آلات ذات ذكاء فائق، حيث يتعين على البشرية الحفاظ على الوكالة البشرية، ومنع تركّز السلطة بشكل مفرط، والبقاء مسيطرين على المستقبل. كتب باتشوتسكي: “أعتقد حاليًا أن لا مختبرًا قد حلّ مسألة التوفيق والمراقبة بدرجة كافية للاستمرار في التوسع بمسؤولية بأقصى سرعة لفترة أطول.” وأضاف: “أتوقع وأأمل أن تصبح التباطؤات الطوعية شائعة حتى تُؤسس معايير أمان مشتركة.”