تقدم OpenAI نظام GPT-Red ، وهو نظام ذكاء اصطناعي داخلي مدرب على مهاجمة نماذج الشركة الخاصة ، وكشف نقاط الضعف ، وتوليد بيانات معارضة يمكن استخدامها لتعزيز الإصدارات المستقبلية.

OpenAI كشفت عن GPT-Red ، وهو نظام ذكاء اصطناعي داخلي مدرب على مهاجمة نماذج الشركة الخاصة ، وكشف نقاط الضعف ، وتوليد بيانات معارضة يمكن استخدامها لتعزيز الإصدارات المستقبلية.

بدلاً من عمل نظام آخر للчат العام ، يعمل GPT-Red كفريق أحمر تلقائي. يرسل بشكل متكرر تعليمات خبيثة أو مضللة إلى نماذج الهدف ، ويراقب استجاباتها ، ويتعديل استراتيجيته حتى ينجح أو ينفذ جميع مسارات الهجوم المتاحة. تقول OpenAI إن النظام يركز بشكل خاص على حقن البرمجة ، وهو مشكلة أمنية متزايدة بالنسبة للوكلاء الذكاء الاصطناعي الذين يتفاعلون مع البريد الإلكتروني ، والمواقع الإلكترونية ، والملفات ، ومستودعات الشفرة ، والتطبيقات المتصلة.

النظام قد أثر بالفعل على نماذج الإنتاج في OpenAI. تم استخدام سلاسل GPT-Red خلال التدريب منذ GPT-5.3 ، بينما تم دمج النموذج المكتمل في التدريب المعادي ل GPT-5.6 Sol. تقول OpenAI إن GPT-5.6 Sol ينتج ست مرات أقل من الفشل في اختبار الحقن المباشر الأكثر صعوبة من نموذج الإنتاج الرائد للشركة من أربعة أشهر سابقة.

لماذا يصبح حقن البرمجة أكثر خطورة

يحدث حقن البرمجة عندما يضع المهاجم تعليمات داخل البيانات التي من المتوقع أن يقرأها نظام الذكاء الاصطناعي. قد تكون هناك أوامر خبيثة مخفية في البريد الإلكتروني أو صفحة الويب أو المستند المرفوع أو استجابة الأداة أو مستودع البرمجيات.

يمكن لنظام الذكاء الاصطناعي أن يعتبر ذلك المحتوى الخارجي كتوجيه شرعي. بدلاً من إكمال المهمة الأصلية للمستخدم ، قد يكشف عن معلومات سرية ، أو يرفع الملفات إلى خادم يتحكم فيه المهاجم ، أو يغير إعدادات الحساب ، أو ينفذ رمزًا غير آمن ، أو يقوم بأفعال غير مصرح بها من خلال أدوات متصلة.

تزداد مشكلة حقن البرمجة أهمية مع انتقال أنظمة الذكاء الاصطناعي إلى ما وراء الإجابة على الأسئلة وبدء العمل نيابة عن المستخدمين. يعرض وكيل ذكاء اصطناعي يمتلك الوصول إلى تخزين السحابة ، والأنظمة الدفعية ، والشفرة المصدرية ، والتطبيقات التجارية ، أو البيانات الداخلية للشركة ، مساحة أكبر محتملة “للقوة” عند تعديل تعليماته بنجاح.

توصف OpenAI حقن البرمجة بأنها واحدة من التحديات المركزية التي tạoها الوكلاء الذكاء الاصطناعي. تزيد الأدوات المتصلة من فائدة النماذج بشكل كبير ، ولكن كل مصدر بيانات جديد يوفر أيضًا قناة أخرى يمكن للمهاجم من خلالها محاولة التأثير على سلوك النموذج.

GPT-Red يتعلم من خلال اللعب الذاتي

تم تطوير GPT-Red من خلال التعلم التكراري الذاتي ، وهو نهج يتحسن فيه نموذج الهجوم ونموذج الدفاع من خلال المنافسة مع بعضهما البعض.

يتلقى المهاجم مكافأة عندما ينتج فشلًا صالحًا ، مثل إقناع نموذج اتباع حقن البرمجة. يتم مكافأة المدافع على رفض التعليمات الخبيثة مع استمرار إكمال المهمة الشرعية التي تم إعطاؤه في الأصل.

كما بنت OpenAI مجموعة كبيرة من البيئات المحاكاة لهذا الغرض. اعتمادًا على السيناريو ، قد يتحكم GPT-Red في جزء من الملف المحلي ، أو نص البريد الإلكتروني ، أو لافتة صفحة الويب ، أو الإخراج المرتجع من أداة خارجية. تحدد كل بيئة ما يمكن للمهاجم تعديله وما النتيجة التي تؤهل كتخريب ناجح.

تقول OpenAI إن GPT-Red تم تدريبه باستخدام موارد حاسوبية مماثلة لبعض أكبر عمليات التشغيل بعد التدريب ، مما يمثل تخصيصًا غير عادي للكمبيوتر خصيصًا لأبحاث الأمان. بحلول نهاية التدريب ، كان النموذج قادرًا على اختراق几乎 كل النماذج الداخلية والإنتاجية التي تم اختبارها حتى و بما في ذلك GPT-5.5.

GPT-Red يتفوق على المهاجمين البشر في الاختبارات

为了 تقييم ما إذا كان GPT-Red يمكن أن يعمم ما وراء بيئات التدريب ، قامت OpenAI باختباره باستخدام نسخة مكررة من تحدي حقن البرمجة غير المباشر لعام 2025.

تمت مطالبة GPT-Red والمهاجمين البشر بتطوير هجمات ضد GPT-5.1 في سناريوهات لم يتم تضمينها في تدريب GPT-Red. أنتج النظام التلقائي هجمات ناجحة في 84٪ من السناريوهات ، مقارنة بـ 13٪ للمشاركين البشر.

هذا النتيجة لا يعني أن الباحثين الأمنيين البشر أصبحوا غير ضروريين. تكمن ميزة GPT-Red بشكل رئيسي في قدرته على إجراء عدد كبير من التجارب ، ورفض الاستراتيجيات الفاشلة ، والتحسين المستمر للهجمات الواعدة دون قيود الوقت والتوظيف للمجموعة البشرية.

يظل المفتشون البشر مهمين لتحديد المخاطر غير المتوقعة ، وفهم العواقب الأوسع للفشل ، وتصميم السيناريوهات التي قد لا يعتبرها النظام التلقائي. وصف جيسيكا جي ، المحلل البحثي الأعلى في جامعة جورجتاون ، مركز الأمن والتكنولوجيا الناشئة ، النتائج بأنها واعدة مع التأكيد على أن الخبرة البشرية لا تزال أساسية.

أصبحت آلة البيع أهدافًا حقيقية في العالم الحقيقي

كما قامت OpenAI باختبار ما إذا كانت الهجمات المكتشفة في المحاكاة يمكن أن تنتقل إلى وكلاء ذكاء اصطناعي يعملون.

استهدف أحد التجارب آلة بيع ذاتية تم إنشاؤها بواسطة Andon Labs ونشرت في مكتب OpenAI. تم إعطاء GPT-Red نسخة محاكاة من النظام ، جنبًا إلى جنب مع القدرة على مراقبة كيفية استخدام الوكيل لأدواته.

بعد اختبار وتحسين هجماته في المحاكاة ، نقل GPT-Red هجماته إلى الوكيل الإنتاجي. حقق جميع الأهداف الثلاثة المحددة: خفض سعر منتج باهظ الثمن إلى 0.50 دولار ، وطلب عنصر جديد بقيمة أكثر من 100 دولار وعرضه مقابل 0.50 دولار ، وإلغاء طلب العميل الآخر. تقول OpenAI إن الثغرات الأمنية تم الكشف عنها و正在 اختبار حماية إضافية.

يوضح التجربة لماذا لا يعتبر حقن البرمجة مجرد مسألة إنتاج استجابة غير مناسبة للчат بوت. عندما يتحكم نموذج الذكاء الاصطناعي في أنظمة خارجية ، يمكن أن يؤدي حقن ناجح إلى معاملات مالية ، أو سجلات معدلة ، أو فقدان البيانات ، أو عواقب في العالم الحقيقي.

كما تم اختبار GPT-Red ضد وكلاء Codex سطر الأوامر مدعوم من GPT-5.4 mini. عبر 10 سناريوهات سابقة لم تتم رؤيتها لسرقة البيانات ، كان أكثر نجاحًا وأكثر كفاءة في الإقناع بوكيل البرمجة بإظهار معلومات حساسة.

كيف غير GPT-Red GPT-5.6

كان أحد الاكتشافات الأكثر أهمية لـ GPT-Red هو فئة من حقن البرمجة المباشرة التي تدعوها OpenAI “هجوم سلسلة التفكير الكاذبة”.

على مستوى عال ، يقدم هذا الأسلوب معلومات زائفة للتحقق أو التحقق التي تشجع نموذج الهدف على افتراض أن التوجيه الخبيث قد تمت مراجعته بالفعل والموافقة عليه. قارن باحث OpenAI كريس تشوكت كونيت هذا المفهوم بزيف القول لشخص ما أن الجواب الخاطئ قد تم بالفعل التحقق منه ، مما يجعله أكثر احتمالاً لقبوله دون تكرار العقلانية الأساسية.

كانت هذه الهجمات ناجحة بنسبة أكثر من 95٪ ضد GPT-5.1. بعد التدريب المعادي باستخدام هجمات تم توليدها بواسطة GPT-Red ، انخفضت نسبة النجاح إلى أقل من 10٪ ضد GPT-5.6 Sol. عبر مجموعة أوسع من بيئات حقن البرمجة المباشرة ، تقول OpenAI إن GPT-5.6 Sol فشل في 0.05٪ فقط من محاولات GPT-Red.

كما قامت OpenAI بتقييم ما إذا كانت الدفاعات الإضافية جعلت GPT-5.6 أكثر احتمالاً لرفض الطلبات الشرعية. تقول الشركة إن القدرات العامة والتقييمات المستهدفة لرفض المبالغ الزائدة ظلت غير متأثرة بشكل كبير ، مما يشير إلى أن التحسينات جاءت من تمييز أفضل بين التعليمات الخبيثة والشرعية بدلاً من جعل النموذج أقل استعدادًا للعمل.

هذا التمييز مهم. يمكن أن يبدو نموذج آمنًا إذا رفض فتح الملفات ، أو تصفح المواقع الإلكترونية ، أو تنفيذ الشفرة ، أو التفاعل مع التطبيقات الخارجية ، ولكنه سيخسر أيضًا الكثير من قيمته العملية. يتطلب الحصانة الفعالة الحفاظ على استخدام الأدوات الشرعية مع مقاومة التعليمات التي يتم إدراجها بواسطة أطراف غير موثوقة.

لماذا لا تقوم OpenAI بنشر GPT-Red

سيبقى GPT-Red نظامًا داخليًا ويتم الاحتفاظ به منفصلًا عن نماذج OpenAI العام.

ينعكس هذا القرار في الطبيعة المزدوجة للفريق الأحمر التلقائي. يمكن لنفس النموذج الذي يمكن أن يساعد المطورين في اكتشاف نقاط الضعف في حقن البرمجة أن يساعد المهاجمين أيضًا في تطوير أساليب أكثر فعالية لاختراق وكلاء الذكاء الاصطناعي التي تديرها شركات أخرى.

تتمثل نهج OpenAI في الاحتفاظ بالمهاجم داخليًا ونقل المعرفة الدفاعية الناتجة إلى نماذج الإنتاج. تقول الشركة إن هذا الفصل يهدف إلى منع القدرات الخبيثة المتعمدة التي تم تدريب GPT-Red عليها من أن تصبح متاحة للمعارضين الخارجيين.

هذا يعني أيضًا أن GPT-Red لا ينبغي الخلط بينه وبين نماذج الأمن السيبراني العامة لشركة OpenAI أو البرامج الدفاعية. إنه ليس منتج اختبار الاختراق ، ولا يتم تصميمه بشكل أساسي لاكتشاف الثغرات الأمنية التقليدية تلقائيًا. يركز حاليًا على مهاجمة سلوك اتباع التعليمات لأنظمة الذكاء الاصطناعي ، خاصة الوكلاء المعرضين لمعلومات غير موثوقة محتملة.

لا يزال الفريق الأحمر التلقائي يحتوي على نقاط عمياء

على الرغم من نتائجه القوية ، لا يوفر GPT-Red حلًا كاملاً لأمان الذكاء الاصطناعي.

تشير التقارير عن البحث إلى أن النظام يظل أقل فعالية في الهجمات متعددة التحولات التي تتكشف تدريجياً عبر محادثة طويلة. كما أن لديه قدرات محدودة لتطوير حقن البرمجة المضمنة في الصور ، مما يترك سطوح الهجوم متعددة الوسائط غير مغطاة بشكل كاف.

تستند النتائج أيضًا بشكل كبير إلى البيئات ومعايير النجاح التي صممتها OpenAI. على الرغم من أن الشركة قامت باختبار GPT-Red على سناريوهات محجوزة ووكلاء يعملون ، سيكون لدى الباحثين المستقلين القليل من القدرة على إعادة إنتاج النتائج أثناء بقاء النموذج وبنية التقييم الخاصة به خاصة.

تقول OpenAI إنها ستستمر في الجمع بين الاختبار التلقائي مع اختبار الفريق الأحمر البشري والفريق الأحمر من طرف ثالث ، وضمانات المنتج المتعددة ، ومراقبة الوصول ، ومراقبة الاستخدام ، وتحديد إساءة الاستخدام في الوقت الفعلي. يعكس استراتيجية الدفاع في العمق حقيقة أن لا نموذج أو معيار واحد يمكن أن يتوقع كل هجوم قد ي出现 بعد النشر.

سباق أمني جديد بين المهاجمين والمدافعين الذكاء الاصطناعي

ال”تحسين الذاتي” الموصوف في إعلان OpenAI ليس نموذجًا تم توزيعه يعدل وزناته الخاصة بشكل مستقل أو يخلق خليفة أكثر قوة بشكل مستقل. بدلاً من ذلك ، إنه حلقة تدريبية خاضعة للرقابة حيث يولد نموذج الذكاء الاصطناعي أمثلة معارضة يستخدمها الباحثون لتحسين نموذج آخر.

على الرغم من ذلك ، يمثل GPT-Red تحولًا معنويًا في كيفية تأمين نماذج الجيل القادم. يمكن لفريق الأحمر البشري أن يكشف عن نقاط الضعف المتقدمة ، ولكن لا يمكنهم يدوياً توليد حجم وتنوع الهجمات المطلوبة لتدريب وكلاء الذكاء الاصطناعي المتزايدة القدرة بشكل مستمر.

يمكن للمهاجمين التلقائيين ملء جزء من هذا الفجوة ، مما يخلق عجلة أمنية حيث يضطر كل مدافع أقوى إلى جعل نموذج اختبار الأحمر يكتشف نقاط الضعف الجديدة. تصبح هذه النقاط بعد ذلك مواد تدريبية لجيل التالي من أنظمة الإنتاج.

المخاطر هي أن القدرات المماثلة لن تبقى حصرية لمعاملات الدفاع. مع تحسن النماذج المفتوحة والتجارية في التخطيط على المدى الطويل ، واستخدام الأدوات ، والأمن السيبراني ، والتجارب المستقلة ، سوف يكتسب المهاجمون وصولًا إلى أنظمة أكثر قدرة.

GPT-Red وبالتالي يمثل التقدم والتنبيه المبكر للمنافسة القادمة. بدأت معاملات الذكاء الاصطناعي في استخدام نماذج قوية لتعزيز وكلاء الجيل القادم ، ولكن هذه الدفاعات سوف تحتاج إلى التطور بشكل مستمر مع تطور التكنولوجيا نفسها لجعل الهجمات التلقائية أرخص وأسرع وأكثر مرونة.