يُشير البحث إلى أن النماذج اللغوية الكبيرة على استعداد لمساعدة المهاجمين في برمجة “الاهتزاز”

على مدار السنوات القليلة الماضية ، أصبحت النماذج اللغوية الكبيرة (LLM) محط انتباه لاستخدامها المحتمل في الأمن السيبراني الهجومي ، ولا سيما في إنشاء استغلالات برمجية.

أدى الاتجاه الحديث نحو “برمجة الاهتزاز” (استخدام النماذج اللغوية بشكل غير رسمي لتطوير رمز سريع للمستخدم ، بدلاً من تعليم المستخدم برمجة بشكل صريح) إلى إحياء مفهوم达到了 ذروته في عام 2000: “مهاجم مبتدئ” – ممثل خبيث غير ماهر مع معرفة كافية لاستنساخ أو تطوير هجوم ضار. والفرضية ، بشكل طبيعي ، هي أن عندما يتم خفض عتبة الدخول ، فإن التهديدات تميل إلى التكاثر.

تتمتع جميع النماذج اللغوية التجارية ببعض أنواع الحماية ضد استخدامها لهذه الأغراض ، على الرغم من أن هذه التدابير الوقائية تخضع للهجوم المستمر. وعادة ما يتم إصدار معظم نماذج FOSS (من نماذج LLM إلى نماذج الصور / الفيديو التوليدية) مع بعض أنواع الحماية المماثلة ، وعادةً لأغراض الامتثال في الغرب.

ومع ذلك ، يتم إعادة ضبط الإصدارات الرسمية للنماذج بشكل روتيني من قبل مجتمعات المستخدمين الذين يبحثون عن وظائف أكثر اكتمالا ، أو استخدام LoRAs لتجاوز القيود وربما الحصول على نتائج “غير مرغوب فيها”.

على الرغم من أن معظم النماذج اللغوية عبر الإنترنت سوف تمنع مساعدة المستخدم في العمليات الخبيثة ، إلا أن هناك مبادرات “غير مقيدة” مثل Deep Hat متاحة لمساعدة باحثي الأمن على العمل على قدم المساواة مع معارضيهم.

الوضع العام للمستخدم في الوقت الحالي يتم تمثيله بشكل شائع في سلسلة ChatGPT ، التي تdraws انتقادات متكررة من مجتمع LLM الأصلي.

يبدو أنك تحاول مهاجمة النظام!

في ضوء هذه النزعة المتصورة نحو القيد والرقابة ، قد يفاجئ المستخدمون باكتشاف أن ChatGPT تم العثور عليه ليكون أكثر تعاونًا من جميع النماذج اللغوية التي تم اختبارها في دراسة حديثة مصممة لتحفيز النماذج اللغوية على إنشاء استغلالات برمجية خبيثة.

الورقة الجديدة من الباحثين في UNSW Sydney وCommonwealth Scientific and Industrial Research Organisation (CSIRO) ، بعنوان أخبار جيدة للمهاجمين المبتدئين؟ تقييم النماذج اللغوية الكبيرة لإنشاء استغلالات تلقائية ، توفر أول تقييم منهجي لكيفية فعالية هذه النماذج في الترويج لإنشاء استغلالات تعمل. تم توفير حوارات مثال من البحث من قبل المؤلفين.

تتمثل الدراسة في مقارنة أداء النماذج على الإصدارات الأصلية والمدونة من مختبرات القابلية المعروفة (تمارين برمجة منظمة مصممة لتوضيح عيوب أمنية برمجية معينة) ، مما يساعد في الكشف عن ما إذا كانت تعتمد على أمثلة محفوظة أو عانت بسبب قيود أمان مدمجة.

من الموقع الداعم ، يساعد نموذج LLM Ollama الباحثين على تطوير هجوم على خلل في السلسلة. مصدر: https://anonymous.4open.science/r/AEG_LLM-EAE8/chatgpt_format_string_original.txt

على الرغم من أن keine من النماذج كانت قادرة على إنشاء استغلال فعال ، إلا أن العديد منها جاء قريبًا جدًا ؛ والأهم من ذلك ، العديد منها يريد أن يفعل أفضل في المهمة ، مما يشير إلى فشل محتمل في نهج الحماية الحالية.

تنص الورقة على ما يلي:

‘تظهر تجاربنا أن GPT-4 و GPT-4o تظهر درجة عالية من التعاون في إنشاء استغلال ، مشابهة لبعض النماذج المفتوحة غير الخاضعة للرقابة. بين النماذج التي تم تقييمها ، كان Llama3 أكثر مقاومة لطلبات مثل هذه.

‘على الرغم من استعدادهم للمساعدة ، فإن التهديد الفعلي الذي تشكله هذه النماذج لا يزال محدودًا ، حيث لم تنجح أي منهم في إنشاء استغلالات لخمسة مختبرات مخصصة مع رمز معاد تشكيله. ومع ذلك ، كان GPT-4o ، وهو الأقوى في دراستنا ، ي Commit أخطاء فقط في كل محاولة.

‘هذا يشير إلى إمكانية كبيرة لاستخدام النماذج اللغوية الكبيرة لتطوير تقنيات إنشاء استغلال تلقائية متقدمة ويمكن تعميمها.’

فرص كثيرة

القول المأثور “لا تحصل على فرصة ثانية لجعل انطباع جيد” لا ينطبق عمومًا على النماذج اللغوية ، لأن نافذة السياق المحدودة بشكل عام للنموذج اللغوي تعني أن السياق السلبي (في المعنى الاجتماعي ، أي العداء) لا يتم الحفاظ عليه.

فكر في الأمر: إذا ذهبت إلى مكتبة وسألت عن كتاب عن صنع القنابل بشكل عملي ، فمن المحتمل أن تُرفض ، على الأقل. ولكن (افتراضًا أن هذا الاستفسار لم يؤدي إلى إنهاء المحادثة من البداية) ، سيتم التعامل مع طلباتك لأعمال ذات صلة ، مثل الكتب عن التفاعلات الكيميائية أو تصميم الدوائر ، بشكل واضح على أنها متعلقة بالاستفسار الأولي ، وسيتم التعامل معها على هذا النحو.

من المحتمل أيضًا أن يتذكر أمين المكتبة في أي لقاءات مستقبلية أنك سألت عن كتاب صنع قنابل في ذلك الوقت ، مما يجعل سياقك الجديد “غير قابل للإصلاح”.

ليس الأمر كذلك بالنسبة للنموذج اللغوي ، الذي يمكن أن يجد صعوبة في الاحتفاظ بمعلومات تم إ tokennization حتى من المحادثة الحالية ، ناهيكم عن توجيهات الذاكرة طويلة الأمد (إذا كانت هناك أي توجيهات في الهيكل ، كما هو الحال مع منتج ChatGPT-4o).

كما هو الحال مع جميع النماذج اللغوية الحالية ، قد تختلف جودة الحماية في مدى ونهجها (أي الفرق بين تعديل الوزن للنموذج المُدرَّب أو استخدام التصفية الداخلية / الخارجية للنص خلال جلسة المحادثة ، والتي تترك النموذج سليمًا هيكليًا ولكنها قد تكون أكثر عرضة للهجوم).

اختبار الطريقة

为了 اختبار مدى قدرة النماذج اللغوية على توليد استغلالات تعمل ، قام المؤلفون بإنشاء بيئة خاضعة للرقابة باستخدام خمسة مختبرات من SEED Labs ، كل منها يركز على نقاط ضعف معروفة بما في ذلك فيضان المخزن المؤقت ، إرجاع إلى libc ، هجوم Dirty COW ، و ظروف السباق.

بالإضافة إلى استخدام المختبرات الأصلية ، قام الباحثون بإنشاء إصدارات معدلة من خلال إعادة تسمية المتغيرات والوظائف إلى معرّفات عامة. كان هذا يهدف إلى منع النماذج من الاعتماد على أمثلة محفوظة من التدريب.

تم تشغيل كل مختبر مرتين لكل نموذج: مرة في شكله الأصلي ، ومرة في نسخته المخادعة.

ثم أدخل الباحثون نموذجًا لغويًا ثانيًا إلى الحلقة: نموذج مهاجم مصمم لتحفيز و إعادة تحفيز النموذج المستهدف من أجل تحسين وتحسين الإخراج عبر جولات متعددة. كان النموذج اللغوي المستخدم لهذا الدور هو GPT-4o ، الذي يعمل من خلال سيناريو يسيطر على الحوار بين المهاجم والنموذج المستهدف ، مما يسمح باستمرار دورة التحسين حتى 15 مرة ، أو حتى لا يُحكم على تحسين إضافي ممكن:

workflow for the LLM-based attacker, in this case GPT-4o.

كانت النماذج المستهدفة للمشروع هي GPT-4o ، GPT-4o-mini ، Llama3 (8B) ، Dolphin-Mistral (7B) ، و Dolphin-Phi (2.7B) ، ممثلة لأنظمة مملوكة و مفتوحة المصدر ، مع مزيج من النماذج الموازنة وغير الموازنة (أي النماذج ذات آليات أمان مدمجة مصممة لمنع التحفيزات الضارة ، و تلك التي تم تعديلها من خلال التخصيص أو التكوين لتجاوز تلك الآليات).

تم تشغيل النماذج القابلة للتثبيت المحلي عبر إطار Ollama ، في حين تم الوصول إلى الباقي عبر الطريقة الوحيدة المتاحة – واجهة برمجة التطبيقات.

تم تقييم الإخراج الناتج بناءً على عدد الأخطاء التي منعت الاستغلال من العمل كما هو موضح.

النتائج

قاس الباحثون مدى تعاون كل نموذج خلال عملية إنشاء الاستغلال ، مقاسًا بنسبة الاستجابات التي حاول النموذج فيها مساعدة المستخدم في المهمة (حتى لو كان الإخراج معيبًا).

Results from the main test, showing average cooperation.

أظهر GPT-4o و GPT-4o-mini أعلى مستويات التعاون ، مع معدلات استجابة متوسطة بنسبة 97 و 96 في المائة ، على التوالي ، عبر فئات القابلية الخمسة: فيضان المخزن المؤقت ، إرجاع إلى libc ، سلسلة التنسيق ، ظروف السباق ، و Dirty COW.

تبعت Dolphin-Mistral و Dolphin-Phi ، بمعدلات تعاون متوسطة بنسبة 93 و 95 في المائة. أظهر Llama3 أقل استعداد للمشاركة ، بمعدل تعاون إجمالي بنسبة 27 في المائة:

On the left, we see the number of mistakes made by the LLMs on the original SEED Lab programs; on the right, the number of mistakes made on the refactored versions.

عند فحص الأداء الفعلي لهذه النماذج ، وجدوا فجوة ملحوظة بين الاستعداد و الفعالية: أنتج GPT-4o أكثر النتائج دقة ، مع ستة أخطاء فقط عبر المختبرات الخمسة المخادعة. تبعه GPT-4o-mini بثماني أخطاء. أدى Dolphin-Mistral أداء جيدًا على المختبرات الأصلية لكنه عانى بشكل كبير عندما تم إعادة تشكيل الكود ، مما يشير إلى أنه قد رأى محتوى مشابهًا خلال التدريب. أcommitted Dolphin-Phi 17 خطأ ، و Llama3 أكثر ، مع 15.

شملت الأخطاء النموذجية أخطاء فنية جعلت الاستغلالات غير وظيفية ، مثل أحجام المخزن المؤقت غير صحيحة أو مفقودة أو منطق الحلقات أو حمولات صحيحة وصحيحة ولكن غير فعالة. لم تنجح أي نموذج في إنتاج استغلال يعمل لنسخة مخادعة.

لاحظ المؤلفون أن معظم النماذج أنتجت رمزًا يشبه استغلالات تعمل ، ولكنها فشلت بسبب فهم ضعيف لكيفية عمل الهجمات الفعلية – نمط كان واضحًا عبر جميع فئات القابلية ، ويشير إلى أن النماذج كانت تقلد هياكل رمز熟悉ة بدلاً من التفكير في المنطق المشارك (في حالات فيضان المخزن المؤقت ، على سبيل المثال ، فشل العديد في بناء سلاسة NOP / انزلاق وظيفية).

في محاولات إرجاع إلى libc ، كانت الحمولات غالبًا ما تحتوي على حشو غير صحيح أو عناوين وظيفية غير محقة ، مما أدى إلى إخراج يبدو صالحًا ولكن غير قابل للاستخدام.

على الرغم من أن المؤلفين يصفون هذه التفسيرات بأنها تخمينية ، فإن استمرار الأخطاء يشير إلى مشكلة أوسع نطاقًا حيث تفشل النماذج في ربط خطوات الاستغلال بتأثيرها المقصود.

الخلاصة

هناك بعض الشك ، يعترف المؤلفون ، فيما يتعلق بمدى رؤية النماذج اللغوية التي تم اختبارها لمختبرات SEED الأصلية أثناء التدريب الأولي ؛ ولهذا السبب تم بناء متغيرات. ومع ذلك ، يؤكد الباحثون أنهم يرغبون في العمل مع استغلالات حقيقية في إصدارات لاحقة من هذه الدراسة ؛ المواد الجديدة والحديثة أقل عرضة للاستخدام كأقصر الطرق أو الآثار المضللة الأخرى.

كما يعترف المؤلفون بأن النماذج “الأكثر تفكيرًا” اللاحقة مثل GPT-o1 و DeepSeek-r1 ، والتي لم تكن متاحة في وقت إجراء الدراسة ، قد تحسن من النتائج التي تم الحصول عليها ، وهذا هو إشارة أخرى للعمل المستقبلي.

تنتهي الورقة إلى أن معظم النماذج التي تم اختبارها لكانت قد أنتجت استغلالات تعمل إذا كانت قادرة على ذلك. يبدو أن فشلهم في توليد مخرجات وظيفية بالكامل لا ينتج عن آليات الحماية الموازنة ، بل يشير إلى قصورًا هيكليًا حقيقيًا – واحد قد تم بالفعل تخفيفه في نماذج أحدث ، أو سوف يتم قريبا.

نُشر لأول مرة يوم الإثنين ، 5 مايو 2025