التحكم في الهلوسة: فوائد ومخاطر نشر النماذج اللغوية الكبيرة كجزء من عمليات الأمن

النماذج اللغوية الكبيرة (LLMs) التي تم تدريبها على كميات هائلة من البيانات يمكن أن تجعل فرق عمليات الأمن أكثر ذكاء. توفر LLMs اقتراحات ومشورة على الخط في الاستجابة والتدقيق وإدارة الوضع وغيرها. معظم فرق الأمن تجرب أو تستخدم LLMs لتقليل العمل اليدوي في Flux. يمكن أن يكون هذا لكل من المهام الروتينية والمعقدة.

على سبيل المثال، يمكن لـ LLM أن يرسل بريدًا إلكترونيًا إلى موظف لاستفسار عن是否 كان يعتزم مشاركة وثيقة ملكية وتمت معالجة الاستجابة مع توصية لممارس الأمن. يمكن أيضًا تكليف LLM بترجمة الطلبات للبحث عن هجمات سلسلة التوريد على الوحدات المفتوحة المصدر وتشغيل وكلاء مركزين على ظروف محددة – المساهمين الجدد في المكتبات الشائعة، أنماط الكود غير الصحيحة – مع كل وكيل محدد لهذه الحالة المحددة.

然而، تحمل هذه الأنظمة الذكية القوية مخاطر كبيرة لا توجد في الأنظمة الأخرى التي تواجه فرق الأمن. يمكن اختراق نماذج LLMs التي تعمل على أمان النظام من خلال حقن البرمجة أو تلوث البيانات. يمكن أن يسمح التغذية المرتدة المستمرة و خوارزميات التعلم الآلي دون توجيه بشري كافٍ للمخترقين بفحص التحكم وتحفيز استجابات غير مستهدفة. LLMs عرضة للهلوسة، حتى في المجالات المحدودة. حتى أفضل LLMs يخترعون الأجوبة عندما لا يعرفون الإجابة.

سيصبح من الأهمية بمكان تطوير عمليات وأوضاع سياسية حول استخدام LLMs و Flux مع تطور هذه الأنظمة أكثر في عمليات الأمن و البحث. من المهم أن يتم الالتزام بتلك العمليات وقياسها ومراجعتها في أنظمة الحوكمة، لتأكيد أن مسؤولي الأمن يمكنهم توفير تغطية كافية لمراقبة الحوكمة والمخاطر والامتثال لتلبية المANDات الجديدة مثل إطار الأمن السيبراني 2.0.

الوعد الكبير للنماذج اللغوية الكبيرة في الأمن السيبراني

يصارع مسؤولو الأمن وفرقهم باستمرار للاحتفاظ بالتماسك مع ارتفاع موجة الهجمات السيبرانية الجديدة. وفقًا لشركة Qualys، بلغ عدد CVEs المبلغ عنها في عام 2023رقمًا قياسيًا جديداً يصل إلى 26,447. هذا يعني زيادة بأكثر من 5 أضعاف عن عام 2013.

أصبح هذا التحدي أكثر إرهاقًا مع نمو سطح الهجوم لمنظمة متوسطة مع كل عام. يجب على فرق أمان التطبيقات تأمين ومراقبة العديد من التطبيقات البرمجية. أضافت تقنيات الحوسبة السحابية وواجهات برمجة التطبيقات والتحوّل الافتراضي وتقنيات الويب المتعددة تعقيدات إضافية. مع أدوات وتقنيات CI/CD الحديثة، يمكن لفريق التطبيقات إرسال المزيد من الكود بسرعة وأكثر تواترًا. قسّمت خدمات الويب الصغيرة التطبيقات الشاملة إلى العديد من واجهات برمجة التطبيقات وسطح الهجوم وأدّت إلى ثقوب أكثر في جدران الحماية العالمية للاتصال بخدمات خارجية أو أجهزة العملاء.

تحمل النماذج اللغوية الكبيرة المتقدمة وعدًا كبيرًا بتقليل عبء عمل فرق الأمن وتحسين قدراتهم. وقد اخترقت أدوات الترميز القائمة على الذكاء الاصطناعي تطوير البرمجيات على نطاق واسع. وجدت دراسة غيت هاب أن 92% من المطورين يستخدمون أو استخدموا أدوات الذكاء الاصطناعي لاقتراح وتكملة الكود. تتمتع معظم هذه الأدوات “المرافق” بقدرات أمنية. في الواقع، الانضباطات البرمجية ذات النتائج الثنائية مثل الترميز (يتجاوز الكود اختبارات الوحدة أو يفشل) مناسبة جيدًا للنماذج اللغوية الكبيرة. إلى جانب فحص الكود لأمان التطوير وخط أنابيب CI/CD، يمكن أن تكون الذكاء الاصطناعي قيمة لفرق الأمن بعدة طرق:

• تحليل متقدم: يمكن للنماذج اللغوية الكبيرة معالجة كميات هائلة من بيانات الأمن (سجلات، تنبيهات، استخبارات التهديد) لتحديد الأنماط والارتباطات غير مرئية للبشر. يمكنهم القيام بذلك عبر اللغات، على مدار الساعة، وعبر أبعاد متعددة في نفس الوقت. هذا يفتح فرصًا جديدة لفرق الأمن. يمكن للنماذج اللغوية الكبيرة تقليل كومة التنبيهات في وقت قريب، وتحديد تلك التي من المرجح أن تكون شديدة. من خلال التعلم التعزيزي، يجب أن تتحسن التحليلات مع مرور الوقت.
• الآلية: يمكن للنماذج اللغوية الكبيرة آليّة مهام فرق الأمن التي تتطلب عادةً التفاعل الحواري. على سبيل المثال، عندما تتلقى فرقة أمنية معرّفًا للخطر وتحتاج إلى سؤال مالك النقطة النهاية عما إذا كان قد سجل الدخول إلى جهاز أو إذا كان موجودًا في مكان خارج نطاق عمله العادي، يمكن للنموذج اللغوي الكبير أداء هذه العمليات البسيطة ثم متابعة الأسئلة حسب الضرورة والروابط أو الإرشادات. كان هذا التفاعل يحتاج إلى أن يقوم به عضو في فريق دعم تقني أو أمني. يمكن للنماذج اللغوية الكبيرة تقديم وظائف أكثر تقدمًا. على سبيل المثال، يمكن لمساعد أمان مايكروسوفت生成 تقارير تحليل الحوادث وترجمة رمز البرمجيات الخبيثة إلى وصفات لغة طبيعية.
• التعلم المستمر والتعديل: على عكس الأنظمة السابقة للتعلم الآلي لأمان السياسات والفهم، يمكن للنماذج اللغوية الكبيرة التعلم أثناء الطيران من خلال استهلاك تقييمات الإنسان لاستجاباتها وضبطها على برك بيانات جديدة قد لا تكون محتواة في ملفات السجلات الداخلية. في الواقع، باستخدام نفس نموذج الأساس، يمكن ضبط نماذج الأمان اللغوية الكبيرة لأفرقة ومتطلباتها و Flux أو المهام الإقليمية أو الخاصة بالقطاع. هذا يعني أيضًا أن النظام بأكمله يمكن أن يكون ذكيًا مثل النموذج، مع انتشار التغييرات بسرعة عبر جميع الواجهات.

مخاطر النماذج اللغوية الكبيرة للأمن السيبراني

كтехнологيا جديدة ذات سجل قصير، تحمل النماذج اللغوية الكبيرة مخاطر كبيرة. أسوأ من ذلك، من الصعب فهم مدى هذه المخاطر لأن مخرجات النماذج اللغوية الكبيرة لا تتميز بالتنبؤ أو البرمجة بنسبة 100%. على سبيل المثال، يمكن للنماذج اللغوية الكبيرة “الهلوسة” واختراع الإجابات أو الإجابة بشكل غير صحيح، بناءً على بيانات وهمية. قبل اعتماد النماذج اللغوية الكبيرة لاستخدامات أمان السيبراني، يجب مراعاة المخاطر المحتملة، بما في ذلك:

• حقن البرمجة: يمكن للمهاجمين تصميم برمجة خبيثة بشكل خاص لإنتاج مخرجات خادعة أو ضارة. يمكن أن يستغل هذا النوع من الهجوم ميل النموذج اللغوي الكبير إلى توليد المحتوى بناءً على البرمجة التي يتلقاها. في استخدامات أمان السيبراني، قد يكون حقن البرمجة أكثر خطورة كشكل من أشكال الهجوم الداخلي أو الهجوم بواسطة مستخدم غير مخول الذي يستخدم البرمجة لتغيير مخرجات النظام بشكل دائم من خلال تحريف سلوك النموذج. يمكن أن يولد هذا مخرجات غير دقيقة أو غير صالحة لمستخدمي النظام الآخرين.
• تلوث البيانات: يمكن تلوث البيانات التي تعتمد عليها النماذج اللغوية الكبيرة عن قصد، مما يضعف اتخاذ القرارات. في بيئات أمان السيبراني، حيث يحتمل أن تستخدم المنظمات نماذج مدربة بواسطة مزودي الأدوات، قد يحدث تلوث البيانات أثناء ضبط النموذج لعملاء وcases محددة. يمكن أن يكون الخطر هنا هو إضافة مستخدم غير مخول لبيانات سيئة – على سبيل المثال، ملفات سجلات معيبة – إلى عملية التدريب. يمكن لمستخدم مخول القيام بذلك عن غير قصد. ستكون مخرجات النموذج اللغوي الكبير بناءً على بيانات سيئة.
• الهلوسة: كما ذكرنا سابقًا، قد يولد النماذج اللغوية الكبيرة استجابات غير دقيقة أو غير منطقية أو حتى خبيثة بسبب سوء فهم البرمجة أو عيوب البيانات الأساسية. في استخدامات أمان السيبراني، يمكن أن يؤدي الهلوسة إلى أخطاء حرجة تؤثر على استخبارات التهديدات وترياق العيوب وإصلاحها وأكثر. نظرًا لأن أمان السيبراني هو نشاط حرج، يجب أن تُحمل النماذج اللغوية الكبيرة إلى معيار أعلى في إدارة ومنع الهلوسة في هذه السياقات.

随着 زيادة قدرات الأنظمة الذكية، تتوسع عمليات نشرها الأمنية بسرعة. من الواضح أن العديد من شركات الأمن السيبراني تستخدم منذ فترة طويلة مطابقة الأنماط والتعلم الآلي للفلاتر الديناميكية. ما هو جديد في عصر الذكاء الاصطناعي التوليدي هو النماذج اللغوية الكبيرة التفاعلية التي توفر طبقة من الذكاء فوق Flux والبرك الحالية للبيانات، مما يحسن كفاءة فرق أمان السيبراني ويحسن قدراتهم. وبعبارة أخرى، يمكن للذكاء الاصطناعي العام مساعدة مهندسي الأمن على القيام بأكثر مع جهد أقل وموارد متساوية، مما يؤدي إلى أداء أفضل وعمليات متسارعة.