التحكم في الوهم: الفوائد والمخاطر للنشر LLMs كجزء من عمليات الأمن

Large Language Models (LLMs) مدربة على كميات هائلة من البيانات يمكن أن تجعل فرق عمليات الأمن أكثر ذكاء. توفر LLMs اقتراحات وتوجيهات على الاستجابة والتدقيق وإدارة المواقف ، وأكثر من ذلك. معظم فرق الأمن تجرب أو تستخدم LLMs لتقليل العمل اليدوي في تدفقات العمل. يمكن أن يكون هذا لكل من المهام الروتينية والمعقدة.

على سبيل المثال ، يمكن لـ LLM استجواب موظف عبر البريد الإلكتروني إذا كان يعتزم مشاركة وثيقة كانت ملكية وتمت معالجة الاستجابة مع توصية لممارس الأمن. يمكن أيضًا تكليف LLM بترجمة الطلبات للبحث عن هجمات سلسلة التوريد على الوحدات المفتوحة المصدر وتشغيل الوكلاء المتخصصين في ظروف معينة – المساهمون الجدد في المكتبات الشائعة ، الأنماط الخاطئة للرمز – مع كل وكيل مخطط لهذا الشرط المحدد.

قال ذلك ، هذه الأنظمة الذكية القوية تحمل مخاطر كبيرة لا تشبه المخاطر الأخرى التي تواجه فرق الأمن. يمكن أن يتم اختراق نماذج LLMs التي تعمل بالأمان من خلال حقن البرومت أو تسميم البيانات. يمكن أن يسمح الحلقات التغذوية المستمرة والخوارزميات للتعلم الآلي بدون توجيه بشري كافٍ للممثلين السيئين بفحص التحكم وتحفيز الاستجابات المستهدفة بشكل سيئ. LLMs معرضة للأوهام ، حتى في المجالات المحدودة. حتى أفضل LLMs يخترعون الأشياء عندما لا يعرفون الجواب.

سيصبح من الأهمية بمكان Processes والأمان السياسات حول استخدام LLMs وعمليات التدفق أكثر أهمية مع انتشار هذه الأنظمة عبر عمليات الأمن السيبراني والبحث. سيثبت من المهم أن يتم الامتثال لتلك العمليات ، وأن يتم قياسها وضبطها في أنظمة الحوكمة ، لضمان أن يتمكن مسؤولو الأمن من توفير تغطية كافية لتقديم التوجيهات الجديدة مثل إطار الأمن السيبراني 2.0.

الوعد الكبير ل LLMs في الأمن السيبراني

يتعامل مسؤولو الأمن وفرقهم باستمرار مع الاضطراب المتزايد للهجمات السيبرانية الجديدة. وفقًا لـ Qualys ، بلغ عدد CVEs المبلغ عنها في عام 2023 رقمًا رقمًا قياسيًا جديدًا من 26,447. هذا هو أكثر من 5 أضعاف من عام 2013.

أصبح هذا التحدي أكثر إرهاقًا مع نمو سطح الهجوم لمنظمة متوسطة مع كل عام. يجب على فرق أمان التطبيقات تأمين ومراقبة العديد من التطبيقات البرمجية. أضافت تقنيات الحوسبة السحابية وواجهات برمجة التطبيقات والمتعددة السحابية والتخزين الافتراضي تعقيدات إضافية. مع أدوات وعمليات CI/CD الحديثة ، يمكن لفريق التطبيق شحن المزيد من الرموز ، بشكل أسرع ، وأكثر تكرارًا. قامت الخدمات الصغيرة بتقسيم التطبيقات المتماسكة إلى العديد من واجهات برمجة التطبيقات وسطح الهجوم ، كما ثقبت العديد من الثقوب في جدران الحماية العالمية للاتصال بخدمات خارجية أو أجهزة العملاء.

تعد LLMs المتقدمة واعدة لتقليل عبء عمل فرق الأمن السيبراني وتحسين قدراتهم. أدخلت أدوات الترميز القائمة على الذكاء الاصطناعي على نطاق واسع في تطوير البرمجيات. وجد بحث Github أن 92٪ من المطورين يستخدمون أو استخدموا أدوات الذكاء الاصطناعي لاقتراح الرموز واكمالها. تحتوي معظم أدوات “النظام” هذه على بعض القدرات الأمنية. في الواقع ، التخصصات البرمجية ذات النتائج الثنائية相对 (الرمز سيتم تمريره أو فشله في اختبارات الوحدة) مناسبة جيدًا لـ LLMs. بالإضافة إلى فحص الرموز للتنمية البرمجية وخط أنابيب CI/CD ، يمكن أن يكون الذكاء الاصطناعي قيمًا لفرق الأمن السيبراني في عدة طرق أخرى:

• التحليل المحسن: يمكن لـ LLMs معالجة كميات هائلة من بيانات الأمان (سجلات ، تنبيهات ، استخبارات التهديد) لتحديد الأنماط والارتباطات غير مرئية للبشر. يمكنهم القيام بذلك عبر اللغات ، حول الساعة ، وعبر أبعاد متعددة في نفس الوقت. هذا يفتح فرصًا جديدة لفرق الأمن. يمكن لـ LLMs حرق كومة من التنبيهات في الوقت الفعلي تقريبًا ، وتحديد تلك التي من المرجح أن تكون شديدة. من خلال التعلم التعزيزي ، يجب أن يتحسن التحليل مع مرور الوقت.
• الآلية: يمكن لـ LLMs توفير مهام فرق الأمن التي تتطلب عادةً التفاعل والتفاوض. على سبيل المثال ، عندما تتلقى فريق الأمن IoC ويتعين عليه سؤال صاحب النقطة النهاية إذا كان قد سجل بالفعل إلى جهاز أو إذا كان موجودًا في مكان خارج نطاق عمله العادي ، يمكن لـ LLM أداء هذه العمليات البسيطة ثم متابعة الأسئلة حسب الضرورة والروابط أو الإرشادات. كان هذا التفاعل الذي كان يجب على عضو فريق تكنولوجيا المعلومات أو الأمن إجراءه بنفسه. يمكن لـ LLMs توفير وظائف أكثر تقدمًا. على سبيل المثال ، يمكن لـ Microsoft Copilot لأمان الأمن生成 تقارير تحليل الحوادث وترجمة رمز البرامج الخبيثة المعقد إلى وصفات لغة طبيعية.
• التعلم المستمر والضبط: على عكس الأنظمة السابقة للتعلم الآلي لأمان السياسات والفهم ، يمكن لـ LLMs التعلم أثناء الطيران عن طريق استهلاك تقييمات الإنسان لاستجابته وضبطه على برك بيانات جديدة قد لا تكون محتواة في ملفات السجلات الداخلية. في الواقع ، باستخدام نفس نموذج الأساس التأسيسي ، يمكن ضبط LLMs للأمان السيبراني لفرق ومتطلباتها وعملياتها و مهامها الإقليمية أو الخاصة بالقطاع.

مخاطر LLMs للأمن السيبراني

كтехнологيا جديدة ذات سجل قصير ، LLMs تحمل مخاطر خطيرة. أسوأ من ذلك ، فهم مدى هذه المخاطر يصعب بسبب أن مخرجات LLMs ليست قابلة للتنبؤ أو البرمجة بنسبة 100٪. على سبيل المثال ، يمكن لـ LLMs “الوهم” واختراع الإجابات أو الإجابة على الأسئلة بشكل غير صحيح ، بناءً على بيانات وهمية. قبل اعتماد LLMs لاستخدامات الأمن السيبراني ، يجب مراعاة المخاطر المحتملة ، بما في ذلك:

• حقن البرومت: يمكن للمهاجمين إنشاء برومتات خبيثة خصيصًا لإنتاج مخرجات خادعة أو ضارة. يمكن أن يخترق هذا النوع من الهجوم نميل LLMs لإنشاء المحتوى بناءً على البرومتات التي يتلقاها. في حالات استخدام الأمن السيبراني ، قد يكون حقن البرومت أكثر خطورة كشكل من أشكال الهجوم الداخلي أو الهجوم بواسطة مستخدم غير مصرح له باستخدام البرومتات لتحويل سلوك النموذج.
• تسميم البيانات: يمكن أن يتم تلوث البيانات التي تعتمد عليها LLMs عن قصد ، مما يضعف اتخاذ القرارات. في إعدادات الأمن السيبراني ، حيث يُرجح أن تستخدم المنظمات نماذج مدربة بواسطة مزودي الأدوات ، قد يحدث تسميم البيانات أثناء ضبط النموذج للعميل والمामलة الاستخدامية المحددة. قد يكون الخطر هنا هو مستخدم غير مصرح له بإضافة بيانات سيئة – على سبيل المثال ، ملفات سجلات معيبة – لتعطيل عملية التدريب. يمكن لمستخدم مصرح له القيام بذلك عن غير قصد. سيكون الناتج مخرجات LLMs بناءً على بيانات سيئة.
• الأوهام: كما ذكرنا سابقًا ، قد تولد LLMs استجابات غير دقيقة أو غير منطقية أو حتى خبيثة بسبب سوء فهم البرومتات أو عيوب البيانات الأساسية. في حالات استخدام الأمن السيبراني ، يمكن أن يؤدي الوهم إلى أخطاء حرجة تعطل استخبارات التهديدات وترياق الثغرات وتصحيحها ، وأكثر من ذلك. لأن الأمن السيبراني هو نشاط حرج ، يجب أن تُحاسب LLMs على معيار أعلى لإدارة ومنع الأوهام في هذه السياقات.

随着 أنظمة الذكاء الاصطناعي أصبحت أكثر قدرة ، فإن نشراتها للأمن السيبراني تتوسع بسرعة. للوضوح ، استخدمت العديد من شركات الأمن السيبراني بالفعل مطابقة الأنماط والتعلم الآلي للفلاتر الديناميكية. ما هو جديد في عصر الذكاء الاصطناعي التوليدي هو LLMs التفاعلية التي توفر طبقة من الذكاء على رأس تدفقات العمل وبرك البيانات الحالية ، مما يحسن كفاءة فرق الأمن وتحسين قدراتها. بعبارة أخرى ، يمكن لـ GenAI مساعدة مهندسي الأمن على القيام بأكثر مع جهد أقل وموارد相同 ، مما يؤدي إلى أداء أفضل وعمليات أسرع.