الأمن السيبراني
الثغرات الأمنية التي بنيناها: وكلاء الذكاء الاصطناعي ومشكلة الطاعة
أضف Unite.AI إلى مصادرك المفضلة على Google
يوفر وكلاء الذكاء الاصطناعي القائم على LLM فئة جديدة من الثغرات، حيث يقوم المهاجمون بحقن تعليمات خبيثة في البيانات، مما يtransformن الأنظمة المفيدة إلى شركاء غير راغبين.
لم يتم اختراق Microsoft Copilot بالطريقة التقليدية. لم يكن هناك أي برامج خبيثة أو روابط خبيثة أو رمز خبيث. لم يكن أحد قد نقر على أي شيء أو نشر أي استغلال.
الخطر كان ببساطة يسأل. Microsoft 365 Copilot، الذي كان يفعل بالضبط ما تم بناؤه من أجله، امتثل. في الهجوم الأخير Echoleak بدون نقرة، تم التلاعب بوكيل الذكاء الاصطناعي بواسطة سؤال مخفي كبيانات. امتثل، ليس لأنها كانت معطوبة، ولكن لأنها كانت تعمل كما تم تصميمها.
لم تكن هذه الثغرة تستغل أخطاء البرامج. استغلت اللغة. وهذا يشير إلى نقطة تحول رئيسية في الأمن السيبراني، حيث لا تكون سطح الهجوم رمزًا، ولكن محادثة.
مشكلة الطاعة الجديدة في الذكاء الاصطناعي
وكلاء الذكاء الاصطناعي مصممون للمساعدة. غرضهم هو فهم نية المستخدم والعمل عليها بفعالية. تأتي هذه الفائدة مع مخاطر. عندما يتم دمجها في أنظمة الملفات أو منصات الإنتاجية أو أنظمة التشغيل، يتبع هذه الوكلاء أوامر اللغة الطبيعية بقليلة المقاومة.
يستغل المهاجمون هذه الصفة بالضبط. باستخدام حقن سؤالات تبدو أبرياء، يمكنهم تشغيل إجراءات حساسة. قد تتضمن هذه السؤالات:
- قطع من الشفرة متعددة اللغات
- صيغ ملفات غامضة وتعليمات مدمجة
- مدخلات لغات غير إنجليزية
- أوامر متعددة الخطوات مخفية في لغة غير رسمية
نظرًا لأن نماذج اللغة الكبيرة (LLMs) يتم تدريبها على فهم التعقيد والغموض، تصبح السؤال حمولة.
شبح سيري وأليكسا
ليس هذا النمط جديدًا. في الأيام الأولى من سيري وأليكسا، أظهر الباحثون كيف يمكن لتشغيل أمر صوتي مثل “أرسل جميع صوري إلى هذا البريد الإلكتروني” أن يؤدي إلى إجراء دون التحقق من المستخدم.
الآن التهديد أكبر. وكلاء الذكاء الاصطناعي مثل Microsoft Copilot يتم دمجهم深ًا في Office 365 و Outlook و نظام التشغيل. لديهم وصول إلى البريد الإلكتروني و المستندات و بيانات الاعتماد و واجهات برمجة التطبيقات. يحتاج المهاجمون فقط إلى السؤال الصحيح لاستخراج بيانات حرجة، و كل ذلك بينما يتصرفون ك مستخدم مشروع.
عندما تخطئ الكمبيوتر بين التعليمات والبيانات
ليس هذا مبدأ جديد في الأمن السيبراني. نجحت الهجمات مثل هجمات SQL لأن الأنظمة لم تتمكن من التمييز بين الإدخال والتعليمات. اليوم، توجد نفس العيبة، ولكن على مستوى اللغة.
يعامل وكلاء الذكاء الاصطناعي اللغة الطبيعية كمدخل ونية. يمكن أن يؤدي كائن JSON أو سؤال أو حتى جملة إلى تشغيل إجراء. هذه الغموض هي ما يستغلها المهاجمون، حيث يدمجون الأوامر داخل ما يبدو كمحتوى أبرياء.
لقد دمجنا النية في البنية التحتية. الآن، تعلم المهاجمون كيفية استخراجها لتنفيذ أوامرهم.
تبني الذكاء الاصطناعي يتفوق على الأمن السيبراني
مع عجلة الشركات لدمج نماذج اللغة الكبيرة، يتغاضى الكثيرون عن سؤال حاسم: ماذا يمكن للذكاء الاصطناعي الوصول إليه؟
عندما يمكن لـ Copilot الوصول إلى نظام التشغيل، يتوسع نطاق الانفجار بعيدًا عن الصندوق. وفقًا لتقرير أمان الذكاء الاصطناعي من Checkpoint:
- 62٪ من مسؤولي الأمن السيبراني الخوف من أن يتم مسؤوليتهم شخصيًا عن انتهاكات متعلقة بالذكاء الاصطناعي
- تقريبًا 40٪ من المنظمات تقارير استخدام غير مصرح به للذكاء الاصطناعي داخليًا، غالبًا بدون إشراف أمني
- 20٪ من مجموعات الجريمة الإلكترونية تدمج الآن الذكاء الاصطناعي في عملياتها، بما في ذلك لصنع رسائل بريد إلكتروني خبيثة وإجراء استطلاعات
هذا ليس فقط خطر ناشئ. إنه خطر حالي يسبب بالفعل ضررًا.
لماذا تفشل الحماية الحالية
يستخدم بعض البائعين مراقبين – نماذج ثانوية مدربة على اكتشاف تعليمات خطيرة أو سلوك مشبوه. قد تكتشف هذه المرشحات التهديدات الأساسية، لكنها معرضة لتقنيات التهرب.
يمكن للمهاجمين:
- تحميل المرشحات بالضوضاء
- تقسيم النية عبر خطوات متعددة
- استخدام صياغة غير واضحة للتجاوز
في حالة Echoleak، كانت هناك حماية موجودة – وتم تجاوزها. هذا يعكس ليس فقط فشلًا في السياسة، ولكن فشلًا في الهندسة المعمارية. عندما يكون للوكيل صلاحيات عالية المستوى ولكن سياقًا منخفضًا، حتى الحواجز الجيدة تفشل.
اكتشاف، لا الكمال
من المحتمل ألا يكون من الممكن منع كل الهجمات. الهدف يجب أن يكون الكشف السريع والاحتواء السريع.
يمكن للمنظمات البدء ب:
- مراقبة نشاط وكلاء الذكاء الاصطناعي في الوقت الفعلي والحفاظ على سجلات مراجعة الدفعات
- تطبيق وصول أقل الامتيازات لادوات الذكاء الاصطناعي، مع مرآة التحكم الإداري
- إضافة احتكاك إلى العمليات الحساسة، مثل التأكيدات
- تعليم أنماط الدفعات غير العادية أو المعادية للاستعراض
الهجمات القائمة على اللغة لن تظهر في أدوات الكشف عن النقاط النهائية التقليدية. إنها تتطلب نموذجًا جديدًا للكشف.
ما يجب على المنظمات فعله الآن لحمايتها
قبل نشر وكلاء الذكاء الاصطناعي، يجب على المنظمات فهم كيف تعمل هذه الأنظمة وما هي المخاطر التي تطرحها.
تتضمن التوصيات الرئيسية:
- مراجعة جميع الوصول: اعرف ما يمكن للوكلاء الوصول إليه أو تشغيله
- تحديد النطاق: منح صلاحيات دقيقة ضرورية
- تتبع جميع التفاعلات: تسجيل الدفعات والاستجابات والactions الناتجة
- اختبار الضغط: محاكاة مدخلات معادية داخليًا وبشكل متكرر
- التخطيط للتجاوز: افتراض أن المرشحات سوف يتم تجاوزها
- التوافق مع الأمن: ضمان أن أنظمة الذكاء الاصطناعي تدعم، وليس تتحدى، أهداف الأمن
سطح الهجوم الجديد
هجوم Echoleak هو مقدمة لما سيأتي.随ما تطور نماذج اللغة الكبيرة، تصبح فائدتها عبئًا. المتكاملة深ًا في الأنظمة التجارية، تقدم للمهاجمين طريقًا جديدًا للدخول – من خلال سؤالات بسيطة ومصممة جيدًا.
لم يعد الأمر يتعلق ببساطة بتحقيق الأمان للرمز. إنه يتعلق بتحقيق الأمان للغة والنية والسياق. يجب أن يتغير الكتاب الآن، قبل فوات الأوان.
ومع ذلك، هناك بعض الأخبار الجيدة. هناك تقدم يتم إحرازه في استخدام وكلاء الذكاء الاصطناعي لدفاع ضد التهديدات السيبرانية الجديدة والناشئة. عندما يتم استخدامها بشكل صحيح، يمكن لهذه الوكلاء الذكية الاستجابة للتهديدات بشكل أسرع من أي إنسان، ويمكنهم التعاون عبر البيئات، والدفاع بشكل استباقي ضد المخاطر الناشئة من خلال التعلم من محاولة غزو واحدة.
يمكن لوكلاء الذكاء الاصطناعي التعلم من كل هجوم، والتكيف في الوقت الفعلي، ومنع التهديدات قبل انتشارها. لديهم إمكانية إنشاء عصر جديد من متانة الأمن السيبراني، ولكن فقط إذا استفدنا من هذه اللحظة واشكلنا مستقبل الأمن السيبراني معًا. إذا لم نفعل ذلك، قد يشير هذا العصر الجديد إلى كابوس أمن سيبراني وخصوصية البيانات للمنظمات التي قامت بالفعل بتنفيذ الذكاء الاصطناعي (في بعض الأحيان حتى بدون علم باستخدام أدوات تكنولوجيا المعلومات المظلمة). الآن هو الوقت المناسب للعمل على ضمان استخدام وكلاء الذكاء الاصطناعي لصالحنا بدلاً من دمارنا.
