الأمن السيبراني
الثغرات الأمنية التي بنيناها: وكلاء الذكاء الاصطناعي ومشكلة الطاعة
يُقدّم وكلاء الذكاء الاصطناعي القائمون على LLM فئة جديدة من الثغرات الأمنية، حيث يقوم المهاجمون بحقن تعليمات خبيثة في البيانات، مما يُحول الأنظمة المفيدة إلى شركاء غير راغبين.
لم يتم اختراق Microsoft Copilot بالطريقة التقليدية. لم يكن هناك أي برامج خبيثة أو روابط خبيثة أو رمز خبيث. لم يكن هناك أي شخص clicked على أي شيء أو نشر أي استغلال.
المنفذ فقط سأل. Microsoft 365 Copilot، الذي يفعل بالضبط ما تم بناؤه من أجله، امتثل. في الهجوم الأخير Echoleak بدون نقرة، تم التلاعب بوكيل الذكاء الاصطناعي بواسطة سؤال خفي مشابه للبيانات. امتثل، ليس لأنها كانت مكسورة، ولكن لأنها كانت تعمل كما تم تصميمها.
لم تستغل هذه الثغرة الأمنية أي أخطاء برمجية. لقد استغلت اللغة. وهذا يشير إلى نقطة تحول كبيرة في أمن المعلومات، حيث لا تكون سطح الهجوم هو الرمز البرمجي، ولكن المحادثة.
مشكلة طاعة الذكاء الاصطناعي الجديدة
يُصمم وكلاء الذكاء الاصطناعي للمساعدة. غرضهم هو فهم نية المستخدم والعمل عليها بفعالية. تأتي هذه الفائدة مع مخاطر. عندما يتم دمجها في أنظمة الملفات أو منصات الإنتاجية أو أنظمة التشغيل، يتبع هذه الوكلاء أوامر اللغة الطبيعية بقليلة من المقاومة.
يستغل المنفذون هذا الصفت بالضبط. مع حقنات سؤالات تبدو أبرياء، يمكنهم触ية أفعال حساسة. قد تتضمن هذه السؤالات:
- قطع код متعددة اللغات
- صيغ ملفات غامضة وتعليمات مدمجة
- مدخلات لغات غير الإنجليزية
- أوامر متعددة الخطوات مخفية في لغة غير رسمية
لأن نماذج اللغة الكبيرة (LLMs) يتم تدريبها على فهم التعقيد والغموض، يصبح السؤال حمولة.
شبح سيري وأليكسا
ليس هذا النمط جديدًا. في الأيام الأولى من سيري وأليكسا، أظهر الباحثون كيف يمكن لتشغيل أمر صوتي مثل “أرسل جميع صوري إلى هذا البريد الإلكتروني” أن يؤدي إلى إجراء دون تحقق المستخدم.
الآن التهديد أكبر. وكلاء الذكاء الاصطناعي مثل Microsoft Copilot يتم دمجهم深ًا في Office 365 وOutlook و نظام التشغيل. لديهم وصول إلى البريد الإلكتروني والوثائق والأسماء والمعلومات التأليف والواجهات البرمجية. يحتاج المهاجمون فقط إلى السؤال الصحيح لاستخراج البيانات الحساسة، وهم يتصرفون كالمستخدمين الشرعيين.
عندما تخطئ الحواسيب بين التعليمات والبيانات
ليس هذا مبدأ جديد في أمن المعلومات. نجحت الحقن مثل هجمات SQL لأن الأنظمة لم تتمكن من التمييز بين الإدخال والتعليمات. اليوم، توجد نفس الثغرة، ولكن على مستوى اللغة.
يُعتبر وكلاء الذكاء الاصطناعي اللغة الطبيعية كمدخل ونية. يمكن أن يؤدي كائن JSON أو سؤال أو حتى جملة إلى إجراء. هذا الغموض هو ما يستغله المنفذون، حيث يدمجون الأوامر داخل ما يبدو كمحتوى أبرياء.
لقد دمجنا النية في البنية التحتية. الآن، تعلم المنفذون كيفية استخراجها لتنفيذ أوامرهم.
تجاوز تبني الذكاء الاصطناعي أمن المعلومات
مع اندفاع الشركات لدمج LLMs، يتغاضى العديد منهم عن سؤال حاسم: ماذا يمكن للذكاء الاصطناعي الوصول إليه؟
عندما يمكن لـ Copilot الوصول إلى نظام التشغيل، يمتد نطاق الانفجار بعيدًا عن صندوق الوارد. وفقًا لتقرير أمن الذكاء الاصطناعي من Check Point:
- 62 في المئة من مسؤولي أمن المعلومات الرئيسيين يخشون أن يُحاسبوا شخصيًا على انتهاكات أمن الذكاء الاصطناعي
- تقريبًا 40 في المئة من المنظمات تُبلغ عن استخدام غير مصرح به للذكاء الاصطناعي داخليًا، غالبًا بدون إشراف أمني
- 20 في المئة من مجموعات الجريمة الإلكترونية تدمج الآن الذكاء الاصطناعي في عملياتها، بما في ذلك لصياغة البريد الإلكتروني الخبيث والتنصت
هذا ليس مجرد خطر ناشئ. إنه خطر حالي يسبب بالفعل ضررًا.
لماذا تفشل الحماية الحالية
يستخدم بعض البائعين مراقبين — نماذج ثانوية مدربة على اكتشاف تعليمات خبيثة أو سلوك مشبوه.
يمكن للمنفذين:
- تحميل المرشحات بالضوضاء
- تقسيم النية عبر خطوات متعددة
- استخدام صياغة غير واضحة لتجاوز الكشف
في حالة Echoleak، كانت هناك حماية موجودة — وتم تجاوزها. هذا يعكس ليس فقط فشلًا في السياسة، ولكن فشلًا في البنية. عندما يكون للوكيل صلاحيات عالية المستوى ولكن سياقًا منخفضًا، فإن حتى الحواجز الجيدة تفشل.
الكشف، وليس الكمال
من المحتمل ألا يكون من الممكن منع كل الهجمات. يجب أن يكون الهدف هو الكشف السريع والاحتواء السريع.
يمكن للمنظمات البدء ب:
- مراقبة نشاط وكلاء الذكاء الاصطناعي في الوقت الفعلي والحفاظ على سجلات مراجعة الدفعات
- تطبيق وصول أدنى صلاحيات ممكنة لأدوات الذكاء الاصطناعي، متوافقة مع ضوابط المستوى الإداري
- إضافة احتكاك إلى العمليات الحساسة، مثل تتطلب تأكيدات
- تعليم أنماط الدفعات غير العادية أو المعادية للاستعراض
الهجمات القائمة على اللغة لن تظهر في أدوات الكشف والاستجابة النموذجية لنقطة النهاية. إنها تتطلب نموذج كشف جديد.
ما يجب على المنظمات فعله الآن لحماية أنفسهم
قبل نشر وكلاء الذكاء الاصطناعي، يجب على المنظمات فهم كيفية عمل هذه الأنظمة وما هي المخاطر التي تطرحها.
التوصيات الرئيسية تشمل:
- مراجعة جميع الوصول: اعرف ما يمكن للوكلاء الوصول إليه أو تشغيله
- تقييد النطاق: منح أدنى صلاحيات ضرورية
- تتبع جميع التفاعلات: تسجيل الدفعات والاستجابات والactions الناتجة
- اختبار الضغط: محاكاة مدخلات معادية داخليًا وبطريقة متكررة
- التخطيط لتجاوز الحماية: افتراض أن المرشحات سوف يتم تجاوزها
- التناغم مع الأمن: ضمان أن أنظمة LLM تدعم، وليس تتحدى، أهداف الأمن
سطح الهجوم الجديد
Echoleak هو مقدمة لما سيأتي. مع تطور LLMs، يصبح مفيدًا عبئًا. يتم دمجهم深ًا في أنظمة الأعمال، ويوفر للمهاجمين طريقة جديدة للدخول — من خلال سؤالات بسيطة ومصممة جيدًا.
هذا لم يعد مجرد تأمين للرمز البرمجي. إنه تأمين اللغة والنية والسياق. يجب أن يتغير الكتاب الآن، قبل فوات الأوان.
ومع ذلك، هناك بعض الأخبار الجيدة. هناك تقدم يتم إحرازه في استخدام وكلاء الذكاء الاصطناعي لدفاع ضد التهديدات الإلكترونية الجديدة والناشئة. عندما يتم استخدامها بشكل صحيح، يمكن لوكلاء الذكاء الاصطناعي المستقل أن يستجيبوا للتهديدات بشكل أسرع من أي إنسان، ويتعاونوا عبر البيئات، ويدافعوا بشكل استباقي ضد المخاطر الناشئة من خلال التعلم من محاولة اختراق واحدة.
يمكن لوكلاء الذكاء الاصطناعي العاملين التعلم من كل هجوم، والتكيف في الوقت الفعلي، ومنع التهديدات قبل انتشارها. لديهم إمكانية إنشاء عصر جديد من متانة أمن المعلومات، ولكن فقط إذا استفدنا من هذه اللحظة وشكلنا مستقبل أمن المعلومات معًا. إذا لم نفعل ذلك، يمكن أن يشير هذا العصر الجديد إلى كابوس أمن المعلومات وخصوصية البيانات للمنظمات التي قامت بالفعل بتنفيذ الذكاء الاصطناعي (في بعض الأحيان حتى بدون علمهم مع أدوات تكنولوجيا المعلومات المظللة). الآن هو الوقت لاتخاذ الإجراءات لضمان استخدام وكلاء الذكاء الاصطناعي لصالحنا بدلاً من ضده.
