قاده التفكير
الثغرات الأمنية التي بنيناها: وكلاء الذكاء الاصطناعي ومشكلة الطاعة
تعمل وكلاء الذكاء الاصطناعي المستندة إلى LLM على تقديم فئة جديدة من الثغرات الأمنية، حيث يقوم المهاجمون بحقن تعليمات ضارة في البيانات، مما يحول الأنظمة المفيدة إلى شركاء غير مدركين.
لم يُخترق برنامج Microsoft Copilot بالمعنى التقليدي. لم يكن هناك أي برمجيات خبيثة، ولا روابط تصيد احتيالي، ولا أكواد خبيثة. لم ينقر أحد على أي شيء أو ينشر أي استغلال.
طلب المُهدّد ببساطة. امتثل Microsoft 365 Copilot، الذي كان يقوم بالضبط بما صُمّم من أجله. في الآونة الأخيرة، تسرب صدى الصوت هجوم النقرة الصفرية، حيث تم التلاعب بوكيل الذكاء الاصطناعي بواسطة موجه مُتنكر في صورة بيانات. وقد استجاب، ليس لأنه معطل، بل لأنه كان يعمل كما هو مُصمم له.
لم تستغل هذه الثغرة ثغرات برمجية، بل استغلت اللغة. وهذا يُمثل نقطة تحول رئيسية في مجال الأمن السيبراني، حيث لم يعد مجال الهجوم هو الكود البرمجي، بل المحادثة.
مشكلة طاعة الذكاء الاصطناعي الجديدة
وكلاء منظمة العفو الدولية صُممت هذه الوكلاء للمساعدة. هدفها هو فهم نية المستخدم والتصرف بناءً عليها بكفاءة. هذه الأداة تنطوي على مخاطر. عند دمجها في أنظمة الملفات، أو منصات الإنتاجية، أو أنظمة التشغيل، تتبع هذه الوكلاء أوامر اللغة الطبيعية بأقل مقاومة.
يستغلّ مُهدّدو البرامج الخبيثة هذه الميزة تحديدًا. فمن خلال عمليات حقن سريعة تبدو غير ضارة، يُمكنهم تحفيز إجراءات حساسة. قد تشمل هذه العمليات ما يلي:
- مقتطفات التعليمات البرمجية متعددة اللغات
- تنسيقات الملفات الغامضة والتعليمات المضمنة
- مدخلات بلغة غير الإنجليزية
- أوامر متعددة الخطوات مخفية في اللغة غير الرسمية
نظرًا لأن نماذج اللغة الكبيرة (LLMs) مدربة على فهم التعقيد والغموض، فإن المطالبة تصبح بمثابة الحمولة.
شبح سيري وأليكسا
هذا النمط ليس جديدًا. في الأيام الأولى لسيري وأليكسا، كان الباحثون تظاهر كيف يمكن أن يؤدي تشغيل أمر صوتي مثل "إرسال كل صوري إلى هذا البريد الإلكتروني" إلى تنفيذ إجراء دون التحقق من المستخدم.
أصبح التهديد أكبر الآن. أصبحت برامج الذكاء الاصطناعي، مثل Microsoft Copilot، مدمجة بعمق في Office 365 وOutlook ونظام التشغيل. وهي تصل إلى رسائل البريد الإلكتروني والمستندات وبيانات الاعتماد وواجهات برمجة التطبيقات. لا يحتاج المهاجمون إلا إلى التوجيه الصحيح لاستخراج البيانات المهمة، متظاهرين بأنهم مستخدمون شرعيون.
عندما تخطئ أجهزة الكمبيوتر في فهم التعليمات على أنها بيانات
هذا ليس مبدأً جديدًا في مجال الأمن السيبراني. حقن مثل هجمات SQL نجحت لأن الأنظمة لم تستطع التمييز بين المدخلات والتعليمات. واليوم، لا يزال هذا الخلل قائمًا، ولكن في طبقة اللغة.
يتعامل وكلاء الذكاء الاصطناعي مع اللغة الطبيعية كمدخلات وأغراض. يمكن لكائن JSON، أو سؤال، أو حتى عبارة، أن يبدأ إجراءً. هذا الغموض هو ما يستغله مُهَدِّدو التهديدات، حيث يُضمِّنون الأوامر في محتوى يبدو غير ضار.
لقد دمجنا النية في البنية التحتية. والآن، تعلمت الجهات التخريبية كيفية استخراجها لتنفيذ أهدافها.
إن تبني الذكاء الاصطناعي يتفوق على الأمن السيبراني
مع اندفاع الشركات نحو دمج برامج الماجستير في القانون، يتجاهل الكثير منها سؤالاً بالغ الأهمية: ما الذي يمكن للذكاء الاصطناعي الوصول إليه؟
عندما يتمكن مساعد الطيار من لمس نظام التشغيل، يتسع نطاق الانفجار إلى ما هو أبعد من صندوق الوارد. وفقًا لشركة Check Point تقرير أمن الذكاء الاصطناعي:
- يخشى 62 بالمائة من مسؤولي أمن المعلومات الرئيسيين في العالم من إمكانية تحميلهم المسؤولية الشخصية عن الخروقات المتعلقة بالذكاء الاصطناعي
- أفادت ما يقرب من 40 بالمائة من المؤسسات عن استخدام داخلي غير مصرح به للذكاء الاصطناعي، وغالبًا دون إشراف أمني
- 20 بالمائة من جماعات الجرائم الإلكترونية تدمج الآن الذكاء الاصطناعي في عملياتها، بما في ذلك صياغة التصيد الاحتيالي وإجراء الاستطلاع
هذا ليس مجرد خطر ناشئ، بل هو خطر قائم يُسبب أضرارًا بالفعل.
لماذا تفشل الضمانات الحالية؟
يستخدم بعض البائعين برامج مراقبة، وهي نماذج ثانوية مُدربة على رصد الإشارات الخطرة أو السلوكيات المشبوهة. قد تكشف هذه المرشحات عن تهديدات بسيطة، لكنها عرضة لتقنيات التهرب.
يمكن للجهات الفاعلة في التهديد أن تقوم بما يلي:
- مرشحات التحميل الزائد بالضوضاء
- تقسيم النية عبر خطوات متعددة
- استخدم عبارات غير واضحة لتجاوز الاكتشاف
في حالة Echoleak، كانت الضمانات موجودة، ولكن تم تجاوزها. هذا لا يعكس فشلًا في السياسة فحسب، بل فشلًا في البنية التحتية أيضًا. عندما يمتلك العميل أذونات عالية المستوى ولكن في سياق منخفض المستوى، فإن حتى الحواجز الوقائية الجيدة لا تفي بالغرض.
الكشف وليس الكمال
قد يكون منع كل هجوم أمرًا غير واقعي. يجب أن يكون الهدف الكشف السريع والاحتواء السريع.
يمكن للمنظمات أن تبدأ بـ:
- مراقبة نشاط وكيل الذكاء الاصطناعي في الوقت الفعلي والحفاظ على سجلات التدقيق السريعة
- تطبيق الحد الأدنى الصارم من الامتيازات للوصول إلى أدوات الذكاء الاصطناعي، وعكس عناصر التحكم على مستوى المسؤول
- إضافة الاحتكاك إلى العمليات الحساسة، مثل طلب التأكيدات
- الإشارة إلى أنماط المطالبة غير العادية أو المعادية للمراجعة
لن تظهر الهجمات القائمة على اللغة في الطرق التقليدية الكشف عن نقطة النهاية والاستجابة لها أدوات (EDR). إنها تتطلب نموذج كشف جديد.
ما ينبغي على المنظمات فعله الآن لحماية نفسها
قبل نشر وكلاء الذكاء الاصطناعي، يجب على المؤسسات فهم كيفية عمل هذه الأنظمة والمخاطر التي تسببها.
تشمل التوصيات الرئيسية ما يلي:
- تدقيق جميع عمليات الوصول: تعرف على ما يمكن للوكلاء لمسه أو تشغيله
- تحديد النطاق: منح الحد الأدنى من الأذونات الضرورية
- تتبع جميع التفاعلات: سجل المطالبات والاستجابات والإجراءات الناتجة
- اختبار الإجهاد: محاكاة المدخلات المعادية داخليًا وبشكل متكرر
- خطة للتهرب: افترض أن المرشحات سيتم تجاوزها
- التوافق مع الأمان: التأكد من دعم أنظمة LLM لأهداف الأمان، وليس المساس بها
سطح الهجوم الجديد
يُعدّ Echoleak لمحةً عما سيأتي. مع تطور برامج إدارة الموارد البشرية (LLM)، تُصبح فائدتها عبئًا. فهي مُدمجةٌ بعمق في أنظمة الأعمال، وتُتيح للمُهاجمين طريقةً جديدةً للتسلل - من خلال توجيهاتٍ بسيطةٍ ومُحكمةِ الصياغة.
لم يعد الأمر يقتصر على تأمين الكود فحسب، بل يتعلق أيضًا بتأمين اللغة والغرض والسياق. يجب تغيير دليل الاستخدام الآن، قبل فوات الأوان.
ومع ذلك، هناك بعض الأخبار الجيدة. هناك تقدم يُحرز في الاستفادة من وكلاء الذكاء الاصطناعي الدفاع ضد التهديدات السيبرانية الجديدة والناشئة. عند استخدامها بشكل صحيح، تستطيع وكلاء الذكاء الاصطناعي المستقلون الاستجابة للتهديدات أسرع من أي إنسان، والتعاون عبر بيئات مختلفة، والدفاع بشكل استباقي ضد المخاطر الناشئة من خلال التعلم من محاولة اختراق واحدة.
يستطيع الذكاء الاصطناعي الوكيل التعلم من كل هجوم، والتكيف آنيًا، ومنع التهديدات قبل انتشارها. لديه القدرة على إرساء عصر جديد من المرونة السيبرانية، ولكن فقط إذا اغتنمنا هذه الفرصة ورسمنا معًا مستقبل الأمن السيبراني. إذا لم نفعل ذلك، فقد يُنذر هذا العصر الجديد بكارثة أمنية سيبرانية وخصوصية بيانات للمؤسسات التي طبقت الذكاء الاصطناعي بالفعل (وأحيانًا دون علمها باستخدام أدوات تكنولوجيا المعلومات الخفية). الآن هو الوقت المناسب لاتخاذ إجراءات لضمان استخدام وكلاء الذكاء الاصطناعي لصالحنا بدلًا من تدميرنا.
