قادة الفكر
موجة الهجمات متعددة الوسائط القادمة: عندما تصبح أدوات الذكاء الاصطناعي سطحًا جديدًا للهجوم

النقاط الرئيسيةيمكن لوكلاء الذكاء الاصطناعي متعددة الوسائط تنفيذ هجمات حقيقية مثل تهريب البيانات من…
عرض المزيد
- يمكن لوكلاء الذكاء الاصطناعي متعددة الوسائط تنفيذ هجمات حقيقية مثل تهريب البيانات من خلال أوامر لغة طبيعية بسيطة.
- يُمكن الذكاء الاصطناعي الهجمات الإلكترونية من خلال تمكين المستخدمين غير التقنيين من تنظيم حملات معقدة دون الحاجة إلى مهارات برمجية.
- تحول التكاملات غير المحكمة والأذونات الافتراضية المفرطة أدوات الذكاء الاصطناعي إلى ثغرات أمنية جديدة كبرى.
مع تطور نماذج اللغة الكبيرة (LLMs) إلى أنظمة متعددة الوسائط يمكنها التعامل مع النصوص والصور والصوت والرمز، أصبحت هذه النماذج أيضًا منظمات قوية لأدوات ووصلات خارجية. ومع هذه التطورات، يتعين على المنظمات أن تكون على دراية بسطح الهجوم الموسع.
مثال رئيسي على ذلك هو الهندسة الاجتماعية، والتي يمكن أن يقع فيها الوكلاء لأنهم تم تدريبهم على التصرف مثل البشر وهم أقل شكوكية. على سبيل المثال، من غير المرجح أن يتمكن الوكيل من تحديد الفرق بين بريد إلكتروني مخادع وبريد إلكتروني من بائع شرعي.
تتجمع متعددة الوسائط ووصول الأدوات لتحويل الذكاء الاصطناعي من مساعد إلى وسيلة للهجوم. يمكن للمهاجمين الآن استخدام نصوص بسيطة لتحريض إساءة استخدام الأدوات أو تنفيذ إجراءات غير مصرح بها أو سرقة بيانات حساسة من خلال قنوات مشروعة. بسبب أن هذه القدرات مصممة للوصول، وليس للدفاع، يمكن حتى للمهاجمين منخفضي المهارة استخدام أنظمة الذكاء الاصطناعي لأداء عمليات معقدة دون كتابة سطر واحد من الشفرة.
كيف يصبح الذكاء الاصطناعي متعدد الوسائط سلسلة استغلال
نماذج اللغة الكبيرة تصبح بشكل متزايد منظمات لأنظمة خارجية، مع تضمين التكاملات اليوم كل شيء من واجهات برمجة التطبيقات إلى البريد الإلكتروني وتخزين السحابة وأدوات تنفيذ الرمز. هذه الوصلات غالبًا ما يتم بناؤها للوصول، وليس للدفاع.
الجانب السلبي من هذا هو أن ذلك يمكن أن يؤدي إلى موجة جديدة من الاستغلالات.
واحدة من هذه الآليات هي إساءة استخدام الأدوات التي تُحفز بواسطة النص. على سبيل المثال، يمكن للمهاجم استخدام صورة مع تعليمات الحقن المضمنة في بريد إلكتروني. تُستخدم أداة التعرف الضوئي على الحروف (OCR) لاستخراج النص من الصورة. يُطلب من الوكيل الرد على البريد الإلكتروني وتضمين خريطة جوجل إلى عنوان المنزل للفرد المستهدف، وبالتالي كشف موقع الضحية.
آلية أخرى هي تجاوز حواجز الحماية بين الوسائط. يتعلق ذلك بالحواجز التي تقع بين نقاط الدخول والخروج للأدوات. على سبيل المثال، عند تحليل مخرجات مستخرج OCR، قد لا تكون هناك حواجز قوية بما يكفي حول تعليمات الحقن المكتشفة من مخرجاتها.
هناك أيضًا نقاط ضعف هيكلية يمكن استغلالها. واحدة من هذه القضايا هي ربطات غير متماسكة وذات صلاحيات زائدة بين النموذج والأدوات الخارجية التي يمكنه استدعاؤها – مما يعني أن نصًا طبيعيًا بسيطًا يمكن أن يؤدي إلى أفعال حقيقية مثل تشغيل الرمز أو الوصول إلى الملفات أو التفاعل مع البريد الإلكتروني. بالإضافة إلى ذلك، تفتقر العديد من هذه الأنظمة إلى ضوابط وصول صارمة، لذلك قد يكون للذكاء الاصطناعي القدرة على كتابة أو حذف أو تعديل البيانات بشكل أكبر مما سيسمح به الإنسان. يصبح المشكل أكثر خطورة عند النظر إلى الوصلات وامتدادات MCP، والتي غالبًا ما تأتي مع حواجز قوية قليلة؛ بمجرد تثبيتها، تمدد وصول الذكاء الاصطناعي إلى التخزين الشخصي والصندوق الوارد ومنصات السحابة مع قليل من الرقابة. معًا، تخلق هذه النقاط الضعف بيئة حيث يمكن أن تؤدي المشاكل الأمنية الكلاسيكية – مثل سرقة البيانات أو الهروب من بيئات العزل أو حتى تسميم الذاكرة – إلى تنفيذها بمجرد موجه نصي مصاغ بذكاء.
التهديدات الناشئة: ماذا يأتي بعد ذلك؟
في هذا الوضع الجديد، هجمات البريد الإلكتروني والهندسة الاجتماعية المدعومة بالذكاء الاصطناعي وشيكة. سيزداد حجم التصيد الاحتيالي بسبب استخدام نماذج اللغة الكبيرة من قبل المهاجم؛ نقطة الخناق هي تجاوز مرشحات البريد العشوائي العادية من قبل مزودي البريد الإلكتروني مثل جوجل. يزيد الوكلاء المرتبطون بالصندوق الوارد من احتمال نجاح هجمات التصيد الاحتيالي.
من المحتمل أن يرتفع عدد التهديدات المعتمدة على البريد الإلكتروني لأن المستخدمين يربطون الوكلاء ببريد جيميل أو أوتلوك.
يمكن للمهاجمين توجيه الذكاء الاصطناعي لتشغيل حملات كاملة للبريد العشوائي أو التصيد الاحتيالي الموجه. في هذا السيناريو، يصبح التصيد من نظام ذكاء اصطناعي إلى آخر أمرًا محتملًا.
تزيد الأنظمة متعددة الوسائط بشكل متزايد من قدرات تنفيذ الرمز. مسارات الهروب تسمح للمهاجمين بخرق البنية التحتية. وتمثل هجمات الهروب من بيئات العزل أكبر كارثة سمعة للموردين.
تسمم الذاكرة على المدى الطويل والمحفزات المؤجلة تمثل تهديدات أخرى. تسمح الذاكرة الدائمة بتفعيل حمولات مخفية عند ورود موجهات مستقبلية. قد تؤدي المحفزات متعددة الوسائط (مثل الصور أو مقتطفات النص) إلى سلوكيات قنبلة موقوتة.
لماذا الهجمات متعددة الوسائط سهلة التنفيذ وخطيرة؟
أصبحت الهجمات متاحة بفضل الذكاء الاصطناعي. لا يحتاج المستخدمون بعد ذلك إلى مهارات برمجة أو تطوير البرامج الخبيثة؛ أصبح النص الطبيعي واجهة لإنشاء البرامج الخبيثة أو سرقة البيانات. هذا يعني أن حتى الأفراد غير التقنيين يمكنهم إنشاء برامج خبيثة أو تشغيل حملات من خلال النصوص.
يتيح الذكاء الاصطناعي أيضًا تسريع وتوسيع العمليات الضارة. يمكن للوكلاء متعددي الوسائط توفير العمل الذي كان يحتاج إلى جهد خبير في الماضي. يمكن إنتاج الرمز والبريد الإلكتروني والبحث والاستطلاع في لحظة.
تساهم ثقة المستخدمين الزائدة والتعرض غير المقصود في إمكانات الأذى للذكاء الاصطناعي. غالبًا ما لا يفهم المستخدمون ما يمكن للذكاء الاصطناعي الوصول إليه، وتزيد الإعدادات الافتراضية من تفعيل التكاملات تلقائيًا. لا يدرك العديد من الأشخاص أنهم قد منحوا للذكاء الاصطناعي صلاحيات زائدة للوصول إلى البريد الإلكتروني أو المستندات.
مبادئ وضوابط للأمن متعدد الوسائط
يجب على المنظمات وضع إجراءات أمنية ضد الهجمات متعددة الوسائط. سيتعين على فرق الأمن تقييد وصول الأدوات افتراضيًا. يجب استبدال التكاملات المفعلة تلقائيًا بضوابط تشترط موافقة المستخدم الصريحة. يجب تطبيق صلاحيات الوصول الأقل على جميع الأنظمة المرتبطة بالذكاء الاصطناعي وإزالة صلاحيات الكتابة والحذف. يجب أن يشمل ذلك قواعد الوصول بين مصادر مختلفة وقوائم النطاقات المسموح بها (على مستوى البنية التحتية، لا على مستوى النموذج اللغوي الكبير).
خطوة أخرى مهمة هي بناء حواجز واضحة لاستدعاء الأدوات. استبدل المحفزات النصية الطبيعية بالتحقق من الأوامر المهيكلة والمحددة الأنواع. يجب أن تعمل الحواجز كنقاط تحقق لكل من المدخلات والمخرجات.
تشمل المبادئ والضوابط المهمة الأخرى:
- فرض سير عمل موافقة قوية للعمليات الحساسة.
- تجنب وضع بيانات المستخدم في ذاكرة النموذج الثابتة. طبّق التنظيف الآلي للذاكرة والتحقق من مصدر المعلومات.
- تعزيز بيئات تنفيذ الرمز وعزلها.
- مراقبة السلوكيات المشبوهة ومحاولات الهروب.
- تعزيز تعليم المستخدمين والشفافية.
- إضافة تأكيدات مستخدم إضافية عند قيام الوكيل بأداء مهام مخاطرة.
- إعلام المستخدمين بوضوح عند وصول أدوات الذكاء الاصطناعي إلى البريد الإلكتروني أو الملفات أو الموارد السحابية.
- تحذير المستخدمين من الوصلات عالية المخاطر.
النجاح ضد الهجمات متعددة الوسائط
تطورت تقنيات الذكاء الاصطناعي بسرعة إلى وكلاء لعمليات الأعمال، مما خلق وضعًا حيث يصبح النص الطبيعي نفسه نوعًا من الاستغلال. تجمع متعددة الوسائط ووصول الأدوات يفتح سطح الهجوم، مما يحول الذكاء الاصطناعي من مساعد إلى وسيلة للهجوم. تستغل الهجمات متعددة الوسائط التكامل غير المتماسك بين نماذج اللغة الكبيرة والأنظمة الخارجية التي تتحكم فيها، مثل واجهات برمجة التطبيقات وتخزين الملفات ومنصات الأتمتة.
مع تطور التهديدات، يجب على المنظمات تبني استراتيجيات تضع بشكل صريح في الاعتبار مسارات الهجوم متعددة الوسائط. تعزيز الدفاعات باستخدام أفضل الممارسات المذكورة أعلاه ضروري لمنع أدوات الذكاء الاصطناعي من العمل دون قصد كروابط في سلسلة استغلال المهاجم.












