موجة الهجمات متعددة التعريفات القادمة: عندما تصبح أدوات الذكاء الاصطناعي سطحًا جديدًا للاستغلال

随着 نمو نماذج اللغة الكبيرة (LLMs) إلى أنظمة متعددة التعريفات يمكنها التعامل مع النصوص والصور والصوت والرمز، أصبحت هذه النماذج أيضًا منظمات قوية لأدوات ووصلات خارجية. ومع هذه التطورات، يتعين على المنظمات أن تكون على دراية بسطح الهجوم الموسع.

مثال رئيسي على ذلك هو الهندسة الاجتماعية، والتي يمكن أن يقع فيها الوكلاء لأنهم تم تدريبهم على التصرف مثل البشر وهم أقل شكوكية. على سبيل المثال، من غير المرجح أن يتمكن الوكيل من تحديد الفرق بين بريد إلكتروني مخادع وبريد إلكتروني من بائع شرعي.

تتجمع متعددة التعريفات ووصول الأدوات لتحويل الذكاء الاصطناعي من مساعد إلى وسيلة للهجوم. يمكن للمهاجمين الآن استخدام نصوص بسيطة لتحريض إساءة استخدام الأدوات أو تنفيذ إجراءات غير مصرح بها أو سرقة بيانات حساسة من خلال قنوات مشروعة. بسبب أن هذه القدرات مصممة للوصول، وليس للدفاع، يمكن حتى للمهاجمين منخفضي المهارة استخدام أنظمة الذكاء الاصطناعي لأداء عمليات معقدة دون كتابة سطر واحد من الشفرة.

كيف تصبح الذكاء الاصطناعي متعددة التعريفات سلسلة استغلال

نماذج اللغة الكبيرة تصبح بشكل متزايد منظمات لأنظمة خارجية، مع تضمين التكاملات اليوم كل شيء من واجهات برمجة التطبيقات إلى البريد الإلكتروني وتخزين السحابة وأدوات تنفيذ الرمز. هذه الوصلات غالبًا ما يتم بناؤها للوصول، وليس للدفاع.

الجانب السلبي من هذا هو أن ذلك يمكن أن يؤدي إلى موجة جديدة من الاستغلالات.

واحدة من هذه الآليات هي إساءة استخدام الأدوات التي تُحفز بواسطة النص. على سبيل المثال، يمكن للمهاجم استخدام صورة مع تعليمات الحقن المضمنة في بريد إلكتروني. يُستخدم أداة التعرف الضوئي على الحروف (OCR) لاستخراج النص من الصورة. يُطلب من الوكيل الرد على البريد الإلكتروني وتضمين خريطة جوجل إلى عنوان المنزل للفرد المستهدف، وبالتالي كشف موقع الضحية.

آلية أخرى هي تجاوز حواجز الحماية عبر الوضع. يتعلق ذلك بالحواجز التي تقع بين نقاط الدخول والخروج للأدوات. على سبيل المثال، عند تحليل مخرجات مستخرج OCR، قد لا تكون هناك حواجز قوية بما يكفي حول تعليمات الحقن المكتشفة من مخرجاتها.

هناك أيضًا نقاط ضعف هيكلية يمكن استغلالها. واحدة من هذه القضايا هي ربطات غير متماسكة وذات صلاحيات زائدة بين النموذج والأدوات الخارجية التي يمكنه استدعاؤها – مما يعني أن نصًا طبيعيًا بسيطًا يمكن أن يؤدي إلى أفعال حقيقية مثل تشغيل الرمز أو الوصول إلى الملفات أو التفاعل مع البريد الإلكتروني. بالإضافة إلى ذلك، تفتقر العديد من هذه الأنظمة إلى ضوابط وصول صارمة، لذلك قد يكون للذكاء الاصطناعي القدرة على كتابة أو حذف أو تعديل البيانات بشكل أكبر مما سيسمح به الإنسان. يصبح المشكل أكثر خطورة عند النظر إلى الوصلات وامتدادات MCP، والتي غالبًا ما تأتي مع حواجز قوية قليلة؛ بمجرد تثبيتها، تمدد وصول الذكاء الاصطناعي إلى التخزين الشخصي والصندوق الوارد ومنصات السحابة مع قليل من الرقابة. معًا، تخلق هذه النقاط الضعف بيئة حيث يمكن أن تؤدي المشاكل الأمنية الكلاسيكية – مثل سرقة البيانات أو الهروب من الحواسيب الافتراضية أو حتى تسميم الذاكرة – إلى تنفيذها من خلال أكثر من نص محرف ذكي.

التحديات الواردة: ماذا يأتي بعد ذلك؟

في هذا الوضع الجديد، الهجمات الإلكترونية التي تستخدم الذكاء الاصطناعي والهندسة الاجتماعية وشائعة. سترتفع كمية عمليات الاحتيال بسبب استخدام نماذج اللغة الكبيرة من قبل المهاجم؛ نقطة الخناق هي تجاوز مرشحات البريد العشوائي العادية من قبل مزودي البريد الإلكتروني مثل جوجل. يزيد الوكلاء المرتبطون بالصندوق الوارد من احتمال نجاح هجمات الاحتيال.

من المحتمل أن يرتفع عدد التهديدات المعتمدة على البريد الإلكتروني لأن المستخدمين يربطون الوكلاء ببريد جيميل أو أوتلوك.

يمكن للمهاجمين توجيه الذكاء الاصطناعي لتشغيل حملات احتيال كاملة أو هجمات استهداف محددة. في هذا السيناريو، يصبح الاحتيال بين الذكاء الاصطناعي أمرًا محتملًا.

تزيد الأنظمة متعددة التعريفات بشكل متزايد من قدرات تنفيذ الرمز. مسارات الهروب تسمح للمهاجمين بخرق البنية التحتية. وتمثل هجمات الهروب من الحواسيب الافتراضية أكبر كارثة سمعة للموردين.

تسمم الذاكرة على المدى الطويل وأحداث التأخير تمثل تهديدات أخرى. يسمح التخزين الثابت بتفعيل حمولات مخفية في المستقبل. قد تؤدي المحفزات متعددة التعريفات (مثل الصور أو مقتطفات النص) إلى سلوكيات قنبلة موقوتة.

لماذا الهجمات متعددة التعريفات سهلة ومخيفة?

أصبحت الهجمات متاحة بفضل الذكاء الاصطناعي. لا يحتاج المستخدمون بعد ذلك إلى مهارات برمجة أو تطوير البرامج الخبيثة؛ أصبح النص الطبيعي واجهة لإنشاء البرامج الخبيثة أو سرقة البيانات. هذا يعني أن حتى الأفراد غير التقنيين يمكنهم إنشاء برامج خبيثة أو تشغيل حملات من خلال النصوص.

تتيح الذكاء الاصطناعي أيضًا تسريع وتوسيع العمليات الضارة. يمكن للوكلاء متعددي التعريفات توفير العمل الذي كان يحتاج إلى جهد خبير في الماضي. يمكن إنتاج الرمز والبريد الإلكتروني والبحث والاستطلاع في لحظة.

تساهم ثقة المستخدمين الزائدة والتعرض غير المقصود في إمكانات الأذى للذكاء الاصطناعي. غالبًا ما لا يفهم المستخدمون ما يمكن للذكاء الاصطناعي الوصول إليه، وتزيد الإعدادات الافتراضية من تفعيل التكاملات تلقائيًا. لا يدرك العديد من الأشخاص أنهم قد منحوا للذكاء الاصطناعي صلاحيات زائدة للوصول إلى البريد الإلكتروني أو المستندات.

مبادئ وضوابط للأمان متعددة التعريفات

يجب على المنظمات وضع إجراءات أمنية ضد الهجمات متعددة التعريفات. سيتعين على فرق الأمن تقييد وصول الأدوات افتراضيًا. يجب استبدال التكاملات المفعلة تلقائيًا bằng ضوابط اختيارية. يجب تطبيق صلاحيات الوصول الأقل على جميع الأنظمة المرتبطة بالذكاء الاصطناعي وإزالة صلاحيات الكتابة والحذف. يجب أن يشمل ذلك قواعد المنشأ وبياض القائمة المجال (بياض القائمة البنية التحتية وليس بياض القائمة على مستوى النموذج).

خطوة أخرى مهمة هي بناء حواجز واضحة لاستدعاء الأدوات. استبدل المحفزات النصية الطبيعية بتحقق أوامر من النوع المحدد. يجب أن تكون الحواجز كلاً من نقاط الدخول والخروج.

تشمل المبادئ والضوابط المهمة الأخرى:

• فرض سير عمل موافقة قوية للعمليات الحساسة.
• تجنب وضع بيانات المستخدم في ذاكرة النموذج الثابتة. قم بتطبيق تحقق الذاكرة الآلي وعمليات التحقق.
• تعزيز بيئات تنفيذ الرمز وتعزيلها.
• مراقبة السلوكيات المشبوهة ومحاولات الهروب.
• تعزيز تعليم المستخدمين والشفافية.
• إضافة تأكيدات مستخدم إضافية عند قيام الوكيل بأداء مهام مخاطرة.
• إعلام المستخدمين بوضوح عند وصول أدوات الذكاء الاصطناعي إلى البريد الإلكتروني أو الملفات أو الموارد السحابية.
• تحذير المستخدمين من الوصلات عالية المخاطر.

النجاح ضد الهجمات متعددة التعريفات

تطورت تقنيات الذكاء الاصطناعي بسرعة إلى وكلاء لعمليات الأعمال، مما خلق وضعًا حيث يصبح النص الطبيعي نفسه نوعًا من الاستغلال. تجمع متعددة التعريفات ووصول الأدوات يفتح سطح الهجوم، مما يحول الذكاء الاصطناعي من مساعد إلى وسيلة للهجوم. تستغل الهجمات متعددة التعريفات التكامل غير المتماسك بين نماذج اللغة الكبيرة والأنظمة الخارجية التي تتحكم فيها، مثل واجهات برمجة التطبيقات وتخزين الملفات ومنصات الت 自动.

随着 تطور التهديدات، يجب على المنظمات تبني استراتيجيات تضع بشكل صريح في الاعتبار مسارات الهجوم متعددة التعريفات. تعزيز الدفاعات باستخدام أفضل الممارسات المذكورة أعلاه ضروري لمنع أدوات الذكاء الاصطناعي من العمل دون قصد كروابط في سلسلة استغلال المهاجم.