وكلاء الذكاء الاصطناعي يصبحون أكثر ذكاءً وسطح الهجوم الخاص بهم يزداد حجمًا

في اللحظة التي بدأ فيها وكلاء الذكاء الاصطناعي في حجز الاجتماعات وتنفيذ الشفرة والتصفح على الإنترنت باسمك، تحولت محادثات الأمن السيبراني. ليس ببطء، ولكن في ليلة وضحاها.

ما كان في السابق نظامًا برمجيًا محددًا ومتنبئًا أصبح شيئًا يفكر ويوضح ويتخذ إجراءات عبر أدوات وواجهات برمجة التطبيقات التي لم تكن تعرف عنها حتى قبل عام.

هذا أمر مثير حقًا، وأيضًا مخيف حقًا، لأن سطح الهجوم الذي يأتي مع هذه الاستقلالية ضخم، ومعظم المنظمات لم تبدأ بعد في فهم ما يعنيه السماح للوكلاء بالدخول إلى بنية تحتيةهم.

من البوتات الدردشة إلى المشغلين

الوعد الأصلي للذكاء الاصطناعي كان بسيطًا: اسأل سؤالًا، احصل على إجابة. هذا لا يزال صحيحًا لمعظم التفاعلات مع المستهلكين، ولكن هذا ليس ما يحدث في عمليات النشر التجارية بعد الآن. اليوم، يتم إعطاء الوكلاء أسماء المستخدمين وكلمات المرور ومفاتيح واجهة برمجة التطبيقات وقدرة على حذف وإنشاء وتعليق البيانات، بالإضافة إلى اتخاذ إجراءات حقيقية داخل الأنظمة التي لها عواقب حقيقية.

حدث التحول بسرعة. في أقل من عامين، انتقلت وكلاء الذكاء الاصطناعي من كونهم مولدات نصية إلى سماح لنا بتشغيل عمليات متعددة الوكلاء بشكل سلس. إنهم يقرؤون البريد الإلكتروني، ويؤدون سير العمل، ويسألون قواعد البيانات، وفي بعض الحالات يديرون وكلاء آخرين تحتهم. هذا المستوى من الوصول كان ي đòiية عملية شراء طويلة ووجود إنسان في الحلقة. الآن أصبح الأمر ملف تكوين وعددًا قليلاً من مكالمات واجهة برمجة التطبيقات.

المزيد من الوصول يعني المزيد من التعرض

الهجمات التقليدية على البرمجيات لها ملف تعريف قابل للتنبؤ به إلى حد ما. هناك نقطة دخول معروفة، وثغرة أمنية معروفة، وتصحيح معروف. وكلاء الذكاء الاصطناعي يكسرون هذا النموذج لأنهم ديناميكيون بتصميم. إنهم لا يتبعون مسارًا ثابتًا للشفرة. إنهم يفكرون في ما يجب فعله بعد ذلك، مما يعني أن سلوكهم أصعب في التنبؤ به وأصعب في المراجعة بعد ذلك.

تلك غير القابلية للتنبؤ مفيدة للحصول على العمل المنجز. كما أنها ميزة لأي شخص يحاول استغلال النظام. عندما يمكن لوكيل اتخاذ قرار، في منتصف المهمة، لاستدعاء واجهة برمجة تطبيقات خارجية أو استيراد أداة طرف ثالث، لا توجد حافة نظيفة للدفاع عنها.

فرق الأمن معتادة على حماية السطوح المعروفة ومراقبة تكاليف كوبرنيتس. الوكلاء يكتشفون سطوح جديدة وثغرات، ولا أحد يرسمها في الوقت الفعلي. قبل أن تعرف ذلك، يمكن لأي شخص الاستيلاء على أسماء المستخدمين وكلمات المرور والحصول على السيطرة على كائن الذكاء الاصطناعي بأكمله بخطوة واحدة.

حقن البرمجة هو الجديد من حقن SQL

إذا كان هناك متجه هجوم واحد يعود إليه باحثو الأمن باستمرار، فهو حقن البرمجة. الفكرة بسيطة: بدلاً من استغلال ثغرة أمنية في الشفرة، يخترق المهاجم الإرشادات التي يتلقاها الوكيل من خلال مدخلاته. تعليمات خبيثة متضمنة في صفحة ويب، أو وثيقة، أو حتى رسالة بريد إلكتروني يمكن أن تحول ما يفعله الوكيل بعد ذلك.

ما يجعل هذا الأمر حادًا بشكل خاص هو أن الوكلاء غالبًا ما يفعلون بالضبط ما يُطلب منهم. إنهم يعالجون المحتوى من الويب، ورسائل المستخدمين، وأدوات الطرف الثالث. أي من هذا المحتوى هو سطح حقن محتمل. وكيل يقرأ وثيقة مشبوهة ثم يقوم بمكالمات واجهة برمجة تطبيقات بناءً على محتواها قد تم اختراقه، ومن المحتمل أن لا يسجل أي شيء مما يجعل سلسلة السبب واضحة.

الدفاعات هنا حقيقية ولكنها غير كاملة. توجيه إجراءات الوكيل، وقيود الأدوات التي يمكن لوكيل استدعاؤها في سياقات معينة، وإنشاء نقاط فحص بشرية في سير العمل التي تهمها المخاطر الكبيرة تقلل من المخاطر. إنها لا تلغيها. ومعظم المنظمات لم تنفذ حتى الأساسيات بعد.

مشكلة الثقة داخل أنظمة الوكلاء المتعددة

ت introduce طبقة من التعقيد التي من السهل التقليل من شأنها. عندما يكون وكيل واحد يوجه عدة وكلاء آخرين، هناك هرمية الثقة في اللعب. يمرر الوكيل الأعلى الإرشادات إلى الأسفل، ويوكلاء الفرع يتبعونها. إذا تم اختراق الوكيل الأعلى، كل وكيل تحت него مخترق فعليًا أيضًا، وينمو نصف القطر بسرعة.

هناك أيضًا مشكلة الإذن الزائد. غالبًا ما يتم منح الوكلاء المزيد من الوصول مما يحتاجون إليه لأن من الأسهل منح صلاحيات واسعة في البداية بدلاً من تحسينها بشكل متكرر. وكيل البحث لا يحتاج إلى صلاحية الكتابة في قاعدة بيانات الإنتاج.

وكيل الجدولة لا يحتاج إلى الوصول إلى السجلات المالية. نعم، من المريح أن يكون كل شيء مترابطًا، ولكن من المخاطرة أن نرى أي عائدات غير متناقصة. لكن الخطوط تصبح غامضة في الممارسة، ومبادئ الصلاحيات الدنيا التي تعمل جيدًا في النظرية يتم التخلي عنها بهدوء في عجلة الشحن.

ما يبدو عليه الأمن المعقول هنا

لا يوجد حل واحد يجعّل عمليات النشر الوكيلية آمنة. إنه مشكلة متعددة الطبقات ويحتاج إلى استجابة متعددة الطبقات. المنظمات التي تفعل ذلك جيدًا تميل إلى البدء بضوابط الوصول: إعطاء كل وكيل نطاقًا محددًا وضيّقًا وبناء خطوات المراجعة في أي إجراء يلمس أنظمة أو خدمات حساسة.

الرصد يهم بنفس القدر الذي تهمه الوقاية. إذا فعل وكيل شيئًا غير متوقع، الفرق تحتاج إلى مسار كامل للإرشادات التي تلقاها، والأدوات التي دعمتها، وما تم إرجاعه. معظم إعدادات التسجيل لا يتم بناؤها مع هذا النوع من الدقة في الاعتبار، وتركيبها بعد ذلك أمر محرج. بناؤها من البداية يستحق الاحتكاك.

أيضًا، يتم استغلال الاختبار المعادي بشكل غير كافٍ. اختبار الوكلاء، محاولة حقن تعليمات خبيثة ومشاهدة ما يحدث، يظهر نقاط الضعف التي لن يكتشفها المراجعة الثابتة للشفرة أبدًا. من غير المريح التفكير في الأمر، ولكن الأشخاص الذين سيحاولون استغلال هذه الأنظمة يفعلون ذلك بالفعل. الوصول إليهم أولاً هو الحركة الوحيدة العقلانية.

أفكار ختامية

سوف يصبح وكلاء الذكاء الاصطناعي جزءًا أكبر من كيفية عمل المنظمات، وهذا التحول已经 قيد التنفيذ. تحتاج محادثات الأمن إلى اللحاق بالركب، وبسرعة. المخاطر حقيقية، ومسارات الهجوم جديدة، وفتحة النافذة للاستباق بها تضيق.

فهم مشهد التهديدات لأنظمة الذكاء الاصطناعي المستقلة لم يعد اختياريًا بعد الآن. إنه واحد من أهم الأشياء التي يمكن لفريق الأمن والهندسة القيام بها الآن، وساعة الحصول على الأمر الصحيح قد بدأت بالفعل.