قادة الفكر
عندما ترتفع قدرات الذكاء الاصطناعي بشكل أسرع من نماذج الأمان المبنية لاحتوائها
عادة ما تأتي أدوات الذكاء الاصطناعي مع عرض مألوف. تعدهم لتبسيط سير العمل، وتعزيز الإنتاجية، وتولي المهام التي لا أحد يحبها. ومعظم الوقت، تقدم بالضبط ما وعدت به. إنها تبسط عمليات تسجيل الدخول، وتلخص الوثائق، وتأتمتة سير العمل، وتجعل الأنشطة الروتينية تشعر بالكاد بالجهد.
لكن تحت هذا الراحة كلها تقع قصة مختلفة. هذه الأدوات لم تعد مقيدة بعد الآن ب مربع النص. إنها تبدأ في التأثير على نظام التشغيل نفسه. يمكنها تصفح الملفات، وكتابة البريد الإلكتروني، والتفاعل مع التطبيقات، وتنفيذ الإجراءات التي كانت تتطلب في السابق وجود إنسان منتبه يفهم العواقب. هذا التحول يضع الذكاء الاصطناعي في موقع لا يمكن لنماذج الأمان الحالية إدارته.
اللحظة التي يكتسب فيها الذكاء الاصطناعي وصولاً إلى النظام
مرة واحدة يمكن للنظام الذكاء الاصطناعي قراءة الملفات الحقيقية وتنفيذ الأوامر الحقيقية، يصبح جزءًا من قاعدة الحوسبة الموثوقة. هذه هي اللحظة التي تبدأ فيها التوقعات الطويلة الأمد حول سلامة الذكاء الاصطناعي في الانكسار.
لمدة سنوات، كان حقن العرض يعتبر سلوكًا غريبًا للنموذج. أدى إلى إنتاج استجابات خادعة أو غير مناسبة من قبل الدردشات، ولكن الضرر انتهى مع المحادثة. الآن، يمكن أن يؤدي نفس العيب إلى إجراءات على مستوى المضيف، وليس فقط النص. تعليمات خبيئة داخل ملف PDF أو موقع ويب أو بريد إلكتروني لا تنتج استجابة غريبة. إنها تنتج إجراءً يتم اتخاذه على الجهاز.
هذا ليس شيئًا يمكن للصناعة إهماله كشيء نظري. قد أظهر الباحثون في جامعة كارنيغي ميلون وجامعة واشنطن مرارًا وتكرارًا أن التعليمات الخبيئة يمكن أن توجّه نماذج اللغة الكبيرة إلى تنفيذ إجراءات لم يعتد بها المستخدمون. في غضون ذلك، أظهر الباحثون الذين يدرسون نماذج الرؤية كيف يمكن للصور المُعدلة تغيير إدراك النموذج بطرق تؤثر على السلوك المتدفق.
كانت هذه التجارب تعامل معها في السابق كأشياء غريبة في المعمل. لم تعد تشعر بالأكاديمية عندما يكون للذكاء الاصطناعي وصول إلى نظام التشغيل.
عندما يتجاوز قدرة الوكيل سيطرة المدافع
حتى الشركات التي تبني هذه الوكلاء تعترف بمدى خطورة التحدي. لقد عززوا المرشحات لمعالجة العروض، لكنهم يعلنون علانية أن التحكم في الإجراءات الحقيقية للنظام الذكاء الاصطناعي يبقى مجالًا نشطًا وغير محسوم في جميع أنحاء الصناعة. هذا الفجوة بين ما يمكن للوكيل فعله وما يمكن للمدافعين سيطرته تقدم فئة جديدة من المخاطر التي لا يمكن لأي كتاب أمان موجود امتصاصها.
لقد crossed وكلاء الذكاء الاصطناعي حدودًا التي ليست الصناعة مستعدة لها تمامًا. الطريقة الوحيدة لفهم هذا هي النظر إلى كيفية تقاطع حقن العرض الآن مع سلاسل الهجوم التي يتبعها المدافعون منذ أكثر من عقد من الزمن.
كيف يرسم حقن العرض الآن إلى سلاسل الهجوم التي يعرفها الجميع
دائمًا ما اتبع المهاجمون نمطًا متوقعًا. يحدد إطار MITRE ATT&CK المراحل بوضوح. يلي الوصول الأول التنفيذ، والاستمرار، والاكتشاف، والحركة الجانبية، وجمع البيانات، والتفريغ. تختلف التقنيات، لكن الهيكل مستقر.
ما الذي يتغير هو آلية التسليم. بدلاً من إقناع مستخدم بفتح مرفق خبيث أو النقر على رابط خطير، يمكن للمهاجمين وضع التعليمات حيث سيقرأها وكيل الذكاء الاصطناعي. يصبح الوكيل بيئة التنفيذ. يقوم بتنفيذ الخطوات بالضبط كما هو موضح. لا يطرح النموذج أسئلة حول ما إذا كانت التعليمات ضارة. لا يطبق الحكم أو الذكاء. إنه يتصرف ببساطة.
مرة واحدة يمكن للمهاجم التأثير على منطق الوكيل، تتشكل سلسلة الهجوم بسرعة. تؤدي ملف مُعدل إلى التنفيذ، وتخلق تعليمات متابعة الاستمرار، وتوفر عمليات البحث الاكتشاف، وتتمكن عمليات تحميل الملفات من جمع البيانات والتفريغ. لا يحتاج إلى برامج خبيثة. يؤدي الوكيل الخطوات بالضبط كما هو مكتوب.
هذا هو الجزء من القصة التي تعاني منها فرق الأمان للتكيف معها. لقد قضو سنوات في بناء قواعد الكشف، والسيطرة، وعمليات الاستجابة حول التنفيذ القائم على الكود.
يُدخل وكلاء الذكاء الاصطناعي أنواعًا مختلفة من المترجمين. يقومون بالتنفيذ من خلال اللغة الطبيعية، وليس الثنائيات المجمعة. لا يتم بناء الأدوات الحالية لتعقب أو حتى تحليل عملية التفكير هذه.
فرق الأمان ليست مستعدة ولا تعرف حتى
برامج الأمان لا تزال تفترض أن هناك إنسانًا يجلس بين المحتوى والإجراء. يمكن خداع البشر، لكنهم ينتظرون عندما شيء يبدو خاطئًا. لاحظوا العبارات الغريبة، ويسألون السلوك غير المتوقع، ويعطون الحكم في آخر ميل من القرار.
لا يفعل وكلاء الذكاء الاصطناعي أي من هذا؛ إنهم متسقون، وحرفيون، وأسرع من أي عدو. يكفي سطر واحد من النص الخفي لتعليم الوكيل قراءة الملفات الحساسة، أو التنقل عبر التطبيقات، أو الاتصال بخادم بعيد. هذا يضع المدافعين في موقف لم يكونوا فيه من قبل.
لديها فرق الأمان رؤية محدودة حول كيفية وصول الوكيل إلى قرار، ولا يمكنهم تحديد بسهولة ما إذا كان الإجراء يأتي من المستخدم أو الذكاء الاصطناعي. لا تقدم الكشف عن البرامج الخبيثة أي مساعدة لأن لا شيء خبيث يتم تنفيذه بالمعنى المعتاد، ولا يوجد ضمان أن الوكيل سيسأل أو يرفض تعليمات خبيئة في المحتوى العادي.
الأدوات المصممة للسلوك البشري لا تنتقل ببساطة إلى عالم حيث تصبح اللغة الطبيعية السيناريو الذي يدفع السلوك النظامي.
ما هي السيطرات الت補نصية التي تعمل في الواقع
لا يكتفى بتقوية النموذج. تحتاج فرق الأمان إلى سيطرات حول الوكيل التي تقيد ما يمكن للذكاء الاصطناعي فعله، حتى عندما يكون منطقه متأثرًا.
تظهر استراتيجيات معينة وعدًا:
- دخول الامتياز الأقل ضروري. يجب أن يكون للوكلاء وصول فقط إلى الملفات والإجراءات المطلوبة لمهامهم. تقليل الأذونات غير الضرورية يحد من تأثير التعليمات المُعدلة.
- يمكن أن تمنع خطوات الموافقة البشرية الإجراءات الضارة قبل حدوثها. عندما يحاول الوكيل تنفيذ عملية حساسة، مثل تشغيل أمر أو الوصول إلى بيانات محمية، يجب على المستخدم الموافقة أو رفض الطلب.
- يخلق تصفية المحتوى حاجزًا بين المواد غير الموثوقة والوكيل. يقلل فحص الوثائق والروابط والنصوص الخارجية من فرص وصول التعليمات الخبيئة إلى النموذج.
- التسجيل الشامل إلزامي. يجب تسجيل كل إجراء تمت مبادرة الوكيل ومراجعته. يجب معاملة هذه الإجراءات بنفس الطريقة التي يتم بها معاملة أي نشاط مستخدم متميز.
- يساعد映اء سلوكيات الوكيل إلى تقنيات ATT&CK المدافعين على تحديد حيث يمكن دفع الوكيل إلى إجراءات ضارة وأين يجب وضع الحواجز. إنه يستخدم نفس النظام الذي يهيكل بالفعل الاستراتيجية الدفاعية.
سيطرات التعويض هذه لن تلغي المخاطر. لكنها تحتوي عليها بالطرق التي لا يمكن للدفاعات على مستوى النموذج تحقيقها.
أين تذهب الصناعة بعد ذلك
يمثل وكلاء الذكاء الاصطناعي تحولًا كبيرًا في كيفية عمل الحوسبة. إنهم يقدمون إنتاجية رائعة، لكنهم يُدخلون أيضًا فئة من المخاطر التشغيلية التي لا تناسب الإطارات الأمنية الحالية. الإرشاد من مركز الأمن السيبراني الوطني في المملكة المتحدة هو بداية، لكن معظم المنظمات لا تزال تفتقر إلى طريقة واضحة لإدارة وكلاء يمكنهم التأثير على النظام.
يشبه هذا اللحظة أيام اعتماد السحابة المبكر. انتقلت التكنولوجيا بسرعة أكبر من السيطرات. كانت المنظمات التي التكيفت بسرعة هي تلك التي أدركت التحول مبكرًا وبنت العمليات لتطابقها.
سيكون الأمر نفسه هنا. وكلاء الذكاء الاصطناعي ليسوا فقط مساعدين. إنهم مشغلون بالوصول إلى مستوى النظام. يتطلب حمايتهم كتب أمان جديدة، وحدائق أمان جديدة، وطرقًا جديدة لنمذجة التعرض.
الصناعة لا تحتاج إلى خوف من هذه الأدوات. لكنها تحتاج إلى فهمها. وهي تحتاج إلى التحرك بسرعة، لأن المهاجمين يرون بالفعل الفرصة. السؤال هو ما إذا كان المدافعون سيبنيون الحواجز المناسبة أثناء وجودهم لا يزالون لديهم الوقت.
