عندما ترتفع قدرة الذكاء الاصطناعي أسرع من النماذج الأمنية المبنية لاحتوائها

أدوات الذكاء الاصطناعي عادة ما تصل مع عرض مألوف. وتعد بتبسيط سير العمل، وتعزيز الإنتاجية، وتولي المهام التي لا أحد يستمتع بها. ومعظم الوقت، تقوم بذلك بالضبط. إنها تبسط عمليات تسجيل الدخول، وتلخص الوثائق، وتتولى سير العمل، وتجعل الأنشطة الروتينية تشعر وكأنها بدون مجهود.

لكن تحت هذا الراحة تقع قصة مختلفة. هذه الأدوات لم تعد مقصورة على مربع نص. إنها تتصرف على نظام التشغيل نفسه. يمكنها تصفح الملفات، وكتابة البريد الإلكتروني، والتفاعل مع التطبيقات، وتنفيذ الإجراءات التي تتطلب في السابق إنسانًا منتبهاً يفهم العواقب. هذا التحول يضع الذكاء الاصطناعي في موقع لا تتمكن النماذج الأمنية الحالية من إدارته.

اللحظة التي يكتسب فيها الذكاء الاصطناعي وصولًا إلى النظام

ما أن يصبح نظام الذكاء الاصطناعي قادرًا على قراءة الملفات الحقيقية وتنفيذ الأوامر الحقيقية، يصبح جزءًا من قاعدة الحوسبة الموثوقة. هذه هي اللحظة التي تبدأ فيها التوقعات الطويلة الأمد حول سلامة الذكاء الاصطناعي في الانكسار.

لمدة سنوات، كان الحقن الدافع يُعتبر سلوكًا غريبًا للنموذج. أدى إلى جعل الدردشات تنتج استجابات خادعة أو غير مناسبة، ولكن الضرر انتهى مع المحادثة. الآن، يمكن أن يؤدي نفس العيب إلى تنفيذ إجراءات على مستوى المضيف، وليس فقط النص. تعليمات خبيئة داخل ملف PDF أو موقع ويب أو بريد إلكتروني لا تنتج استجابة غريبة، بل إجراءً يتم اتخاذه على الجهاز.

هذا ليس شيئًا يمكن للصناعة إهماله باعتباره نظريًا. باحثون في جامعة كارنيجي ميلون وجامعة واشنطن قد أثبتوا مرارًا وتكرارًا أن التعليمات الخبيئة يمكن أن توجّه نماذج اللغة الكبيرة إلى تنفيذ إجراءات لم يكن المستخدمون يعتزمونها أبدًا. وفي غضون ذلك، باحثون يدرسون نماذج الرؤية أظهروا كيف يمكن للصور المُعدلة تغيير إدراك النموذج بطرق تؤثر على السلوك المتدفق.

كانت هذه التجارب تعامل معها في السابق على أنها غرائب مختبرية. لم تعد تشعر بالاكتئاب عندما يكون للذكاء الاصطناعي وصول إلى نظام التشغيل.

عندما يتجاوز قدرة الوكيل سيطرة المدافع

حتى الشركات التي تبني هذه الوكالات تدرك خطورة التحدي. لقد قويت المرشحات لمعالجة الدفعات، ولكنهم يعلنون بصراحة أن التحكم في الإجراءات الحقيقية لنظام الذكاء الاصطناعي لا يزال مجالًا نشطًا غير محلول في جميع أنحاء الصناعة. هذا الفجوة بين ما يمكن للوكيل القيام به وما يمكن للمدافعين التحكم به تُدخل فئة جديدة من المخاطر التي لا يمكن لبرامج الأمان الحالية امتصاصها.

لقد عبرت وكلاء الذكاء الاصطناعي حدودًا لا تكون الصناعة مستعدة لها بالكامل. الطريقة الوحيدة لفهم هذا هي النظر إلى كيفية映اة حقن الدفعات الآن إلى سلاسل الهجوم التي يتبعها المدافعون منذ أكثر من عقد.

كيف يُmapped حقن الدفعات الآن إلى سلاسل الهجوم التي يعرفها الجميع

المهاجمون دائمًا يتبعون نمطًا متوقعًا. إطار عمل MITRE ATT&CK يُحدد المراحل بوضوح. يُتبع الوصول الأول بالتنفيذ، والاستمرار، والاكتشاف، والحركة الجانبية، وجمع البيانات، والتنزيل. تختلف التقنيات، ولكن الهيكل مستقر.

ما يتغير هو آلية التسليم. بدلاً من إقناع مستخدم بفتح مرفق خبيث أو النقر على رابط خطير، يمكن للمهاجمين وضع تعليمات حيث سيقرأها وكيل الذكاء الاصطناعي. يصبح الوكيل بيئة التنفيذ. يقوم بتنفيذ الخطوات بالضبط كما هو موضح. النموذج لا يطرح أسئلة حول ما إذا كانت التعليمات ضارة. لا يطبق الحكم أو الذكاء. إنه يتصرف ببساطة.

ما أن يصبح المهاجم قادرًا على التأثير على منطق الوكيل، تتشكل سلسلة الهجوم بسرعة. ملف مُعدل يُؤدي إلى التنفيذ، وتعليمات متابعة تُؤدي إلى الاستمرار، وعمليات بحث النظام تُؤدي إلى الاكتشاف، وعمليات تحميل الملفات تُمكن من جمع البيانات والتنزيل. لا يُحتاج إلى برامج خبيثة. الوكيل يُؤدي الخطوات بالضبط كما هو مكتوب.

هذا هو الجزء من القصة الذي يصارع فيه فرق الأمن للتكيف معه. لقد أنفقوا سنوات في بناء قواعد الكشف، والضوابط، وعمليات الاستجابة حول التنفيذ القائم على الكود. وكلاء الذكاء الاصطناعي يُدخلون أنواعًا مختلفة من المترجمين. يُنفذون من خلال اللغة الطبيعية، وليس الثنائيات المجمعة. الأدوات الحالية لا تُبنى لمتابعة أو تحليل عملية التفكير هذه.

فرق الأمن ليست مستعدة ولا تدرك حتى

برامج الأمن لا تزال ت假فترض أن هناك إنسانًا يجلس بين المحتوى والإجراء. يمكن خداع البشر، لكنهم يُبطئون عندما شيء يبدو خاطئًا. يلاحظون العبارات الغريبة، ويسألون السلوك غير المتوقع، ويعطون الحكم في آخر ميل من القرار.

وكلاء الذكاء الاصطناعي لا يفعلون أي من هذا؛ إنهم متسقون، وحرفيون، وأسرع من أي عدو. خط واحد من النص الخفي كافٍ لتعليم الوكيل قراءة الملفات الحساسة، أو التنقل عبر التطبيقات، أو الاتصال بخادم بعيد. هذا يضع المدافعين في موقع لم يكونوا فيه من قبل.

لدي فرق الأمن رؤية محدودة حول كيفية وصول الوكيل إلى قرار، ولا يمكنهم تحديد ما إذا كان الإجراء يأتي من المستخدم أو الذكاء الاصطناعي. لا تقدم الكشف عن البرامج الخبيثة أي مساعدة لأن لا شيء خبيث يتم تنفيذه بالمعنى المعتاد، ولا يوجد ضمان أن الوكيل سيسأل أو يرفض تعليمات ضارة خبيئة في محتوى عادي.

الأدوات المصممة للسلوك البشري لا تنتقل ببساطة إلى عالم حيث تصبح اللغة الطبيعية السيناريو الذي يُحرك السلوك النظامي.

ما هي السيطرات التعويضية التي تعمل بالفعل

تقوية النموذج لا تكفي. فرق الأمن تحتاج إلى ضوابط حول الوكيل التي تُحدد ما يمكن للذكاء الاصطناعي القيام به، حتى عندما يُؤثر على منطقها. هناك استراتيجيات تُظهر وعدًا:

• وصول الامتياز الأدنى ضروري. يجب أن يكون للوكلاء وصول فقط إلى الملفات والإجراءات المطلوبة لمهامهم. تقليل الأذونات غير الضرورية يحد من تأثير التعليمات المُعدلة.
• خطوات الموافقة البشرية يمكن أن توقف الإجراءات الضارة قبل حدوثها. عندما يحاول الوكيل عملية حساسة، مثل تشغيل أمر أو الوصول إلى بيانات محمية، يجب على المستخدم الموافقة أو رفض الطلب.
• تصفية المحتوى يُخلق حاجزًا بين المواد غير الموثوقة والوكيل. فحص الوثائق، والعناوين، والنصوص الخارجية يقلل من فرص وصول التعليمات الخبيئة إلى النموذج.
• التسجيل الشامل إلزامي. يجب تسجيل كل إجراء مُتخذ بواسطة الوكيل ومراجعته. يجب معاملة هذه الإجراءات بنفس الطريقة التي تُعامَل بها أي نشاط مستخدم متميز.
• ربط سلوكيات الوكيل بتقنيات ATT&CK يساعد المدافعين على تحديد حيث يمكن دفع الوكيل إلى إجراءات ضارة وأين يجب وضع الحواجز. إنه يستخدم نفس النظام الذي يُحدد بالفعل الاستراتيجية الدفاعية.

سيطرات التعويض هذه لن تلغي المخاطر. لكنها تحتوي عليها بطرق لا تتمكن منها دفاعات مستوى النموذج.

أين تتجه الصناعة بعد ذلك

وكلاء الذكاء الاصطناعي يمثلون تحولًا كبيرًا في كيفية عمل الحوسبة. إنهم يقدمون إنتاجية مذهلة، لكنهم يُدخلون أيضًا فئة من المخاطر التشغيلية التي لا تتناسب داخل الإطارات الأمنية الحالية. الإرشادات من مركز الأمن السيبراني الوطني في المملكة المتحدة هي بداية، لكن معظم المنظمات لا تزال تفتقر إلى طريقة واضحة لتوجيه الوكلاء الذين يمكنهم التأثير على النظام.

يشبه هذا اللحظة أيام اعتماد السحابة المبكرة. انتقلت التكنولوجيا بسرعة أكبر من الضوابط. المنظمات التي تكيفت بسرعة كانت تلك التي أدركت التحول مبكرًا وبنت عمليات لتطابقها.

سيكون الأمر نفسه هنا. وكلاء الذكاء الاصطناعي ليسوا مجرد مساعدين. إنهم مشغلون ذوو وصول على مستوى النظام. تأمينهم يتطلب كتبًا جديدة، وحدودًا جديدة، وطرقًا جديدة لنمذجة التعرض.

الصناعة لا تحتاج إلى خوف من هذه الأدوات. لكنها تحتاج إلى فهمها. تحتاج إلى التحرك بسرعة، لأن المهاجمين يرون الفرصة بالفعل. السؤال هو ما إذا كان المدافعون سيبني الحواجز المناسبة بينما ما زالوا لديهم الوقت.