الأمن السيبراني
تكشف Cato Networks عن AgentSense لإيقاف الأفعال الضارة لوكلاء الذكاء الاصطناعي قبل تنفيذها

النقاط الرئيسيةيستهدف AgentSense حقن المطالبات غير المباشر من خلال تتبع كيفية توجيه المحتوى غير…
عرض المزيد
- يستهدف AgentSense حقن المطالبات غير المباشر من خلال تتبع كيفية توجيه المحتوى غير الموثوق لأفعال الوكيل.
- لا تضمن بيانات الاعتماد الصالحة سلوكًا آمنًا لأن الوكيل يمكن التلاعب به لارتكاب أفعال ضارة.
- تدعو مسابقة Cato بقيمة 10,000 دولار الباحثين لاختبار ما إذا كان AgentSense يقاوم إعادة توجيه سير العمل العدائي.
كشفت Cato Networks عن AgentSense، وهي ميزة أمنية تعمل أثناء التشغيل، صُممت لمنع الأفعال الضارة لوكلاء الذكاء الاصطناعي قبل تنفيذها. طوّر Cato AI Labs هذه التقنية لتتبّع كيفية تأثير المحتوى غير الموثوق في سلوك الوكيل، ومعالجة خطر لا تعالجه أذونات الوصول المعتادة بالكامل: فقد يمتلك الوكيل بيانات اعتماد مشروعة، ومع ذلك يتعرّض للتلاعب فيُقدم على فعل غير مناسب.
تقول Cato إن AgentSense مدمجة في منصتها، وستُتاح من دون رسوم إضافية ضمن تراخيص Cato AI Usage. ويقترن الإعلان عن التقنية بتحدٍّ للاختبار العدائي، يقدّم 10,000 دولار لكل واحد من أول ثلاثة مشاركين مؤهلين ينجحون في تحويل مسار عمل محمي إلى أفعال خبيثة.
قد تؤدي الأذونات السارية مع ذلك إلى فعل غير آمن
قد يحتاج وكيل المؤسسة إلى قراءة رسائل البريد الإلكتروني، والبحث في المستندات، والاطلاع على المواقع الإلكترونية، واستدعاء الأدوات لإنجاز مهمة. ويوسّع كل مصدر نطاق المعلومات التي يستطيع استخدامها، لكنه يتيح أيضًا للنصوص الخارجية فرصة التأثير في خطوته التالية.
يستغل حقن التعليمات غير المباشر هذا الحد الفاصل. فبدلًا من إصدار تعليمات مباشرة بصفة المستخدم المخوّل، يخفي المهاجم تعليمات ضمن مواد يصادفها الوكيل أثناء عمله. وقد يتضمن مستند أو تذكرة أو صفحة ويب أو استجابة أداة نصًا يحاول تغيير مسار سير العمل، أو كشف معلومات، أو إطلاق إجراء لا صلة له بالمهمة.
يظل التحقق من قدرة الوكيل على الوصول إلى تطبيق ما أمرًا مهمًا، لكنه يجيب عن سؤال يختلف عن سؤال ما إذا كان إجراء بعينه يخدم المهمة التي أذن بها المستخدم. فعلى سبيل المثال، قد يُسمح للوكيل بقراءة سجلات العمل من دون أن يكون مخوّلًا بإرسالها إلى وجهة يقترحها مستند استُرجع أثناء العمل.
تتمثل فكرة AgentSense في تقييم هذا السلوك أثناء التنفيذ، مع إتاحة فرصة للتدخل قبل تنفيذ إجراء حساس.
تتبّع تأثير المحتوى غير الموثوق داخل جلسة الذكاء الاصطناعي
تفصل ميزة «اكتشاف التأثير غير الموثوق» المُعلن عنها بين التعليمات الموثوقة والمحتوى غير الموثوق داخل جلسة الذكاء الاصطناعي، وتتتبّع أثر المحتوى غير الموثوق في السلوك والمخرجات. وتقول Cato إنها تحظر الإجراء عندما ترصد محتوى غير موثوق يوجّه الوكيل نحو خطوة غير آمنة.
هذا التمييز مهم، لأن الهجوم لا يلزم أن يبدو كتعليمة خبيثة مألوفة. وتوضح Cato أن AgentSense تقيّم التأثير بدلًا من الاعتماد على مصنّفات ثابتة أو قائمة بأنماط الهجمات التي رُصدت سابقًا. ويُفترض أن يساعد ذلك على مواجهة أشكال جديدة من حقن التعليمات غير المباشر، إلى جانب الأشكال المعروفة.
يصف الإعلان التقنية بأنها حاصلة على براءة اختراع، لكنه لا يقدّم رقمًا للبراءة أو تفاصيل عن التنفيذ أو معيارًا مستقلًا لقياس الفاعلية. ولذلك ينبغي فهم ادعاء الحماية من الهجمات التي لم تُرصد من قبل على أنه قدرة أمنية مقصودة للمنتج، لا ضمانًا بإيقاف كل محاولة لحقن التعليمات.
السؤال العملي هو ما إذا كانت طبقة الحماية تمتلك ما يكفي من السياق المتعلق بالجلسة والإجراء للتمييز بين استخدام مستند بوصفه دليلًا والتعامل معه بوصفه مصدرًا للصلاحية. وتستهدف AgentSense هذا التمييز مباشرةً.
اكتشاف الانحراف قدرة منفصلة مخطط لها
وتصف Cato أيضًا ميزة اكتشاف الانحراف في AgentSense بصيغة تتطلع إلى المستقبل. وستقيّم الميزة المخطط لها ما إذا كانت أفعال الوكيل تواصل خدمة المهمة الأصلية مع تقدم سير العمل.
وتكمّل هذه الميزة اكتشاف التأثير، لكنها لا تعالج المشكلة نفسها تمامًا. إذ يسأل اكتشاف التأثير غير الموثوق عما إذا كان المحتوى الخارجي يوجّه الإجراء، بينما يُفترض أن يسأل اكتشاف الانحراف عما إذا كان الإجراء لا يزال يخدم الهدف، حتى لو كانت الخطوة المنفردة مسموحًا بها من الناحية التقنية.
قد تتراكم في سير العمل تدريجيًا خطوات لم تعد تخدم غايته. ويتطلب اكتشاف هذا الانحراف الاحتفاظ بتصور للهدف المصرّح به على امتداد الجلسة، بدلًا من تقييم كل استدعاء لأداة بمعزل عن غيره. ولا يحدد الإعلان موعدًا منفصلًا لإتاحة ميزة اكتشاف الانحراف.
كيف تندمج AgentSense في منصة Cato الحالية لأمن الذكاء الاصطناعي
يتضمن عرض Cato لأمن الذكاء الاصطناعي الوكيلي بالفعل ضوابط لاكتشاف الوكلاء وخوادم بروتوكول سياق النموذج، وتحليل استدعاءات الأدوات، وفرض السياسات على تفاعلات الوكلاء. وتجمع منصة Cato الأوسع نطاقًا بين سياقات الشبكات والوصول والأمن.
وتفصل الشركة أيضًا بين أمن استخدام الموظفين للذكاء الاصطناعي وحماية التطبيقات. ويشمل عرضها لأمن تطبيقات الذكاء الاصطناعي رؤيةً أثناء التشغيل، وفحصًا للمطالبات والاستجابات، ووسائل حماية قابلة للتهيئة لتطبيقات الذكاء الاصطناعي المنشورة. ويوفر ذلك سياقًا لفهم تركيز AgentSense على سلامة الأفعال المنفذة أثناء سير العمل.
عمليًا، ينطوي ضبط استخدام الذكاء الاصطناعي على عدة قرارات مترابطة: ما الخدمات التي تسمح بها المؤسسة، وما البيانات التي يمكن أن تصل إليها، وما الذي يجوز للوكيل فعله بالمعلومات التي يصادفها. وتضيف AgentSense إلى هذه المنظومة ادعاءً يتعلق بالسلوك، إذ تحدد متى يقود المحتوى غير الموثوق الفعل نفسه.
تُظهر أبحاث حقن المطالبات أهمية هذا الحد الفاصل
تصف أبحاث EchoLeak التي أجرتها Cato سلسلة هجمات قد يؤدي فيها محتوى وارد من مصادر خارجية إلى كشف Microsoft 365 Copilot معلومات من سياقه. وتكمن أهمية ذلك لأمن الوكلاء في الانتقال من قراءة مواد خارجية إلى تنفيذ تعليمات مضمنة فيها.
وتناولت أبحاث CurXecute نتيجة مختلفة: إذ قد يؤدي حقن المطالبات عبر محتوى خارجي إلى دفع وكيل برمجي لتعديل إعدادات MCP وبدء تنفيذ الأوامر. ويذكر تقرير Cato أن Cursor عالج هذه الثغرة في الإصدار 1.3. ويوضح هذا المثال أحد أنماط الإخفاق، ولا ينبغي فهمه على أنه ادعاء بأن المشكلة التي عولجت لا تزال قائمة.
توضح الحالتان أهمية معرفة مصدر المحتوى عندما يستطيع المساعد الوصول إلى بيانات حساسة أو أدوات تنفيذ. فقد يتحول تفاعل يبدأ باسترجاع المعلومات إلى حادث أمني عندما يغيّر النص المسترجع مسار التحكم في سير العمل.
تحدٍ علني لاختبار الحماية
يدعو تحدي AgentSense مجتمع الأمن إلى دسّ تعليمات في سير عمل محمي ومحاولة توجيه الوكيل بعيدًا عن مقصد المستخدم. وتقول Cato إن النتائج وملاحظات المشاركين ستسهم في مزيد من التقييم والتحسين.
وفقًا للإعلان، سيحصل كل واحد من أول ثلاثة مشاركين مؤهلين ينجحون على 10,000 دولار. ولا يتضمن البيان الصحفي المقدَّم الرابط النهائي للتحدي أو قواعده المفصلة، لذا ستعتمد شروط الأهلية وحدود الاختبار على شروط البرنامج المنشورة.
بالنسبة إلى المؤسسات التي توسّع نطاق استقلالية الوكلاء، تلبي AgentSense حاجة ملموسة: الحفاظ على الصلة بين المهمة التي يأذن بها المستخدم والإجراءات التي ينفذها نظام الذكاء الاصطناعي في نهاية المطاف. وستتوقف قيمة التقنية على مدى قدرتها على فرض هذا الحد الفاصل باستمرار، مع إتاحة مواصلة العمل المشروع.












