قادة الفكر
التهديد الخفي للوكلاء الذكيين يتطلب نموذجًا أمنيًا جديدًا
لقد أصبحت أنظمة الذكاء الاصطناعي الوكيلية شائعة الاستخدام خلال العام الماضي. وهي الآن تستخدم لأداء العديد من الوظائف، بما في ذلك مصادقة المستخدمين، نقل رأس المال، تشغيل سير عمل الامتثال، وتنسيق العمل عبر بيئات المؤسسة مع إشراف بشري قليل.
然而، هناك مشكلة أخف تظهر مع زيادة الاستقلالية، ليس على مستوى الإشارات أو السياسات، ولكن على مستوى ثقة البنية التحتية. يتم منح الأنظمة الوكيلية صلاحيات داخلية أثناء تشغيلها على بيئات حوسبة لم يتم تصميمها لحماية صناع القرار الذاتي من البنية التحتية.
ت假设 الأمان التقليدي أن البرمجيات هي خاضعة، ولكن الأنظمة الوكيلية ليست كذلك. فهي تفكر وتتذكر وتعمل بشكل مستمر وذاتي مع تفويض الصلاحيات.
ولا ننسى أن الوكلاء الذكيين قد يكونون لديهم وصول إلى بيانات شخصية، بناءً على حالة استخدامهم، مثل البريد الإلكتروني وسجلات المكالمات، وغيرها.
بالإضافة إلى ذلك، بينما توجد حماية قائمة على الأجهزة، مثل الماكينات الافتراضية الموثوقة والمناطق الآمنة، إلا أنها ليست بعد الأساس الافتراضي لمعظم عمليات النشر للوكلاء الذكيين. ونتيجة لذلك، لا يزال العديد من الوكلاء يعملون في بيئات حيث يتم الكشف عن البيانات الحساسة للبنية التحتية أثناء التشغيل.
الوكلاء هم الداخليون، وليس الأدوات
فريق الأمان يعرف بالفعل مدى صعوبة احتواء التهديدات الداخلية، وهو vấnة تم التأكيد عليها في تقرير فيرايزون لعام 2025، الذي أظهر أن الغزو النظامي كان مسؤولاً عن أكثر من 53% من الانتهاكات المؤكدة في العام الماضي. وفي 22% من هذه الحالات، استخدم المهاجمون بيانات اعتماد مسروقة لتحقيق الوصول، مما يبرز مدى نجاحهم في استخدام الهويات الشرعية بدلاً من استغلال الثغرات الفنية.
الآن، ضع في اعتبارك وكيلًا، وهو يتكون من منطق الإشارة وأدوات وملحقات وبيانات اعتماد وسياسات. لا يمكنه فقط تشغيل الرموز وتصفح الويب، بل يمكنه أيضًا استعلام قواعد البيانات وقراءة البريد الإلكتروني ودفع التذاكر، وغيرها الكثير. ما أتى به الجمع بين الوظائف هو سطح الهجوم التقليدي إلى واجهة حديثة.
الخطر الذي تشكله هذه التهديدات الداخلية ليس افتراضيًا. مشروع OWASP يدرج الآن “حقن الإشارة” كفجوة أمنية حرجة لتطبيقات LLM، مشيرًا إلى خطرها الخاص لأنظمة الوكلاء التي تتشابك الإجراءات. كما نشر فريق استخبارات التهديدات في مايكروسوفت تنبيهات تحذيرية من أن أنظمة الذكاء الاصطناعي التي تتمتع بوصول إلى الأدوات يمكن أن يتم تحويلها لتنفيذ سرقة البيانات إذا لم يتم تطبيق الحماية بشكل معماري.
تقارير مثل هذه تقدم تذكيرًا في الوقت المناسب بأن الوكلاء الذين لديهم وصول مشروع إلى الأنظمة والبيانات يمكن أن يتم تحويلهم ضد أصحابهم. ومع ذلك، فإن مشهد المخاطر لأنظمة الوكلاء ليس موحدًا. التهديدات على مستوى التطبيق مثل حقن الإشارة وإساءة استخدام الأدوات تنشأ من عدم قدرة النموذج على التمييز بين الإرشادات الموثوقة ومدخلات المستخدم غير الموثوقة، وهو قصور في التصميم لا يمكن إصلاحه بوسائل تقوية الذاكرة.
هناك مشكلة أخرى مختلفة ومهمة بنفس القدر على مستوى البنية التحتية: بعض الوكلاء يعملون في ذاكرة نصية، مما يعني أن المعلومات الحساسة – مثل سجلات الدردشة وresponses API والوثائق – يمكن رؤيتها أثناء المعالجة ويمكن أن تظل قابلة للوصول لاحقًا. OWASP تحدد هذا الخطر على أنه كشف المعلومات الحساسة (LLM02) وتسرب الإشارات النصية (LLM07) و توصي باستخدام عزل السياق وتنسيق المساحة الاسمية وتحجيز الذاكرة كإجراءات أمنية هامة.
كما أن المستخدمين لا ينبغي لهم معاملة هذه الوكلاء على أنها تطبيقات بسيطة، نظرًا لأنهم منفذون ديناميكيون يفكرون ويحتاجون إلى نموذج أمني يأخذ في الاعتبار طابعهم الفريد ككيانات غير بشرية ذات وكالة. هذا النهج يحتاج إلى تضمين سيطرات برمجية لتحديد كيفية عمل النموذج وضمانات أمنية قوية لحماية البيانات أثناء استخدامها.
بنية الثقة لها عيب حرج
الممارسات الأمنية الحالية تركز على حماية البيانات في حالة الراحة وفي النقل. الجبهة النهائية، البيانات في الاستخدام، لا تزال معرضة بشكل شبه كامل.
عندما يقوم وكيل الذكاء الاصطناعي بالتفكير في مجموعة بيانات سرية لتمكين قرض أو تحليل سجلات المرضى أو تنفيذ صفقة، يتم فك تشفير تلك البيانات وعملية المعالجة في النصوص العادية داخل ذاكرة الخادم.
في نماذج السحابة القياسية، يمكن لأي شخص لديه سيطرة كافية على البنية التحتية، بما في ذلك مسؤولي الهيبرفايزر أو المهاجمين المتعاونين، أن يلقي نظرة على ما يحدث أثناء تشغيل حمولة العمل.
كما أظهر Lumia Security، يمكن للمهاجمين الذين لديهم وصول إلى جهاز محلي الحصول على JWTs ومفاتيح الدورة مباشرة من ذاكرة العملية لتطبيقات سطح المكتب ChatGPT وClaude وCopilot.
مثال على ذلك هو حادثة تفريغ الذاكرة لشركة AWS CodeBuild في يوليو 2025. أضاف المهاجمون سرًا رمزًا ضارًا إلى مشروع، وعندما قامت النظام بتشغيله، قام الرمز بتحقيق وصول إلى ذاكرة الكمبيوتر وسرق رموز الدخول المخزنة هناك.
لمؤسسات مالية، التلاعب الصامت هو وجودي. البنوك والشركات التأمينية وشركات الاستثمار تمتص بالفعل تكاليف انتهاكات البيانات بمتوسط يزيد عن 10 ملايين دولار، وهي تفهم أن السلامة تهم بنفس القدر مثل السرية.
حوسبة سرية وحالة العزل
الإصلاحات التكميلية لن تحل المشكلة المطروحة، على الرغم من أن التحكم الأمني الصارم والمراقبة الجيدة قد تساعدان.
حوسبة سرية، كما هو محدد من قبل اتحاد حوسبة سرية (CCC) على أنها حماية البيانات في الاستخدام عبر بيئات التنفيذ الموثوقة القائمة على الأجهزة (TEEs)، تتعامل مباشرة مع العيب الأساسي.
对于 وكلاء الذكاء الاصطناعي، هذا العزل على مستوى الأجهزة هو تحول، حيث يسمح لبيانات الهوية والوزن والبيانات الحساسة التي يتم معالجتها بالبقاء مشفرة ليس فقط على القرص أو عبر الشبكة، ولكن أيضًا بشكل فعال في الذاكرة أثناء التنفيذ.
التحقق عن بُعد يقدم أدلة كريبتوغرافية قابلة للتحقق من أن طلب استدلال معين تم تنفيذه داخل بيئة تنفيذ موثوقة مدعومة بالأجهزة، سواء كانت CPU أو GPU.
سجلات التحقق لا تكشف عن الرمز الذي تم تنفيذه. بدلاً من ذلك، يتم ربط كل حمولة عمل مع معرف حمولة فريد أو معرف معاملات، وترتبط سجلات التحقق بالمعرف.
يخلق هذا الإعداد قاعدة جديدة للامتثال والمراجعة، مما يسمح بربط إجراءات الوكيل بنسخة معينة من الرمز التي تم التحقق منها ومجموعة بيانات مدخلة معروفة.
نحو استقلالية مسؤولة
الآثار بالنسبة للنظام الموصوف أعلاه تمتد إلى ما هو أبعد من الأمان الأساسي.
حوسبة سرية يمكن أن تعزز الأمان والمراجعة من خلال حماية البيانات أثناء معالجتها وتمكين التحقق من بيئة التشغيل.
ومع ذلك، فإنها لا تغير مكان حدوث المعالجة. حيث تتطلب قواعد سيادة البيانات المعالجة المحلية أو تفرض شروطًا على عمليات النقل عبر الحدود، قد تدعم بيئات التنفيذ الموثوقة ضوابط الامتثال، وليس تحل محل المتطلبات القانونية.
علاوة على ذلك، يمكن لحوسبة سرية تمكين التعاون الآمن في أنظمة متعددة الوكلاء، حيث يحتاج الوكلاء من منظمات أو إدارات مختلفة إلى مشاركة المعلومات أو التحقق من الإخراج دون الكشف عن البيانات الحساسة.
وعندما يتم ربط التكنولوجيا مع هندسة الثقة الصفرية، يكون النتيجة أساسًا أقوى.
معًا، يضمنان ما يهم حقًا، على سبيل المثال، منطق القرار والمدخلات الحساسة والمفاتيح الكريبتوغرافية التي ت
