قادة الفكر

2026 سترى انفجارًا في وكلاء الذكاء الاصطناعي عبر الشركات: هل نحن مستعدون لمخاطر الأمن؟

mm
أضف Unite.AI إلى مصادرك المفضلة على Google

تسابق الشركات لتبني وكلاء الذكاء الاصطناعي، لكنها تفتقر إلى البنية التحتية للقيام بذلك بأمان. الوكلاء مختلفون عن أدوات الذكاء الاصطناعي: يعملون بشكل مستقل، ويصلون إلى البيانات بشكل مستمر، ويتخذون إجراءات بسرعة الآلة دون الحاجة إلى الإشراف. هذا يخلق مخاطر جديدة تمامًا التي يجب أن نتأهب لها.

الناس يستخدمون بالفعل وكلاء الذكاء الاصطناعي الشخصيين في العمل – دون أن يخبروا رؤسائهم دائمًا. كيف نضمن أن وكلاء OpenClaw لا ي حذفون الملفات المهمة؟ ثلاثة من كل أربعة شركات كبيرة سوف تتبنى أنظمة وكلاء متعددة بحلول نهاية عام 2026، وفقًا لشركة Gartner. كيف نضمن أن كل واحد من هؤلاء الوكلاء لا يفتح أبوابًا للهجمات من قبل المهاجمين بطرق جديدة؟

البنية التحتية للأمن الحالية مصممة لمواجهة التهديدات البشرية المعروفة والمعروفة. هذا لا يأخذ في الاعتبار وكلاء خاطفين يتعاملون مع رمز الشركة بدون علمنا. أو للمهاجمين الذين يهاجموننا من خلال حقن الدفعات: تعليمات مخفية في الرمز أو الدفعات التي تسبب في أن يفعل الذكاء الاصطناعي، على سبيل المثال، الكشف عن معلومات حساسة أو تنفيذ رمز ضار.

الحقيقة هي أن الشركات أكثر جوعًا لذلك من كونها مستعدة. فقط 29٪ من المنظمات “تؤكد بقوة” أن لديها حماية آمنة للذكاء الاصطناعي، وفقًا لمسح أجرته شركة Microsoft.

قادة الشركات يحتاجون إلى القيام ببعض الأشياء.

  1. تنفيذ إجراءات أمنية أصيلة للذكاء الاصطناعي في جميع أنحاء الشركة.
  2. معالجة وكلاء الذكاء الاصطناعي بنفس الإجراءات الأمنية مثل البشر.
  3. زيادة الرؤية لما يفعلونه هؤلاء الوكلاء.

من خلال تنفيذ هذه الإجراءات، يمكن للأمن أن يتوافق مع سرعة الوكلاء وتمكين الابتكار بدلاً من إبطائه.

إنشاء أمان أصيل للذكاء الاصطناعي

في فبراير، نشرت باحثة أمن في Meta منشورًا مفاجئًا على X: كان وكلاء OpenClaw قد بدأوا في حذف رسائل البريد الإلكتروني الخاصة بها وignored أوامرها بوقف العملية. بحلول الوقت الذي تمكنت فيه من قطع العملية يدوياً، كان الضرر قد حدث.

هذا هو مثال على السرعة الرائعة التي يمكن أن يتصرف بها وكلاء الذكاء الاصطناعي الخاطفون، مما يجعل الإجراءات التابعة للبشر غير كافية. الأمن يحتاج إلى التحرك بسرعة مثل – وبطريقة مماثلة ل – وكلاء الذكاء الاصطناعي.

هذا يتطلب تجديد البنية التحتية للأمن في الشركة، وليس مجرد تحديثات بسيطة للأدوات الحالية. هناك العديد من المجالات التي تحتاج إلى المشاركة في هذا التحول الشامل في الأدوات.

تجنب الحالات السريعة مثل حالة الباحثة في Meta يتطلب أدوات ذكاء اصطناعي يمكنها الكشف عن الشذوذ في الوقت الفعلي والاستجابة تلقائيًا. على سبيل المثال، يمكن نشر وكلاء إشراف لمراجعة المهام عالية التأثير التي يتم تنفيذها بواسطة وكلاء آخرين. يمكن لأدوات استخبارات التهديدات الوكيلية (ATI) الكشف والاستجابة تلقائيًا في المراحل الأولى للهجوم المحتمل.

آلية الوقاية المهمة الأخرى هي ضمان سلامة النموذج الفعلي الذي يتم نشره على أنظمة الشركة. يمكن لمنصات مثل ProtectAI و TrojAI و Aim Security اختبار المخاطر المباشرة مثل حقن الدفعات، باستخدام أدوات الذكاء الاصطناعي لتنقية الرمز قبل النشر.

ضمان مصدر البيانات التي يتعرض لها وكلاء الذكاء الاصطناعي هو أمر حاسم. يمكن لأدوات مثل Databricks Unity Catalog و Collibra و Alation تمكين الفرق من حوكمة حركة البيانات.

يمكننا أيضًا منع التلاعب بوكلاء الذكاء الاصطناعي من خلال تأمين الأجهزة المادية التي نستخدمها لنشرهم. يمكن لمنصات مثل CrowdStrike مساعدة تجنب إساءة استخدام بيانات اعتماد الذكاء الاصطناعي والكشف عن السلوك غير الطبيعي.

من المهم أن يكون لديك مبادئ تحكم العمليات الداخلية وكيفية اختيار الموردين. استخدم الإطارات الصناعية الحالية للتوجيه، مثل Google SAIF لإنشاء هندسة أمنية، أو AWS CAF-AI للحوكمة، أو NIST AI RMF للامتثال. يوفر مشروع أمان الذكاء الاصطناعي المفتوح (OWASP Gen AI Security Project) إرشادات أمنية ذات صلة للشركات التي ت triển khai الذكاء الاصطناعي.

معالجة وكلاء الذكاء الاصطناعي بنفس القيود مثل البشر

في العام الماضي، كان مستثمر يستخدم وكلاء Replit الذكاء الاصطناعي لكتابة التعليمات البرمجية – حتى في اليوم التاسع، قرر الوكيل حذف التعليمات البرمجية من قاعدة بيانات الإنتاج الحية، مما أثر على 1200 شركة.

بسبب أن الوكلاء يمكنهم العمل بشكل مستقل، فإن منحهم وصولا غير مراقب إلى مجموعة واسعة من الوثائق والبيانات وواجهات برمجة التطبيقات يمكن أن يكون كارثيًا. أحد الأسباب هو أن الشركات غالبًا لا تمنحهم “هوية” بنفس الطريقة التي نفعلها مع مستخدم بشري، مما يعني أنهم لا يمكنهم تتبعهم ومراقبتهم وإدارتهم الوصول إلى مختلف المساحات.

يمكن للشركات أن تتصرف من خلال منح هويات للمستخدمين غير البشر: يمكن لمقدمي إدارة الهوية مراقبة وصول الوكلاء إلى المناطق، ومدة الوصول، وتحديد السلوك الخطير. هذا يقلل من الوصول المفرط إلى المناطق التي لا يحتاج الوكيل إلى الوصول إليها. كما يحد من ما يمكنهم فعله في المناطق التي يعملون فيها.

منح هويات الوكلاء يقلل أيضًا من التهديدات الخارجية.

عندما قام فريق من الباحثين بحقن دفعات خبيثة في تطبيق الذكاء الاصطناعي الذي يدير العقود القانونية، كان أحد المستخدمين قادرًا على استرداد بيانات خاصة تخص مستخدمًا آخر. من الواضح أن هناك لا يوجد فصل أمني لبيانات المستخدم، وتم منح التصريح للوصول إلى هذه البيانات حتى عندما لم يكن ذلك ذا صلة بالسياق.

إنشاء حدود ل “الهويات” الذكاء الاصطناعي يعني أنهم لن يكونوا لديهم وصول دائم إلى جميع المناطق. على سبيل المثال، سيحتاج الوكلاء إلى التصريح لبعض الوظائف، أو سيتم منحهم القدرة على القراءة فقط في بعض المناطق. من خلال القيام بذلك، حتى إذا تم اختراق الوكيل أو التلاعب به من قبل الممثل الخبيث، فإن التأثير سيظل محدودًا بدلاً من الكارثي.

يجب على القيادة أيضًا تعليم فرقها على خطر عمل الوكلاء بشكل سري. المخاطر أكبر عندما يصل الموظفون إلى وكلاء “الظل” الذكاء الاصطناعي إلى مساحات العمل دون علم القيادة الحقيقي وبدون تقديم الهوية والضمانات المناسبة. بالإضافة إلى ذلك، يخلق نهج الصلاحيات الصفرية (ZSP) قاعدة من الصفر للوصول إلى أي وكيل. لذلك، إذا قام موظف بتحويل وكيل غير مصرح به، فإنه يدخل بيئة مغلقة جميع الأبواب.

إبقاء عيونك على الوكيل

في حين نعرف أنalogy “الذكاء الاصطناعي هو صندوق أسود”، ينبغي أن يكون نشره في عملك مرئيًا ومراقبًا.

为了 فرض سياسات أمنية صارمة، يجب أن يكون كل وكيل محكومًا: يجب أن يكون لديهم ملكية واضحة ومسؤولية وسيطرة وثائقية حتى تتمكن من تتبع مساراتهم بدقة. يجب أن يكون لديك تелеметري مستمر – مراقبة عن بعد – لتتبع سلوك الوكيل، وإطعام أدوات الأمن الحالية حتى تتمكن من الكشف عن الشذوذ وتحقيق التقييم المتكيف للثقة.

يجب على القيادة أن تاخذ هذا الجبهة الأمنية الجديدة على محمل الجد وضمان أن الفرق المختلفة مسؤولة عن استخدامها لوكلاء الذكاء الاصطناعي. يمكنهم إنشاء معايير الامتثال الجديدة، مثل “عدد مجموعات البيانات مع مصدر موثوق”، أو “% من وكلاء الذكاء الاصطناعي مع هويات محددة”، أو “درجة ثقة الذكاء الاصطناعي”.

هذا أمر بالغ الأهمية للوقاية، ولكنه أيضًا حول كونها قابلة للتدقيق – حتى الهويات غير البشرية تحتاج إلى سجل تدقيق لكي تكون المنظمة متوافقة.

نحن عمومًا نفهم كيف يتصرف البشر وما المسارات التي يتبعونها في مساحات العمل. ولكن الذكاء الاصطناعي هو وحش جديد تمامًا. هناك الكثير من الأشياء التي لا نعرفها عن كيفية عمله. بعض الشركات تختار الحل الوجيز لمنع الذكاء الاصطناعي من المكتب – ولكن هذا سوف يؤخر فقط القضية أو يسبب للموظفين استخدام وكلاء الظل. أعدوا بنية الأمن الخاصة بك بشكل استباقي للوكلاء الذين يصبحون شائعين.

آرتيوم بوغوسيان هو المؤسس المشارك والرئيس التنفيذي لشركة بريتيف، وهي منصة رائدة في إدارة الوصول المتميز السحابي (CPAM)، وخبير أمن معلومات مع أكثر من 20 عامًا في مجال الأمن السيبراني.