قادة الفكر
لا يعد وكيلك مجرد برنامج محادثة بعد الآن – لماذا لا تزال تعامل معه على هذا النحو؟
في الأيام الأولى للذكاء الاصطناعي التوليدي، كان الأسوأ من السيناريوهات لبرنامج محادثة سيئ السلوك غالبًا ما يكون أكثر من الخزي العام. قد يخطر برنامج المحادثة حقيقة، أو يطرد نصًا متحيزًا، أو حتى يسميك بأسماء. كان ذلك سيئًا بما فيه الكفاية. ولكن الآن، لقد سلمنا المفاتيح.
مرحبا بكم في عصر الوكيل.
من برنامج المحادثة إلى الوكيل: تحول الحكم الذاتي
كان برامج المحادثة تفاعلية. لقد بقيت في مساراتها. اسأل سؤالا، احصل على إجابة. ولكن وكلاء الذكاء الاصطناعي – خاصة تلك التي تم بناؤها باستخدام أدوات الاستخدام، وتنفيذ التعليمات البرمجية، والذاكرة المستدامة – يمكنهم أداء مهام متعددة، واستدعاء واجهات برمجة التطبيقات، وتنفيذ أوامر، وكتابة ونشر التعليمات البرمجية بشكل مستقل.
بمعنى آخر، إنهم لا يستجيبون فقط للتحفيزات – إنهم يأخذون قرارات. وعندما يقول لك أي خبير أمني، بمجرد أن يبدأ النظام في اتخاذ إجراءات في العالم، عليك أن تتعامل جديًا مع السلامة والسيطرة.
ما حذرنا منه في 2023
في OWASP، بدأنا نحذر من هذا التحول قبل أكثر من عامين. في الإصدار الأول من OWASP Top 10 للتحكم في تطبيقات LLM، صاغنا مصطلحًا: وكالة زائدة.
كان الفكرة بسيطة: عندما تعطي نموذجًا حكمًا ذاتيًا كبيرًا جدًا – أدوات كثيرة، وسلطة كبيرة، ومراقبة قليلة – يبدأ في التصرف مثل وكيل حر أكثر من مساعد محدد. ربما يجدول اجتماعاتك. ربما يضيف ملفًا. ربما يؤمن بنية تحتية سحابية مكلفة ومبالغ فيها.
إذا لم تكن حذرًا، يبدأ في التصرف مثل نائب مشوش… أو أسوأ، وكيل نائم ينتظر أن يتم استغلاله في حادثة أمنية. في الأمثلة الحقيقية الحديثة، كان وكلاء من منتجات برمجية رئيسية مثل Microsoft Copilot، Salesforce’s Slack product أظهرت أنها قابلة للخداع لاستخدام امتيازاتها المرفوعة لتصدير بيانات حساسة.
والآن، يبدو هذا السيناريو الخيالي أقل مثل الخيال العلمي وأكثر مثل خارطة طريقك القادمة للربع الثالث.
تعرف على MCP: طبقة التحكم في الوكيل (أو هل هو؟)
استعد إلى 2025، ونحن نشهد موجة من المعايير والبروتوكولات الجديدة المصممة لمواجهة انفجار وظيفة الوكيل. الأكثر بروزًا من هذه هي بروتوكول سياق النموذج من Anthropic (MCP) – آلية للحفاظ على الذاكرة المشتركة، وهياكل المهام، ووصول الأدوات عبر جلسات الوكيل الطويلة الأمد.
فكر في MCP كالغراء الذي يجمع سياق الوكيل معًا عبر الأدوات والزمن. إنه طريقة لقول مساعد التشفير: “هنا ما فعلته حتى الآن. هنا ما يسمح لك بفعله. هنا ما يجب أن تتذكره”.
إنه خطوة ضرورية. ولكنها تثير أيضًا أسئلة جديدة.
MCP هو مُفعِّل القدرة. أين هي الحواجز؟
حتى الآن، ركزت الانتباه مع MCP على توسيع ما يمكن للوكلاء فعله – وليس على الحد منهم.
في حين يساعد البروتوكول في تنسيق استخدام الأدوات والحفاظ على الذاكرة عبر مهام الوكيل، لا يعالج حتى الآن مخاوف حرجة مثل:
- مقاومة حقن التحفيز: ماذا يحدث إذا قام مهاجم بتحريف الذاكرة المشتركة؟
- نطاق الأمر: هل يمكن خداع الوكيل ليتجاوز صلاحياته؟
- إساءة استخدام الرموز: هل يمكن أن يفضي كتلة ذاكرة مسربة إلى الكشف عن بيانات اعتماد واجهة برمجة التطبيقات أو بيانات المستخدم؟
هذه ليست مشاكل نظرية. كشفت دراسة حديثة عن الآثار الأمنية أن هياكل MCP قابلة للاختراق لتحقن التحفيز، وإساءة استخدام الأوامر، والتسمم الذاكري، خاصة عندما لا يتم تخصيص الذاكرة المشتركة بشكل كاف أو تشفيرها.
هذا هو مشكلة “القوة دون الرقابة” الكلاسيكية. لقد بنينا الهيكل الخارجي، ولكننا لم نحدد بعد مكان مفتاح الإيقاف.
لماذا يجب على مسؤولي الأمن المالية الانتباه – الآن
نحن لا نتحدث عن تقنية مستقبلية – نحن نشير إلى أدوات ياستخدمها مطوروك بالفعل، وهذه هي مجرد بداية لتوزيع كبير سنراه في الشركات.
وكلاء التشفير مثل Claude Code و Cursor يكتسبون زخمًا حقيقيًا داخل تدفقات العمل الداخلية. أظهرت أبحاث GitHub الداخلية أن Copilot يمكن أن يسرع من المهام بنسبة 55٪. مؤخرًا، أفاد Anthropic أن 79٪ من استخدام Claude Code ركز على تنفيذ المهام التلقائي، وليس مجرد اقتراحات الشفرة.
هذا هو الإنتاجية الحقيقية. ولكن هذا هو أيضًا التلقين الحقيقي. هذه ليست مساعدات طيران بعد الآن – إنهم يطيران بشكل متزايد بمفردهم. والطائرة؟ إنها فارغة.
قال.satya nadella، الرئيس التنفيذي لشركة Microsoft، مؤخرًا أن الذكاء الاصطناعي يكتب الآن ما يصل إلى 30٪ من شفرة Microsoft. ذهب داريو أمودي، الرئيس التنفيذي لشركة Anthropic، إلى أبعد من ذلك، متوقعًا أن يولد الذكاء الاصطناعي 90٪ من الشفرة الجديدة في غضون ستة أشهر.
وليس الأمر كذلك فقط في تطوير البرمجيات. يُدمج بروتوكول سياق النموذج (MCP) الآن في أدوات تمتد إلى ما وراء التشفير، وتشمل فرز البريد الإلكتروني، وتنظيم الاجتماعات، وخطط المبيعات، وملخص الوثائق، ومهام إنتاجية عالية الاهتمام للمستخدمين العاديين. في حين أن العديد من هذه الحالات لا تزال في مراحلها المبكرة، فإنها تتقدم بسرعة. هذا يغير الرهانات. لم يعد هذا مجرد مناقشة لمدير التكنولوجيا أو نائب الرئيس للهندسة. إنه يتطلب انتباهًا من قادة الوحدات التجارية، ومديري المعلومات، ومسؤولي الأمن المالية، وضباط الذكاء الاصطناعي الرئيسيين على حد سواء. مع بدء هذه الوكلاء في التفاعل مع بيانات حساسة وتنفيذ تدفقات عمل متعددة الوظائف، يجب على المنظمات ضمان أن تكون الحوكمة وإدارة المخاطر والتخطيط الاستراتيجي جزءًا لا يتجزأ من المناقشة من البداية.
ما يجب أن يحدث بعد ذلك
لقد حان الوقت لوقف التفكير في هذه الوكلاء على أنهم برامج محادثة وبدء التفكير فيهم على أنهم أنظمة حكم ذاتي مع متطلبات أمنية حقيقية. هذا يعني:
- حدود امتياز الوكيل: مثل ما لا تتشغيل كل عملية كجذر، وكلاء تحتاج إلى الوصول المحدود للأدوات والأوامر.
- حوكمة الذاكرة المشتركة: يجب تدقيق استمرار السياق، ونسخه، وتشفيره – خاصة عندما يتم مشاركته عبر الجلسات أو الفرق.
- محاكاة الهجوم وتحليل الفريق الأحمر: يجب معاملة حقن التحفيز، وتسمم الذاكرة، وإساءة استخدام الأوامر على أنها تهديدات أمنية من الدرجة الأولى.
- تدريب الموظفين: الاستخدام الآمن والفعال لوكلاء الذكاء الاصطناعي هو مهارة جديدة، ويحتاج الناس إلى التدريب. هذا سيساعدهم على أن يكونوا أكثر إنتاجية وسيساعد على الحفاظ على ملكية فكرية أكثر أمانًا.
عندما تدخل منظمتك في وكلاء ذكاء اصطناعي، غالبًا ما يكون من الأفضل السير قبل الركض. احصل على الخبرة مع وكلاء محدودي النطاق والبيانات والصلاحيات. تعلم أثناء بناء حواجز تنظيمية وخبرة، ثم ارفع إلى حالات استخدام أكثر تعقيدًا وذكاءً وتطويرًا.
لا يمكنك الجلوس على هذا
سواء كنت رئيسًا لشؤون الذكاء الاصطناعي أو مديرًا لمعلومات، قد تكون لديك مخاوف مختلفة في البداية، ولكن مسارك الأمامي هو نفسه. مكاسب الإنتاجية من وكلاء التشفير وأنظمة الذكاء الاصطناعي التلقائية لا تقاوم. إذا كنت لا تزال تتبع نهج “انتظر وسترى”، فأنت تقع وراء بالفعل.
هذه الأدوات ليست تجريبية بعد الآن – إنها تتحول بسرعة إلى أشياء ضرورية على الطاولة. شركات مثل Microsoft تنتج جزءًا كبيرًا من شفرتها من خلال الذكاء الاصطناعي وتتقدم من خلال ذلك في مواقعها التنافسية. أدوات مثل Claude Code تقطع وقت التطوير وتأتمة تدفقات العمل المعقدة في العديد من الشركات حول العالم. الشركات التي تتعلم كيفية استغلال هذه الوكلاء بأمان ستسافر بشكل أسرع، وتتكيف بشكل أسرع، وتتجاوز منافسيها.
ولكن السرعة دون السلامة هي فخ. دمج وكلاء تلقائيين في عملك دون ضوابط مناسبة هو وصفة للعطل، وتسرب البيانات، والانتكاسات التنظيمية.
هذا هو اللحظة للعمل – ولكن اعمل بحكمة:
- إطلاق برامج تجريبية للوكيل، ولكن تتطلب مراجعة الشفرة، وتصريح الأدوات، وتنفيذ الحماية.
- تقييد الحكم الذاتي لما هو ضروري – لا يحتاج كل وكيل إلى الوصول الجذر أو الذاكرة المستدامة.
- تدقيق الذاكرة المشتركة ودعوات الأدوات، خاصة عبر الجلسات الطويلة الأمد أو السياقات التعاونية.
- محاكاة الهجمات باستخدام حقن التحفيز وإساءة استخدام الأوامر لتحديد المخاطر الحقيقية قبل أن يفعل المهاجمون ذلك.
- تدريب مطوريك وفرق منتجاتك على أنماط الاستخدام الآمن، بما في ذلك التحكم في النطاق، وسلوك الإرجاع، ومسارات التدرج.
الأمن والسرعة ليسا مستحيلين – إذا بنيت بالنية.
الشركات التي تعامل مع وكلاء الذكاء الاصطناعي على أنهم بنية تحتية أساسية، وليس ألعابًا أو تهديدات، ستكون تلك التي ت茫. الباقي سيكون منهمكًا في تنظيف الفوضى – أو أسوأ، يراقب من على المقاعد الخلفية.
عصر الوكيل هنا. لا تتفاعل فقط. استعد. اندمج. أمن.
