الوكيلات الذكية جاهزة للعمل. معظم الشركات غير مستعدة للسماح لها بذلك.

لطوال معظم عصر الذكاء الاصطناعي التوليدي، ركزنا على ما تقوله النماذج وما نُدخله فيها. نفحص المطالبات، نفلتر الردود، نجري اختبارات “red‑team” على النماذج ونبني ضوابط حول المدخلات والمخرجات. لا تزال هذه الحمايات مهمة، لكنها صُممت لعالم تُنتج فيه الذكاء الاصطناعي في المقام الأول شيئًا يستهلكه الإنسان.

تُغيّر الوكالات تلك المعادلة. فهي لا تكتفي باستهلاك أو توليد المعلومات. بل تتصرف.

يمكن للوكيل تنفيذ الأدوات، استدعاء الوكلاء الفرعيين، التعاون مع وكلاء آخرين، استدعاء واجهات برمجة التطبيقات (APIs)، الوصول إلى البيانات، استخدام الاعتمادات، استدعاء خوادم MCP، توليد وتنفيذ الشيفرة، واتخاذ سلسلة من القرارات بشكل مستقل لتحقيق هدف ما. سعي لا يكل. بمجرد حدوث ذلك، لا يصبح السؤال المركزي مجرد ما إذا كان النموذج قد قدم استجابة آمنة. بل يصبح ما إذا كانت الإجراءات التي يتخذها آمنة للتنفيذ.

الإفصاحات الأخيرة من OpenAI تجعل هذا التمييز أكثر أهمية. بدأت OpenAI الإبلاغ المنهجي عن سلوك النموذج غير المتوقع أو المقلق، بينما يركز عملها الأوسع في السلامة بشكل متزايد على المخاطر التي تظهر مع اكتساب النماذج مزيدًا من الاستقلالية والوصول إلى الأدوات.

العبرة ليست أن الوكلاء غير آمنين بطبيعتهم. إنما أن حدود الأمان قد انتقلت.

الأنظمة الوكيلة تتطلب نموذج تشغيل مختلف

الذكاء الاصطناعي الوكيلي ليس مجرد بنية تطبيق أخرى. البرنامج نفسه يحدد بشكل متزايد كيف يتم إنجاز العمل.

يمكن للوكيل أن يواجه عقبة، يفسر ما حدث ويختار مسارًا آخر. يمكنه دمج الأدوات بطرق لم تُصمم صراحةً مسبقًا. يمكنه توليد شيفرة وتنفيذها كجزء من سير العمل نفسه. قد يتغير تسلسل الإجراءات في كل مرة يُشغل فيها الوكيل.

في الوقت نفسه، يتوسع عدد الأشخاص الذين يخلقون هذا البرنامج بشكل كبير. كما كتبنا عن صعود مطور المواطن، يتحول الذكاء الاصطناعي الأشخاص الذين لم يعتبروا أنفسهم مطورين إلى صانعي برامج. يمكن للمسوق أو المحلل المالي أو قائد العمليات الآن أن يصف ما يريد ويخلق وكيلًا قادرًا على التفاعل مع أنظمة الأعمال الحقيقية.

هذا توسع غير عادي في من يمكنه بناء البرمجيات وما يمكن لتلك البرمجيات القيام به. كما يعني أن المؤسسات ستحظى ببرمجيات أكثر استقلالية تعمل عبر أجزاء أوسع من الأعمال.

لا يمكن أن يكون الجواب ببساطة تطبيق ضوابط الأمس على هذا البيئة الجديدة. إذا لم تستطع المؤسسات تشغيل هذه الأنظمة بأمان، فإن البديل سيكون تقييدها، وفي النهاية إبطاء المكاسب الإنتاجية التي تسعى لتحقيقها.

يجب أن تكون الضوابط موجودة حيثما تتصرف الوكالات

مع تزايد استقلالية الذكاء الاصطناعي، يتحول التحدي من التحكم فيما يُدخل إلى النموذج إلى التحكم فيما يحدث عندما تتحول قراراته إلى أفعال.

قد يبدأ الوكيل بمستخدم معتمد، ومطالبة مقبولة، واعتمادات شرعية، ووصول مُصرح به إلى أداة. لا يضمن أي من هذه الأمور أن كل إجراء لاحق يجب أن يُنفذ.

هنا يصبح وقت التشغيل (runtime) حاسمًا. تحتاج المؤسسات إلى فهم ليس فقط من هو الوكيل، بل إلى طرح أسئلة حول ما يفعله الآن:

• ما الأدوات التي يستدعيها،
• ما الموارد التي يصل إليها، وما الشيفرة التي يحاول تنفيذها، 
• ما الوكلاء الفرعيين والاتصالات الوكيلة الأخرى التي تجري،
• ما الذي حدث مباشرةً قبل ذلك الإجراء وما إذا كان سلوكه لا يزال ضمن الحدود المقبولة،
• ما الذي يفعله الوكيل تحت الغطاء أثناء وقت التشغيل.

وعندما لا يحدث ذلك، يحتاج النظام إلى القدرة على التدخل في الوقت الحقيقي قبل التنفيذ.

هذا تمييز مهم. المراقبة تُظهر لك ما حدث. التحكم في وقت التشغيل يمنحك القدرة على احتواء طبقة تنفيذ الوكيل.

يصبح هذا مهمًا بشكل خاص لأن سلوك الوكالة غير حتمي ومتعدد الأبعاد. سيؤدي حظر إجراء إلى دفع الوكيل لتجربة نهج آخر نحو هدفه. قد يتحول استدعاء أداة يبدو غير ضار إلى خطر بسبب ما سبقها. مجرد المراقبة أو “الكشف والاستجابة” يكون متأخرًا جدًا للسيطرة الفعلية على وصول الوكيل وتنفيذه.

يجب أن يكون وقت التشغيل متزامنًا ومباشرًا ليتماشى مع سرعة الذكاء الاصطناعي. التحدي الأساسي في تبني مثل هذه الأساليب يكمن في التفكير السابق لعصر الذكاء الاصطناعي الذي يعتمد على تحليل واكتشاف أطول. تلك المبادئ لم تعد صالحة في عالم اليوم.

يتطلب أمان وقت التشغيل السياق، وليس مجرد الضوابط

هناك ميل للاستجابة للمخاطر الناشئة للذكاء الاصطناعي عن طريق تقليل الاستقلالية: إعطاء الوكلاء أذونات أقل، طلب موافقة بشرية بشكل أكثر تكرارًا أو تقييد البيئات التي يعملون فيها. قد تكون تلك الضوابط مناسبة أحيانًا، خصوصًا للإجراءات عالية المخاطر.

لكن لا يمكن أن تكون هي نموذج التشغيل على المدى الطويل.

إذا كان على الإنسان الموافقة على كل قرار مهم، فإننا نكون قد أزلنا جزءًا كبيرًا من قيمة الوكيل المستقل. بالاعتماد على تفاعلات بشرية دقيقة ضمن الحلقة، حولنا بعض من أكثر الأفراد موهبة إلى “ضغط أزرار”. لهذا تأثير مباشر على القدرة على فهم نطاق وتداخلات قاعدة الشيفرة التي تعمل عليها المنظمات الوكيلة.

الوعد الاقتصادي للذكاء الاصطناعي الوكيل يأتي بالضبط من السماح للبرمجيات بإكمال الأعمال المهمة بشكل مستقل ومستمر – على مدار 24/7. لذا لا ينبغي أن يكون الهدف القضاء على الاستقلالية. بل يجب أن يكون جعل الاستقلالية المتزايدة آمنة للتشغيل.

هذا يتطلب ضوابط مستقلة خارج عملية التفكير الخاصة بالوكيل. بحث Anthropic في عدم توافق وكيل، التي أُجريت في محاكاة مُصممة عمدًا، توضح لماذا هذا مهم. مع تزايد استقلالية الأنظمة، قد يختلف سلوكها عما يتوقعه المشغلون، حتى عندما يبدو الهدف الأصلي واضحًا.

النتيجة العملية واضحة: لا يمكن للمنظمات الاعتماد فقط على فهم ما طُلب من الوكيل القيام به. يحتاجون إلى فهم ما يفعله فعليًا والتحكم فيه.

الوكيل لم يعد الجزء الصعب بعد الآن

قضت الصناعة طاقة هائلة لجعل الوكلاء أكثر قدرة. نحن نقترب بسرعة من النقطة التي لم تعد فيها القدرة هي القيد الأساسي لاعتماد الشركات.

القيد هو التحكم.

مع تزايد استقلالية الوكلاء، تزداد عواقب أفعالهم—وتصبح الضوابط المصممة للبرمجيات المتوقعة أقل فاعلية. تحتاج الشركات إلى رؤية مستمرة لما يفعله الوكلاء، والسياق لفهم لماذا هذه الأفعال مهمة، والقدرة على التدخل دون وضع إنسان في وسط كل قرار.

هذا يغيّر ما يعنيه تشغيل البرمجيات.

• يحتاج المطورون إلى فهم كيفية تصرف الوكلاء فعليًا، وليس فقط كيف صُمموا للتصرف.
• تحتاج فرق المنصات والأمان إلى وضع حدود تظل قابلة للتنفيذ مع تصرف الوكلاء عبر الأنظمة والأدوات.
• يحتاج قادة الأعمال إلى الثقة بأن الاستقلالية المتزايدة لا تعني التخلي عن التحكم.

هذا مختلف جوهريًا عن تأمين تطبيق آخر أو حوكمة نموذج آخر. نحن نقدم كيانات مستقلة في بيئات الشركات: أنظمة يمكنها التفكير، اتخاذ القرارات واتخاذ الإجراءات. إذا لم تستطع المنظمات رؤية هذه الأفعال والتحكم فيها أثناء حدوثها، سيتعين عليها في النهاية تقييد ما يمكن للوكيل القيام به، مما يحد من الكثير من القيمة التي كان من المفترض أن تخلقها الاستقلالية.

الإجابة ليست في افتراض أننا نستطيع منع كل قرار سيء. مع تزايد استقلالية الأنظمة وعدم حتميتها، يصبح ذلك أكثر صعوبة في الضمان.

الهدف هو التأكد من أن الفعل السيء أو المدمر لا يؤدي إلى نتيجة سلبية.

هذا يتطلب طبقة تشغيلية جديدة حول الوكلاء: طبقة يمكنها مراقبة السلوك باستمرار، فهم الأفعال في سياقها، فرض الحدود عبر كامل طبقة تشغيل الوكيل، والتدخل قبل أن تتحول الفعل غير المقصود أو غير المقبول إلى نتيجة لا يمكن عكسها.

المرحلة التالية من الذكاء الاصطناعي في الشركات لن تُحدد فقط بمدى قدرة الوكلاء. بل ستُحدد بمدى الاستقلالية التي يمكن للمنظمات منحها بأمان.