يمكن للوكلاء الذكاء الاصطناعي إنجاز العمل. لكن هل تستطيع المؤسسات تشغيلهم؟

الوكلاء الذكاء الاصطناعي يصبحون جيدين بشكل ملحوظ في إكمال المهام. أعطِ الوكيل هدفًا، وإمكانية الوصول إلى الأدوات المناسبة، وسياقًا كافيًا، وسير عمل معرفًا جيدًا، ويمكنه البحث عن المعلومات، وتحليل المستندات، واتخاذ القرارات، وتحديث الأنظمة، والتنسيق مع وكلاء آخرين.

هذا هو الجزء المثير في الذكاء الاصطناعي الوكلي. وهو أيضًا الجزء الذي نراه عادةً في العروض التوضيحية.

تختلف عمليات المؤسسات. تتغير طلب القرض في منتصف عملية التقييم. يقدم العميل معلومات جديدة بعد إكمال التحقق. نظامان يختلفان بشأن نفس الحساب. قد لا تكون الموافقة التي كانت صالحة أمس صالحة اليوم. يلخص الوكيل حالة قبل نقلها إلى وكيل آخر، وتختفي تفاصيل تبدو بسيطة في العملية.

قد يمثل المسار السلس 80٪ مما يحتاج الوكيل إلى القيام به. وتعيش المؤسسات في الـ 20٪ المتبقية.

إطار 80/20 ليس إحصائية صناعية. إنه طريقة لوصف مكان اختباء التعقيد التشغيلي. غالبًا ما يكون الجزء الصعب في عمليات المؤسسات ليس الحالة العادية، بل الاستثناءات، والتسليمات، والاعتمادات، والسياق المتغير، والقرارات التي تظل المؤسسة مسؤولة عنها عن النتيجة.

مع تحول الذكاء الاصطناعي من الإجابة على الأسئلة إلى اتخاذ الإجراءات، يصبح هذا التعقيد التشغيلي أكثر أهمية. سيتعين على المؤسسات التفكير بما يتجاوز كيفية بناء الوكلاء والبدء في التفكير في كيفية تشغيلهم.

هذا هو المكان الذي Agentic Operations يبدأ.

من توليد الإجابات إلى اتخاذ الإجراءات

كانت الموجة الأولى من الذكاء الاصطناعي التوليدي للمؤسسات تركز إلى حد كبير على المعلومات. قامت النماذج بتلخيص المستندات، وتوليد التقارير، والإجابة على الأسئلة، والبحث في معرفة المؤسسة، ومساعدة الموظفين على إكمال المهام القائمة بسرعة أكبر.

يقدم الوكلاء شيئًا مختلفًا جوهريًا. يمكنهم اتخاذ إجراءات تغير حالة عملية تجارية. يستطيع الوكيل الموافقة على شيء أو رفضه، وتحديث نظام السجلات، وإرسال اتصال للعميل، وإطلاق سير عمل آخر، واستدعاء وكيل آخر، أو اتخاذ قرار يحدد ما سيحدث لاحقًا.

OpenAI يصف الوكلاء في دليلها العملي كأنظمة تنجز المهام بشكل مستقل نيابة عن المستخدمين، باستخدام النماذج لإدارة تنفيذ سير العمل والأدوات للتفاعل مع الأنظمة الخارجية. العواقب التشغيلية لإجابة غير صحيحة تختلف كثيرًا عن عواقب إجراء غير صحيح.

وبالتالي يتغير سؤال المؤسسة. لم يعد كافيًا السؤال عما إذا كان النموذج قد أنتج إجابة جيدة أو ما إذا كان الوكيل قد أكمل مهمته الموكلة بنجاح. تحتاج المؤسسات بشكل متزايد إلى معرفة ما إذا كان ينبغي أن يحدث الإجراء أصلاً، بالنظر إلى سياق الأعمال، والسياسات، والسلطة، وكل ما حدث في وقت سابق من العملية.

الشكل 1: ينتج الذكاء الاصطناعي التوليدي مخرجات. يغيّر الذكاء الاصطناعي الوكلي حالة الأعمال.

بمجرد أن يصبح الذكاء الاصطناعي قادرًا على تغيير حالة الأعمال وتأثير القرارات اللاحقة، لا يمكن قياس الموثوقية بعد الآن على مستوى النموذج فقط.

يمكن للوكيل أن ينجح بينما تفشل عملية الأعمال

تخيل سير عمل لتقييم القروض مدعوم بالذكاء الاصطناعي. يقوم وكيل باستخراج مستندات الطلب، وآخر بالتحقق من الدخل، وآخر بتقييم معلومات الائتمان، ثم يقوم وكيل لاحق بتلخيص الحالة قبل أن يتخذ وكيل التقييم قرارًا أو يوصي به.

لكل وكيل مسؤولية محددة بوضوح، ويمكن لكل منهم أداء تلك المسؤولية بشكل صحيح. يستطيع وكيل المستندات استخراج المعلومات الصحيحة. يستطيع وكيل التحقق من الدخل إكمال مهمته بنجاح. يستطيع وكيل التلخيص إنشاء ملخص دقيق للمعلومات المتاحة له. يستطيع وكيل التقييم اتباع تعليماته بشكل صحيح.

لا يزال بإمكان القرار التجاري النهائي أن يكون خاطئ.

تخيل أن معلومات الدخل المحدثة تصل بعد التحقق الأولي. يتم معالجة المستند الجديد، لكن أهميته تُقلص عندما يتم تلخيص الحالة للخطوة التالية. يتلقى وكيل التقييم النهائي ملخصًا معقولًا، لكنه ليس السياق التجاري الكامل الذي كان موجودًا عبر العملية بأكملها.

لم يحدث أي عطل بالضرورة. لم يفشل أي واجهة برمجة تطبيقات. لم يهلوس أي وكيل بشكل ضروري. قد يُبلغ كل مكوّن عن تنفيذ ناجح بينما تصل عملية الأعمال إلى نتيجة خاطئة.

Anthropic يناقش تحديًا مرتبطًا في إرشاده حول بناء وكلاء فعالين، مشيرًا إلى أن الأنظمة الذاتية قد تواجه أخطاء متراكمة كلما اتخذت خطوات أكثر. تصبح المشكلة أوسع من دقة النموذج لأن الحالة والسياق والقرارات والافتراضات تنتقل عبر سير العمل.

هذا يخلق تمييزًا مهمًا بين موثوقية الوكيل وموثوقية عملية الأعمال. لا تختبر المؤسسة في النهاية وكيلًا فرديًا. بل تختبر النتيجة التي ينتجها العملية الكاملة.

الشكل 2: النجاح المحلي لا يضمن النجاح التجاري

هذا أحد التغييرات المهمة التي قدمها الذكاء الاصطناعي الوكيل. قد يفشل سير العمل حتى عندما يبدو كل مكوّن صحيًا عند فحصه بشكل مستقل.

القدرة ليست سلطة

تركز معظم طبقة الوكيل الحالية بشكل مفهوم على القدرة. تريد الفرق معرفة ما إذا كان الوكيل يستطيع التفكير، اختيار الأداة الصحيحة، إكمال المهمة، التعافي من الأخطاء، والعمل بدقة وزمن استجابة مقبولين.

للمؤسسات متطلب آخر: السلطة.

افترض أن وكيل الاكتتاب قادر على الموافقة على قرض. هذا لا يعني أنه يجب أن يوافق على كل قرض يمكنه تقييمه. قد تعتمد سلطته على مبلغ القرض، فئة المخاطر، نوع العميل، الأدلة المتاحة، مستوى الثقة، القرارات السابقة، أو ما إذا كان الطلب قد تغير بعد مراجعة سابقة.

هذا يخلق حدًا بين ما يمكن للوكيل القيام به وما يُسمح للوكيل بالقيام به.

توصي OpenAI بتقييم المخاطر المرتبطة بأدوات الوكيل وإضافة ضوابط أو تدخل بشري حول الإجراءات الحساسة واللا عكسية. مايكروسوفت تتبع نهجًا مشابهًا في إرشاداتها للعمليات التجارية الأساسية التي يديرها الوكلاء، حيث يمكن للوكلاء اتخاذ قرارات روتينية ضمن حدود محددة بينما تحدد حقوق اتخاذ القرار أي الإجراءات يمكن اتخاذها بشكل مستقل وأيها تتطلب موافقة بشرية.

مع تحسن قدرة الوكيل، يصبح هذا التمييز أكثر أهمية، وليس أقل. يمكن للوكلاء الأكثر قدرة اتخاذ إجراءات ذات عواقب أكبر. لذلك تحتاج المؤسسات إلى طرق أوضح لتحديد وتطبيق الحدود التي يُسمح فيها بهذه الإجراءات.

السؤال ينتقل من هل يستطيع الوكيل القيام بذلك؟ إلى تحت أي ظروف يجب السماح للوكيل بالقيام بذلك؟

يجب أن تقترب سياسة الأعمال من التنفيذ

تمتلك المؤسسات بالفعل آليات واسعة للتحكم في العمليات التي يديرها البشر. يستخدمون إجراءات التشغيل القياسية، مصفوفات الموافقة، سياسات الامتثال، حدود المخاطر، التدريب، فصل الواجبات، التدقيق، وإجراءات التصعيد. صُممت معظم هذه الآليات حول افتراض بسيط: يقرأ الشخص القاعدة، يفهم الموقف، ويطبق القاعدة أثناء أداء العمل.

الوكلاء يغيرون هذا الافتراض.

اعتبر سياسة تتطلب موافقة ثانوية للمعاملات التي تتجاوز حدًا معينًا. عندما يقوم إنسان بالمهمة، يمكن أن تكون السياسة موجودة في وثيقة مدعومة بالتدريب وضوابط سير العمل. عندما يستطيع الوكيل تنفيذ مئات أو آلاف الإجراءات بسرعة، فإن وجود وثيقة السياسة لا يمنع بحد ذاته إجراءً ينتهكها.

في مكان ما بين السياسة المكتوبة والإجراء التجاري، يجب أن تصبح السياسة تشغيلية.

هذا لا يعني أن كل سياسة يجب أن تتحول إلى شفرة حتمية. بعض الضوابط ستكون حتمية، وبعضها سيتطلب تفسيرًا دلاليًا، وبعضها سيعتمد على المخاطر أو الثقة، وآخرون سيستمرون في الحاجة إلى الحكم البشري. التغيير المعماري الأكبر هو أن سياسة الأعمال تبدأ بالاقتراب من مسار التنفيذ.

توضح AWS هذه النقطة بشكل خاص في سياق الذكاء الاصطناعي الوكيل في الخدمات المالية، بما في ذلك الحاجة إلى التحقق من صحة الإجراءات الوكيلة بناءً على السياسات وسلاسل التدقيق حول الأنشطة ذات العواقب.

تقليديًا، كان بإمكان المنظمات تحديد العديد من متطلبات الحوكمة قبل التنفيذ والتحقق من الامتثال لاحقًا من خلال التدقيقات والمراجعات. عندما تعمل الأنظمة الذاتية باستمرار وبسرعة الآلة، تحتاج بعض الضوابط إلى العمل أثناء تشغيل العملية.

وجود الإنسان في الحلقة ضروري، لكنه ليس نموذج التشغيل

أكثر الاستجابات شيوعًا لعدم اليقين في سير عمل الذكاء الاصطناعي هي وضع إنسان في الحلقة. هذا منطقي، خاصةً للقرارات ذات العواقب، لكنه يصبح إشكاليًا عندما يُعامل التدقيق البشري كحل لكل استثناء.

تخيل عملية وكيلة تعالج آلافًا أو ملايين القرارات. إذا تم توجيه كل حالة غير عادية، أو نتيجة منخفضة الثقة، أو غموض في السياسة، أو استثناء إلى شخص، فإن المنظمة لم تُزيل عنق الزجاجة التشغيلي. لقد نقلت عنق الزجاجة ببساطة إلى قائمة مراجعة. مع مرور الوقت، قد يخلق ذلك مشكلة أخرى: عندما يُطلب من البشر الموافقة على عدد كبير من القرارات الروتينية، قد يصبح الإشراف البشري نفسه أقل معنى.

يبقى البشر أساسيين، لكن دورهم يحتاج إلى تغيير. بدلاً من مراجعة كل قرار، يجب أن يركزوا على الحالات التي تتطلب حكمًا فعليًا، حيث وصلت سلطة الوكيل إلى حدها، أو حيث يواجه النظام حالة لا ينبغي له حلها بشكل مستقل.

لذلك لا يمكن لنموذج تشغيل قابل للتوسع الاعتماد فقط على تقييم المخاطر والمراجعة البشرية. قبل أن تتحول عملية الوكيل إلى عملية تجارية، يجب على النظام أن يأخذ في الاعتبار سياق الأعمال الحالي، السياسات ذات الصلة، سلطة الوكيل، وما حدث بالفعل في سير العمل. قد تكون النتيجة الاستمرار، طلب أدلة إضافية، إيقاف الإجراء، أو تصعيد القرار إلى إنسان.

الشكل 3: تصبح المراجعة البشرية أحد نتائج التحكم أثناء التشغيل

هذا يغيّر دور الإشراف البشري. لم يعد يتم إدراج إنسان في كل خطوة غير مؤكدة افتراضيًا. تصبح التدخل البشري أحد النتائج الممكنة عندما يتطلب سياق الأعمال أو السياسة أو السلطة أو عواقب الإجراء حكمًا.

التمييز مهم على مستوى المؤسسة. يجب أن تُنفّذ بعض الإجراءات تلقائيًا لأنها واضحة ضمن السياسة والسلطة. يجب إيقاف بعض الإجراءات لأن الأدلة المطلوبة مفقودة أو حالة الأعمال تغيرت. يجب تصعيد أخرى لأن القرار تجاوز حدًا احتفظت المؤسسة عمدًا للناس.

الهدف ليس إزالة البشر من الحلقة. الهدف هو وضع البشر في الحلقات الصحيحة، مع السماح للقرارات الروتينية بالمضي ضمن حدود محددة بوضوح. مع توسّع الأنظمة الوكيلة، قد تعتمد جودة الإشراف البشري أقل على عدد القرارات التي يراجعها الأشخاص وأكثر على ما إذا كان نظام التشغيل قادرًا على تحديد القرارات التي يكون فيها الحكم البشري ضروريًا فعليًا.

الملاحظة ضرورية، لكن الرؤية ليست تحكمًا

حققت الصناعة تقدمًا كبيرًا في مراقبة الذكاء الاصطناعي. يمكن للفرق فحص المطالبات، استجابات النماذج، الآثار، استدعاءات الأدوات، زمن الاستجابة، استخدام الرموز، وبشكل متزايد المسار الكامل الذي يتبعه الوكيل قبل إنتاج النتيجة.

هذه الرؤية أساسية. إرشادات OpenAI بشأن سلامة الوكيل وتقييمه كما تؤكد تقنيات مثل التقييمات وتقييم الآثار لفهم سلوك الوكيل.

لكن الرؤية وحدها لا تحل مشكلة التشغيل.

تخيل اكتشاف أن وكيل الاكتتاب خالف سياسة الموافقة 2,700 مرة الأسبوع الماضي. هذا سيعكس مراقبة ممتازة ولكن عمليات سيئة.

بالنسبة للعمليات التجارية ذات العواقب، تحتاج المؤسسات في النهاية إلى القدرة ليس فقط على فهم سلوك الوكيل بل أيضًا على الاستجابة أثناء سير العملية.

الشكل 4: حلقة التحكم التشغيلي

الملاحظة تجيب ما فعله الوكيل. تحتاج عمليات الوكيل أيضًا إلى الإجابة ما إذا كان يجب على الوكيل المتابعة.

يصبح هذا التمييز مهمًا بشكل خاص عندما يكون الإجراء مكلفًا، ذا عواقب، صعب العكس، أو قادرًا على التأثير على العديد من القرارات اللاحقة.

قد تحدث أكثر الفشل صعوبة بين الوكلاء

هناك تحدٍ آخر يصبح واضحًا مع تحول المؤسسات نحو بيئات متعددة الوكلاء وأوقات تشغيل أطول. العديد من سياسات الأعمال ليست محلية لإجراء واحد.

تخيل سياسة تحدّ من التعرض المالي الكلي عبر سلسلة من القرارات. قد يكون كل معاملة فردية أقل من الحد المسموح به بينما يتجاوز التعرض التراكمي هذا الحد. النظر إلى كل إجراء على حدة لن يظهر أي انتهاك.

يمكن أن تظهر نفس المشكلة مع السلطة. قد يُسمح للوكيل بجمع المعلومات لكنه غير مخول لاتخاذ القرار النهائي. بعد عدة تحويلات، قد يتلقى وكيل لاحق المعلومات دون الاحتفاظ بقيود السلطة المرتبطة بالمهمة الأصلية. قد يبدو كل خطوة فردية معقولة بينما تسلسل الخطوات ينتهك العملية التجارية المقصودة.

يخلق السياق مشكلة مماثلة. قد يتم تلخيص أو تحويل أو حذف المعلومات التي كانت مهمة خلال المرحلة الأولى من سير العمل عدة خطوات لاحقًا. لا يستطيع الوكيل اللاحق التفكير في معلومات لم يعد يمتلكها، حتى وإن كان استنتاجه صحيحًا.

تشير هذه الإخفاقات إلى أن وحدة الموثوقية تحتاج إلى التوسّع.

سنستمر في تقييم النماذج بسؤال ما إذا كانت ردودها صحيحة. سنقيم الوكلاء بسؤال ما إذا كانوا قد أكملوا مهامهم بشكل صحيح. لكن على مستوى سير العمل، يصبح السؤال ما إذا كانت المعلومات والسلطة والسياسة قد صمدت عبر تسلسل الإجراءات. على مستوى الأعمال، يصبح السؤال ما إذا كانت النتيجة النهائية صحيحة ومسموح بها.

هذا يتماشى أيضًا مع منظور دورة الحياة الأوسع في إطار عمل إدارة مخاطر الذكاء الاصطناعي من NIST، الذي يبرز القياس المستمر وإدارة مخاطر الذكاء الاصطناعي بدلاً من اعتبار التقييم نشاطًا لمرة واحدة قبل النشر.

هنا يبدأ تشغيل الوكيل

حوكمة الذكاء الاصطناعي، تقييم النماذج، LLMOps، المراقبة، الأمن، والذكاء الاصطناعي المسؤول بالفعل تعالج أجزاء مهمة من تشغيل أنظمة الذكاء الاصطناعي. لا تحل عمليات الوكالة هذه التخصصات محلًا. إنها تتعامل مع طبقة التشغيل التي تصبح مهمة عندما تبدأ الأنظمة المستقلة وشبه المستقلة بالمشاركة مباشرة في عمليات الأعمال.

عمليات الوكالة هي تخصص تشغيل الأنظمة الذكاء الاصطناعي المستقلة وشبه المستقلة داخل عمليات الأعمال الحقيقية، بما في ذلك كيفية إدارة السلطة والسياق والقرارات والاستثناءات وتدخل الإنسان والمسؤولية أثناء التنفيذ.

الأمر مهم لأن الكائن الذي يتم إدارته لم يعد مجرد نموذج. إنه عملية تجارية مستمرة يمكن للبرمجيات فيها اتخاذ قرارات وتنفيذ إجراءات بشكل مستقل.

في الممارسة العملية، يخلق هذا مجموعة مختلفة من الأسئلة التشغيلية. ما الذي يُسمح للوكيل بفعله؟ ما السياق التجاري الذي يجب أن يبقى عبر سير عمل طويل الأمد؟ ماذا يحدث عندما تُبطل أدلة جديدة قرارًا سابقًا؟ كيف يمكن للمنظمة اكتشاف متى تنتهك إجراءات مقبولة فرديًا سياساتًا بشكل جماعي؟ متى يجب على الوكيل الاستمرار أو الإيقاف مؤقتًا أو الإيقاف الكامل أو التصعيد؟ بعد أشهر، هل يمكن للمنظمة إعادة بناء سبب اتخاذ قرار معين؟

هناك أيضًا سؤال حول الملكية. عندما يؤدي الوكيل مهمته التقنية بشكل صحيح لكن النتيجة التجارية خاطئة، من يتحمل الفشل؟ تفويض التنفيذ إلى وكيل لا يعني تفويض المسؤولية عن المنظمة التي تشغله.

قد ينفذ الوكلاء العمل. لا تزال المؤسسة تمتلك النتيجة.

الهدف هو الاستقلالية المُتحكم فيها

غالبًا ما يُوصف مستقبل الذكاء الاصطناعي الوكائي بأنه تقدم نحو الاستقلالية الكاملة، حيث يختفي البشر تدريجيًا من سير عمل الأعمال. بالنسبة لمعظم المؤسسات، ربما يكون ذلك الهدف غير الصحيح.

الهدف الأكثر فائدة هو الاستقلالية المُتحكم فيها.

العديد من العمليات المدعومة بالذكاء الاصطناعي اليوم تتبع نمطًا حيث يقترح الوكيل إجراءً ويتخذ الشخص القرار النهائي. مع زيادة الثقة، سيسمح بعض سير العمل للوكيل باتخاذ قرارات ضمن سلطة محددة بينما يشرف النظام المحيط على التنفيذ ويتعامل البشر مع الاستثناءات. قد تسمح عمليات سير العمل الناضجة ذات المخاطر المنخفضة في النهاية للوكيل بالقرار والعمل بشكل مستقل بينما تظل القرارات ذات العواقب مراقبة ومسجلة.

الشكل 5: مستوى الاستقلالية المتزايد

الحد المناسب سيختلف حسب العملية. قد تسمح بنك بمنح استقلالية كبيرة في تصنيف المستندات مع فرض ضوابط صارمة حول قرارات الائتمان. قد تقوم شركة تأمين بأتمتة المطالبات الروتينية مع تصعيد التركيبات غير العادية من الأدلة. قد تسمح مؤسسة رعاية صحية للوكيل بجمع وتلخيص المعلومات مع حجز القرارات ذات العواقب للأشخاص.

السؤال المهم إذًا ليس ببساطة مدى استقلالية الوكيل. بل هو مدى الاستقلالية التي يمكن للمنظمة تشغيلها بمسؤولية.

هذا أيضًا يغيّر دور الضوابط. ليست الضوابط بالضرورة آليات لتقليل الاستقلالية. إذا نُفذت بشكل جيد، فإنها تسمح للمنظمة بتوسيع الاستقلالية بثقة أكبر.

تشغيل الوكلاء قد يصبح أصعب من بنائهم

ستستمر النماذج في التحسن. سيتحسن استخدام الأدوات. ستحسن أطر الوكلاء. سيتحسن الاستدلال، والعديد من المشكلات التي تبدو صعبة اليوم ستصبح روتينية في النهاية.

مع ذلك، النماذج الأفضل لا تُزيل سياسات الأعمال، أو تغير السياق، أو الاستثناءات، أو حدود المنظمة، أو المسؤولية. بطريقة ما، الوكلاء الأفضل تجعل هذه القضايا أكثر أهمية. النظام الذي لا يستطيع العمل بشكل مستقل يمتلك سلطة تشغيلية محدودة. نظام قادر على تنفيذ آلاف القرارات التجارية يخلق مسؤولية مختلفة تمامًا.

لهذا السبب قد لا تُحدد المرحلة التالية من الذكاء الاصطناعي المؤسسي المنظمة التي تنشر أكبر عدد من الوكلاء. قد تُحدد بالمنظمات التي تتعلم كيفية تشغيلهم.

النسبة الأولى 80 بالمئة تُظهر أن الوكيل يمكنه العمل. الـ 20 بالمئة المتبقية تحدد ما إذا كانت المؤسسة تستطيع الوثوق به في الأعمال.

مع تزايد قدرة الوكلاء، قد يتحول السؤال الرئيسي للمؤسسة من ما الذي يمكن لوكلائنا القيام به إلى شيء أصعب:

ما الذي نحن مستعدون للسماح لهم به، تحت أي ظروف، وكيف سنعرف متى تتغير تلك الظروف؟

هنا يبدأ عمليات الوكالة.