الموثوقية هي الاختبار الحقيقي للذكاء الاصطناعي الوكائي

على مدار العامين الماضيين، تساءلت الصناعة سؤالًا واحدًا: هل الوكلاء الذكائيون قادرون بما يكفي على التعامل مع العمل الحقيقي؟ يمكننا التوقف عن طرح السؤال. نحن نعلم أنهم قادرون، لكن علينا التركيز بدقة على ما إذا كنا نستطيع تحديد متى يكون الوكيل على وشك ارتكاب خطأ مكلف – وما إذا كنا نستطيع إيقافه قبل حدوثه.

أسوأ الفشل في الإنتاج عادةً لا يبدو كخطأ نموذج نظيف. يمكن للوكيل إكمال كل استدعاء API بنجاح ومع ذلك يعمل من سياق قديم، أو يعيد محاولة أداة فاشلة، أو يتجه نحو إجراء ينتهك قاعدة. الموثوقية هي ما يحدد ما إذا كان برنامج الذكاء الاصطناعي الوكائي سيخرج من مرحلة التجربة أم لا.

وفقاً لـ “حالة الذكاء الاصطناعي في 2025: الوكلاء، الابتكار، والتحول”،استطلاع ماكينزي، 62٪ من المؤسسات تجريبًا مع وكلاء الذكاء الاصطناعي، لكن حوالي عشرة بالمئة فقط لا يوسعون في أي من هذه الوظائف. إظهار للزملاء أن الوكيل يعمل أمر سهل. تشغيل واحد بأمان، عبر بيانات حقيقية وأنظمة متصلة، ليس كذلك.

لماذا يزيد الذكاء الاصطناعي الوكائي من المخاطر

يجمع الوكلاء بين التفكير الاحتمالي، واستخدام الأدوات، ودرجة معينة من الاستقلالية. بينما يجعل ذلك منهم مفيدين، فإنه يضع الشركات أيضًا في مواجهة أخطاء تتراكم أسرع مما كانت ستحدث في تطبيق تقليدي.

السياق

يمكن للوكلاء العمل فقط من السياق المقدم. لذلك، إذا كان ذلك السياق غير كامل أو قديم أو خاطئ، فإن التفسير السيئ في البداية ينتقل إلى كل خطوة تالية. رد فعل روبوت الدردشة المعيب مزعج. تفسير خاطئ يغيّر إذن وصول أو يلمس البنية التحتية هو حادث. من المهم معرفة ما إذا كان الوكيل قد استخدم الأدلة الصحيحة، واتبع السياسة، وبقي ضمن نطاق تأثير مقبول إذا حدث خطأ ما.

قواعد المعرفة

كما أن الوكلاء يتصلون بقواعد المعرفة، وأنظمة التذاكر، ومنصات الدفع؛ كل اتصال يوسع سطح الهجوم. قد يستدعي الوكيل الأداة الخاطئة، أو يستدعي الأداة الصحيحة بترتيب خاطئ، أو يتصرف بناءً على تعليمات مخفية في المحتوى المسترجع. هذه أوضاع فشل معروفة، وتشمل الاختلاق وثغرات الأمان التي تنشأ من عملية ربط الوكلاء بالأدوات والسياق معًا.

قد يخدعك لوحة تحكم خضراء: يبدو البنية التحتية جيدة بينما يستفسر الوكيل بهدوء عن نفس الأداة مرارًا وتكرارًا. هذا إشارة مبكرة على الانحراف بدلاً من انقطاع عادي.

عدم الحتمية

يجعل عدم الحتمية استجابة الحوادث أصعب أيضًا. عادةً يمكن إعادة إنتاج فشل خدمة تقليدية باستخدام معرف الطلب وإصدار البرنامج المعروف. يعتمد تشغيل الوكيل على إصدار النموذج، والوثائق التي استرجعها، ومخرجات الأدوات التي حصل عليها، وسلسلة من القرارات المتوسطة. بدون سجل لما تلقاه الوكيل وما حاول القيام به، يصبح تحليل السبب الجذري والحوكمة أصعب بكثير.

التكلفة والكمون

التكلفة والكمون تحكيان نفس القصة من زاوية أخرى. يمكن للقفزة المفاجئة في استخدام الرموز أو إعادة المحاولات أن تشير إلى خطة سيئة أو حلقة، حتى لو حصل المستخدم في النهاية على إجابة.تكاليف الاستدلال انخفضت بشكل حادعلى مدى السنوات القليلة الماضية، وجعل الاستدلال الأرخص من السهل تجاهل السلوك غير الفعال حتى يتكرر هذا السلوك عبر آلاف سير العمل. اعتبر التكلفة والكمون وإعادة المحاولات إشارات موثوقية – ليست مجرد مؤشرات مالية.

الذكاء الاصطناعي اللامركزي لا يزال يحتاج إلى رؤية مركزية

يفشل اللامركزية بدون خطوط توجيه واضحة. ضع ملكية سير العمل والتصعيد مع فرق الخط الأمامي، لكن حافظ على الهوية والوصول والاستجابة للحوادث على مستوى المؤسسة. يمكن لفريق المالية التمييز بين استثناء فاتورة شرعي وقرار دفع غير مناسب بطريقة لا يستطيع أي معيار عام تحقيقها.في نفس الاستطلاع، وجدت McKinsey أن المؤسسات التي تُبلغ عن تأثير حقيقي للذكاء الاصطناعي كانت أكثر احتمالًا بنحو ثلاثة أضعاف لإعادة تصميم سير العمل لديها، بدلاً من ربط الذكاء الاصطناعي بما كان موجودًا بالفعل.

مع ذلك، التوازن حقيقي: يصبح الملكية غير واضحة بسرعة عندما يتقاطع حادث مع أنظمة متعددة. الحل هو رؤية تشغيلية مشتركة لكل وكيل، أدواته، وصوله إلى البيانات، وتاريخ الحوادث الخاص به.

تجعل البُنى الموزعة من السهل فقدان الصورة الكاملة عندما يحدث عطل. يمكن للعديد من الفرق رؤية حجم الرموز والتكلفة، لكن لا يمكنهم رؤية ما إذا كان الوكيل قد حقق النتيجة المقصودة بأمان. عندما تتوزع السجلات عبر سير عمل في أماكن مختلفة، تنتهي الفرق بمطاردة الأعراض بدلاً من الأسباب.

يمكن أن تساعد إشارات القياس المعياري، مثل هوية النموذج واستدعاءات الأدوات، في ذلك. كما أن خطوط الأساس السلوكية، مثل عدد الخطوات العادي في سير العمل، ضرورية لتحديد الاستمرارية المفيدة من نظام عالق. التقييم ليس بوابة مرة واحدة قبل الإطلاق. إنه حلقة مستمرة.

ما هو شكل الذكاء الاصطناعي الموثوق في الواقع في الإنتاج

الذكاء الاصطناعي الموثوق يتعلق بإدارة الأخطاء، لا بتجنبها. تحتاج الفرق إلى رؤية سلوك النظام؛ تنبيهات عندما ينجرف الأداء؛ وخطة احتواء عندما تسوء الأمور. والأهم من ذلك، يحتاج كل وكيل إلى حدود واضحة حول الوصول والإجراءات الذاتية. كما أنهم يحتاجون إلى توقيع بشري.

ابدأ بالإجراءات منخفضة المخاطر التي يمكن عكسها. احتفظ بالإجراءات ذات العواقب، مثل تغييرات الإنتاج والمعاملات المالية، خلف ضوابط حقيقية. يجب أن تكون سير العمل ذات العواقب قابلة لإعادة البناء بعد حدوثها، بما في ذلك السياق الذي استرجعه الوكيل، الأدوات التي استدعاها، الموافقات التي حصل عليها، وما إذا كانت النتيجة صحيحة فعلاً.

يجب أن تمتد أهداف مستوى الخدمة التقليدية لتغطي جودة الوكيل وسلامته أيضاً؛ فهي تشمل معدل نجاح المهمة المُتحقق منه، معدل الامتثال للسياسات، معدل التصعيد البشري، التكلفة لكل مهمة ناجحة، ومدى تكرار حدوث النتائج غير المرغوبة. يجب أن تختلف العتبات حسب حالة الاستخدام. يمكن لمساعد المعرفة الداخلي تحمل ملف أخطاء مختلف عن الوكيل الذي يتعامل مع بيانات منظمة.

تتعلم أنظمة الاعتمادية الأكثر فائدة اكتشاف الظروف التي تميل إلى الظهور قبل الفشل، مثل قفزة غير طبيعية في محاولات إعادة المحاولة أو مسار تاريخياً أدى إلى تجاوزات بشرية. قد يُطلق سير عمل منخفض المخاطر إصلاحًا تلقائيًا. بينما يجب أن يتوقف سير العمل عالي المخاطر ويوجه القرار إلى شخص مخول. الهدف ليس اتخاذ إجراء ذاتي لمجرد ذاته. الهدف هو اتخاذ إجراءات أسرع وأكثر أمانًا عندما تدعم الأدلة ذلك.

AI SRE يغلق الحلقة

هنا يأتي دور AI SRE. يمكن لوكيل AI SRE تجميع جدول زمني للحادث، مقارنة السلوك الحالي بالحوادث السابقة، وإعداد إجراء موصى به، بينما تحتفظ المؤسسة بإصلاح مُتحكم به للمهام القابلة للعكس وموافقة بشرية لأي شيء ذو عواقب.

تتبنى الشركات الذكاء الاصطناعي بسرعة. لكن التبني ليس مماثلاً للنضج التشغيلي. الشركات التي توسّع الذكاء الاصطناعي الوكلي بنجاح لن تكون بالضرورة تلك التي تشغل النموذج الأكثر قدرة بمعزل عن غيره. بل ستكون تلك التي تستطيع رؤية سلوك وكلائها عبر الأعمال، واكتشاف العلامات المبكرة للانحراف، والتدخل قبل أن يتحول خطأ صغير إلى حدث يتعلق بالعميل أو الأمن أو الامتثال.

هذا هو الدور الذي يملأه AI SRE: ربط الابتكار اللامركزي بالرؤية المركزية وتحويل الذكاء الاصطناعي الوكلي إلى نظام يمكن للمؤسسة الوثوق به.