عندما يكون الذكاء الاصطناعي صحيحًا والعملية خاطئة

تخيل سيناريو شائع في خدمات المالية. يتم نشر فريق الذكاء الاصطناعي لمراجعة العقود: مئات الصفحات والشروط المتكررة والعمل الروتيني الذي يأخذ عادة أيامًا من الموظفين. يحدد النموذج المخاطر والمراجع إلى الفقرات الصحيحة. ومع ذلك ، فإن الإخراج لا يضيف شيئًا.

يتضح أن المشكلة موجودة في مجلد العقود ، حيث تجلس الملفات جنبًا إلى جنب مع تسميات contract_v1.docx و contract_v2.docx و contract_final.docx و contract_final2.docx و contract_finalfinal_THIS_ONE.docx.

حدد الذكاء الاصطناعي أحدث ملف تم حفظه. ولكن ذلك الملف كان إصدارًا أقدم تم فتحه وتحديثه تلقائيًا الأسبوع الماضي.

قام النموذج بالضبط بما تم تصميمه لفعله. ومع ذلك ، فإن العملية خذلتها.

عندما لا يكون النموذج هو المشكلة

في مقالي السابق ، جادلت بأن فشل الذكاء الاصطناعي غالبًا ما يبدأ خارج النموذج – في الحوكمة والملكية والهياكل القرارية المحيطة به. ومع ذلك ، فإن الحوكمة هي جزء فقط من المشكلة. حتى نظام الذكاء الاصطناعي الحكومي جيدًا سوف يجد صعوبة إذا اعتمدت العملية التي تحته على وثائق قديمة أو استثناءات غير رسمية أو مسارات موافقة مصممة لمعدل عمل أبطأ.

عندما ينتج نظام الذكاء الاصطناعي نتيجة سيئة ، يُعتبر النموذج عادةً المشتبه به الأول. ربما كان النموذج قد تخيل أو أسيء فهم المهمة أو تلقى سؤالا ضعيفًا. ولكن في بعض الأحيان ، قام النموذج بالضبط بما كان من المفترض أن يفعله. حدث الفشل في العملية التي قدمت معلوماته أو في المنظمة التي لم تكن قادرة على التصرف بناءً على إخراجها.

السرعة بدون السعة

الذكاء الاصطناعي لا يسرع الإخراج فقط. إنه يسرع أيضًا الترفيعات والطلبات واكتشاف المشكلات. يحدد النموذج شذوذًا في الوقت الفعلي ، وليس في بعد ظهر يوم الجمعة عندما يجد شخص ما أخيرًا الوقت للنظر في السجلات.

المنظمات ليست مهيأة لهذا المعدل. عمليات الموافقة ، ومسارات الترفيع ، والسلطة القرارية – كل ذلك تم 校调 لسرعة الإنسان. عندما ينتج الذكاء الاصطناعي إخراجًا أسرع مما يمكن للمنظمة امتصاصه ، يمكن أن يحدث ثلاثة أشياء:

• الذكاء الاصطناعي ينتظر قرارًا ، مما يلغي مكاسب الكفاءة.
• الموظفون ي忽نون إخراجها ويعودون إلى ما يعتقدون أنه يعمل – العملية القديمة.
• الموظفون يدفعون القرارات إلى الأمام دون التحقق منها بشكل صحيح لأنهم يشعرون بالضغط لتحقيق السرعة التي وعدت بها التكنولوجيا.

يمكن أن يعود بعض الموظفين إلى الفحص اليدوي لأنهم يشعرون بأنه أكثر أمانًا. يؤيد موظفون آخرون نتائج لم يتمكنوا من التحقق منها بشكل صحيح لأنهم يشعرون بالضغط لتحقيق السرعة التي وعدت بها التكنولوجيا. في كلتا الحالتين ، تدفع المنظمة ثمن الإخراج الأسرع دون أن تصبح أسرع في اتخاذ القرارات المسؤولة.

يمكن أن تصبح الملكية أيضًا غير واضحة. من هو المسؤول عن مراجعة شذوذ تم تحديده ، والقرار بشأن ما إذا كان النموذج مخطئًا ، وترقية القضية عند تورط فرق متعددة؟ بدون إجابة واضحة ، يستمر الذكاء الاصطناعي في التشغيل في الخلفية ، منتجًا إخراجًا لا يملكه أحد حقًا.

المعرفة الصامتة التي لم يتم كتابتها

تخيل أن مارتن يعرف أن عقد الشركة مع مورد يتضمن استثناءًا للمدفوعات أقل من 2000 يورو. تم الاتفاق عليه شفهيًا قبل ثلاث سنوات ولكن لم يتم توثيقه. عندما تنشر الشركة الذكاء الاصطناعي لتحسين موافقات الدفع ، يمنع النظام الدفع – بشكل صحيح ، وفقًا للعقد المكتوب.

هذه هي المعرفة الضمنية: معرفة المنظمة التي تعيش في رؤوس الناس بدلاً من الأنظمة. كل شركة لديها ذلك. ومعظم الشركات لا تعرف كم هي لديها.

الذكاء الاصطناعي يمكنه فقط استخدام المعرفة التي تم إتاحتها له. استثناء مارتن لا يوجد من منظور النظام. بدون هذا السياق ، قد يكون قراره صحيحًا من الناحية الفنية ولكن خاطئًا من الناحية التشغيلية.

مصدر الخطأ الكاذب

الإخراج الأكثر خطورة للذكاء الاصطناعي ليس دائمًا إخراجًا واضحًا الخطأ. قد يكون إجابة مقبولة ومحترفة تم إنتاجها من معلومات قديمة.

لمدة سنوات ، عملت العديد من الإدارات مع إصدارات متعددة من نفس الوثيقة لأن جين من القانون دائمًا تعرف أي واحدة هي السلطة. للأسف ، الذكاء الاصطناعي لا.

إذا لم يتم إعطاؤه قواعد لتمييز الإصدارات ، فإن النظام لا يملك سببًا للشك في الوثيقة التي يتلقاها. وبالتالي ، يعد الذكاء الاصطناعي بشكل صحيح – على الوثيقة الخاطئة. قد يكون ذلك أسوأ من عدم المراجعة على الإطلاق لأن الإخراج يبدو موثوقًا به.

يمكن لموظف محترف أن يعرف أين تقع الحقيقة ويمكنه التنقل خلال الفوضى. ومع ذلك ، يحتاج النظام إلى طريقة موثوقة لتحديد ما هي المعلومات الحالية والموافقة والموضوعية.

الأسئلة التي يجب الإجابة عليها قبل بناء الوكيل

قبل نشر وكيل الذكاء الاصطناعي ، يجب أن تكون المنظمة قادرة على الإجابة على ثلاثة أسئلة.

ما هي القرارات التي تعتمد على معرفة لم يتم توثيقها أبدًا؟

هذا يعني تحديد الاستثناءات والقصص القصيرة والقرارات التي ي.applyها الموظفون المخضرمون دون وصفها بوضوح. قد لا تكشف المقابلات وحدها عن كل هذه المعرفة. قد تحتاج المنظمات إلى مراقبة كيف يتم أداء العمل بالفعل ومقارنته بالعملية الرسمية.

كيف سوف يحدد النظام المعلومات الحالية والموافقة والموضوعية؟

إعطاء الوكيل حق الوصول إلى المزيد من الوثائق لا يحل المشكلة إذا لم يتمكن من تمييز عقد موافقة من مشروع أو سياسة نشطة من سياسة قديمة. يجب أن تكون قواعد الإصدار والملكية ووضع الموافقة وحفظ السجلات واضحة بما يكفي للنظام لتحديد أي مصدر يجب أن يحكم قراره.

هل يمكن أن تمتص عمليات الموافقة والترقية الحالية حجم وسرعة إخراجها؟

يجب على الفرق تقدير ليس فقط كمية العمل التي يمكن للوكيل إكمالها ، ولكن أيضًا كمية المراجعات والاستثناءات والترقيات التي قد يخلقها هذا العمل. يوصي إطار عمل إدارة مخاطر الذكاء الاصطناعي في NIST بتعريف الأدوار والمسؤوليات بوضوح للإشراف البشري على أنظمة الذكاء الاصطناعي. يجب تصميم هذه الأدوار والمسؤوليات لتحمل الحجم المتوقع قبل نشر النظام – وليس بعد أن ي trởن الموظفون منهكين به.

هذه ليست أسئلة لت回答ها مرة واحدة ونسيانها. تتغير العمليات ، وتتقدم الوثائق ، وتراكم الاستثناءات غير الموثقة مرة أخرى. وبالتالي ، يجب الحفاظ على الجاهزية ، وليس مجرد تأسيسها قبل الإطلاق.

جاهزية الذكاء الاصطناعي تبدأ مع العملية

جاهزية الذكاء الاصطناعي ليست فقط اختبار للتكنولوجيا. إنها اختبار لما إذا كانت المنظمة قد جعلت عملياتها صريحة بما يكفي للتكنولوجيا للعمل داخلها.

تتضمن إعداد المنظمة للذكاء الاصطناعي أكثر من اختيار نموذج أو بناء وكيل. إنه يعني توضيح الملكية ، وتحديد المعلومات الموثوقة ، وتوثيق الاستثناءات ، وإعادة تصميم كيفية مراجعة الإخراج وترقيته والتصرف عليه.

هذا عمل صعب ، ولكن نشر فاشل سيجبر المنظمة على القيام به في النهاية. المتغير الوحيد هو التوقيت.