قادة الفكر
الإنسان في الحلقة ليست حوكمة
أضف Unite.AI إلى مصادرك المفضلة على Google
الجواب الواضح للمخاطر التي تشكلها الذكاء الاصطناعي هو “وضع إنسان في الحلقة“. لكن هذه الجملة تخفي الجزء الصعب.
الإنسان في الحلقة يعمل فقط إذا كانت الحلقة مصممة. وإلا فإن الإنسان يصبح واحد من ثلاث فشل:
- عقبة، لأن مراجعة إخراج الذكاء الاصطناعي تأخذ نفس الوقت الذي يتطلبه العمل اليدوي.
- طابع مطاطي، لأن المراجع يتم تحميله، ولا يستطيع رؤية الأدلة، ولا يفهم السياق التجاري، وينقر على موافقة لتحريك الطابور.
- أو الفشل الثالث: منطقة الانهيار. من خلال إضافة إنسان في الحلقة، المؤسسة تسمي شخصًا مسؤولًا ولكن لا تعطيه أي سيطرة حقيقية، ولا وقت، ولا سلطة، ولا khảية لإيقاف النظام، ولا طريق لتغيير التشغيل التالي. النتيجة تقع على الإنسان، بينما يبقى قاعدة القرار غير متغيرة.
هذا هو المكان الذي ي goeswrong فيه الكثير من المناقشات حول الذكاء الاصطناعي في المؤسسات. نتحدث عن 是否 يجب على الإنسان مراجعة العمل، ولكن ليس عن كيفية تصميم تلك المراجعة. نحن ن假定 أن إضافة شخص يخلق حوكمة. لا يفعل. الحوكمة تعتمد على ما إذا كان المراجع يتمتع بسلطة معنوية، ومراقبة معنوية، والقدرة على تحسين النظام بعد اتخاذ القرار.
المراجعة البشرية قيمة، ولكن فقط عندما يتم وضعها في مكان يهم فيه الحكم ومدعومة بما يكفي من السياق لجعل ذلك الحكم معنويًا.
بوابة التحقق هي أكثر من خطوة مراجعة
البوابة ليست زرًا للاستمرار. إنها واجهة التحقق.
عندما ينتج وكيل أو تلقيم اقتراحًا – مشروع رد، إجراء مقترح، تصنيف، تفويض دفع، حالة حالة، حزمة رفض، أو خطاب رفض – يجب على المراجع أن يفهم على الفور ما سيحدث وما السبب.
بوابة التحقق الحقيقية يجب أن تظهر ما يهم: الإجراء المقترح، المصادر خلفه، القواعد التي تم فحصها، الانتقال التجاري الذي سيحدث، السلطة المستخدمة، سجل التدقيق الذي سيتم كتابته، الشك أو الاستثناء الذي أثار المراجعة، والخيارات المتاحة: الموافقة، التعديل، الرفض، أو الإسقاط.
كل هذه العناصر موجودة لسبب. الإجراء المقترح يشرح ما الذي يعتزم النظام القيام به. الأدلة الداعمة تشرح لماذا. القواعد والسلطة تظهر ما إذا كان التوصية تتناسب مع السياسة التنظيمية. الشك ي告诉 المراجع لماذا وصل العمل إلى إنسان في المقام الأول. معًا، يتحولون المراجعة من عمل تخميني إلى تحقق.
إذا كان المراجع يحتاج إلى إعادة بناء كل هذا يدويا، فإن البوابة لم يتم بناؤها.
الغرض من البوابة ليس ببساطة إيقاف الأخطاء قبل حدوثها. الغرض الثاني هو أكثر أهمية. إنها تقبض الحكم المؤسسي.
هذا هو المكان الذي يبدأ فيه نشر المؤسسات في التراكم. كل قرار موافقة حقيقي، تعديل، رفض، أو إسقاط يقبض الحكم المؤسسي – ولكن فقط إذا قبضت البوابة على السبب.
الموافقات ليست بيانات، ولكن التحقق هو.
النقرة المطاطية لا تقبض أي شيء مفيد. قرار مدقق، معدل، مرفوض، أو مسقط مع رمز سبب يقبض إشارة أن الإصدار التالي من النظام يمكن أن يتعلم منه. إذا نقر المراجع على الموافقة دون النظر، فإن النظام لا يتعلم أي شيء. إذا عدل المراجع، رفض، أسقط، وأعطى سببًا، فإن المؤسسة تقبض الحكم.
بمرور الوقت، تصبح هذه الأحكام واحدة من أهم أصول المؤسسة. إنها تكشف عن哪里 تكون السياسات غير واضحة،哪里 تنهار العمليات بانتظام،哪里 تحدث الاستثناءات أكثر، وحيث يجب أن يصبح التلقيم أكثر ثقة – أو أكثر تقييدًا. الهدف ليس ببساطة تلقيم المزيد من العمل. إنه تحسين جودة القرارات المستقبلية من خلال قبض كيفية ممارسة الحكم من قبل الأشخاص ذوي الخبرة اليوم.
المساءلة تتطلب أكثر من مالك مسمى
ذلك الفرق يغير كيف يجب على المؤسسات التفكير في المساءلة أيضًا.
البوابة ليست كافية. المالك المسمى ليس كافيا. سجل التدقيق ليس كافيا.
المساءلة تتطلب استلام العاقبة: الخطأ يجب أن يقع في مكان يمكنه تغيير السلوك المستقبلي.
قبل نشر الذكاء الاصطناعي في العمل ذي العواقب، يجب على المؤسسات أن تسأل خمس أسئلة:
- من يستلم العاقبة إذا كان هذا الإجراء خاطئًا?
- هل كان ذلك الشخص أو النظام يتمتع بسلطة معنوية قبل الإجراء?
- هل يمكن للمالك المسؤول أن يفتش، يقيّد، يلغي، أو يوقف الوكيل أو التلقيم?
- هل المساءلة متناسبة مع السلطة التي يتمتع بها المالك?
- ماذا يتغير قبل التشغيل التالي: المهارة، القاعدة، الأذن، سير العمل، التلقيم، بوابة التحقق، رمز السبب، التدريب، أو فئة الثقة?
بوابة بشرية بدون سيطرة معنوية ليست حوكمة. إنها منطقة الانهيار.
الحلقة لا يتم إغلاقها حتى يتغير شيء ما: المهارة، القاعدة، الأذن، عتبة الإسقاط، التلقيم، الاختبار، واجهة المراجعة، خطة التدريب، عينة التدقيق، أو فئة الثقة. عاقبة لا تتغير في التشغيل التالي ليست تعلمًا، بل مجرد حادثة. المؤسسات تتحسن عندما يتغير كل مراجعة معنوية في الإصدار التالي من النظام، سواء كان ذلك من خلال تحسين السياسة، أو تقييد الأذونات، أو تحسين التلقيم، أو تعزيز تجربة التحقق نفسها.
الحدود تمنع الفشل. التقييمات تبني الثقة.
المؤسسات تحتاج أيضًا إلى التمييز بين الحدود والتقييمات. هما يحلان مشكلات مختلفة تحتاج إلى حلول.
- الحدود تفرض السلوك في وقت التشغيل. فحصات.Schema، حاصرات معلمات غير آمنة، فحوصات الأذونات، حذف PII، دفاعات الحقن، وحدود أدوات موجودة لمنع السلوك غير الآمن قبل حدوثه.
- التقييمات تقيس الأداء بمرور الوقت. وهي تفحص الجودة، الانحراف، اختيار الأداة، جودة الإسقاط، التكلفة، التأخير، ومطابقة السياسة. وهي تخبر المؤسسة ما إذا كان النظام يستمر في استحقاق الثقة.
الحدود تحمي القرار الحالي. التقييمات تحسن القرارات المستقبلية.
الحدود والتقييمات تخدم أغراضًا مختلفة، وكذلك يفعل الأشخاص المسؤولون عنهم. المنصة تفرض السياسة. المشغلون يقيّمون النتائج. معًا، يخلقون حلقة التغذيم الراجعة التي تسمح للنظام بالتحسين دون التضحية بالحوكمة.
النظام يسترد السياسة، وسجل المطالبة، والوثائق الداعمة، والحالات السابقة، وكتابة المنظمة. وهو يعد حزمة التriage، ويقترح شدة، ويحدد الأدلة الناقصة، ويفتح حالة احتيال إذا تطلبت القواعد ذلك. يرى المعدل الحركة المقترحة، الأدلة الداعمة، رمز السبب، سجل التدقيق، والعاقبة للموافقة. بدلاً من إعادة بناء القضية من أنظمة متعددة، يمكن للمراجع التركيز على التحقق من التوصية نفسها. فقط بعد التحقق، يحدث التلقيم حالة، يصدر الدفع، يطلب الوثائق الإضافية، أو يغلق العمل.
سير العمل للمطالبات يظهر كيف يعمل هذا في الممارسة. الوكيل لم يتعلم عملية. عمل داخل خريطة منشورة.
العمارة يجب أن تتبع العمل
مبدأ مماثل يطبق بغض النظر عن كيفية تنظيم العمل نفسه. ليس كل مشكلة مؤسسية لها نفس الشكل، وينبغي أن تعكس الحوكمة ذلك. بعض العمل يبدأ مع هدف. البعض يبدأ مع حالة؛ البعض يبدأ مع سير عمل مستقر. يجب على العمارة أن تتبع العمل، وليس العكس.
نشر يبدأ مع هدف بدلاً من مسار محدد. حل هذه المطالبة بالعميل. خفض مخاطر انحراف هذا الحساب. تحقيق هذا إشارة الاحتيال. إعداد هذا خطة التجديد. الوجهة واضحة، ولكن المسار قد يتغير مع توافر معلومات جديدة. يفكك الوكيل الرئيسي العمل، يستخدم وكلاء وآلات معتمدة، يستدعي تلقيمًا معتمدًا، ويعين عمل بشري داخل حدود محكمة. قوته هي المرونة. مخاطره هي أن المرونة بدون قيود واضحة تصبح غير متوقعة.
لهذا النظم المرنة تتطلب حوكمة أقوى، وليس أقل. حدود سير العمل الواضحة، أذونات التلقيم، حقوق القرار، سجلات التدقيق، وقواعد الإسقاط تصبح أكثر أهمية مع زيادة قدرة الذكاء الاصطناعي. كلما كان الوكيل أكثر قدرة على تحديد مساره، زادت الحاجة للمؤسسة لتحديد الحدود التي يمكنه فيها العمل.
الذكاء الاصطناعي في المؤسسات لن ينجح لأن كل قرار يوجد فيه إنسان في الحلقة.
سوف ينجح لأن المؤسسات تتعلم كيفية بناء الحلقة نفسها.
