‘بسيط’ الذكاء الاصطناعي يمكن أن يتوقع قرارات مديري البنوك بشأن القروض بدقة تزيد عن 95%

وجد مشروع بحثي جديد أن القرارات التعسفية التي يتخذها مديرو البنوك يمكن أن تتم复 制ها بواسطة أنظمة التعلم الآلي بدقة تزيد عن 95%.

استخدم الخوارزمية الأفضل أداءً في الاختبار تنفيذًا لـ Random Forest – وهو نهج بسيط إلى حد ما ، ويبلغ عمره عشرين عامًا ، لكنه يتفوق على شبكة عصبية عند محاولة تقليده سلوك مديري البنوك البشريين عند صياغة قرارات نهائية بشأن القروض.

خوارزمية Random Forest، واحدة من أربع خوارزميات تم اختبارها في المشروع، تحقق تقييمًا عاليًا متساويًا مع أداء مديري البنوك، على الرغم من بساطة الخوارزمية. مصدر: Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?، https://arxiv.org/pdf/2202.04218.pdf

يقترح الباحثون، الذين كان لديهم وصول إلى مجموعة بيانات خاصة تضم 37,449 تصنيفًا للقروض عبر 4,414 عميلًا فريدًا في “بنك تجاري كبير”، في نقاط مختلفة من ورقة ما قبل الطباعة أن التحليل التلقائي للبيانات الذي يتم تقديمه إلى المديرين لاتخاذ قرارهم أصبح الآن دقيقًا لدرجة أن مديري البنوك نادرًا ما يختلفون عنه، مما قد يشير إلى أن دور مديري البنوك في عملية الموافقة على القرض يتكون في الغالب من الاحتفاظ بشخص لطرده في حالة عدم سداد القرض.

تنص الورقة على:

‘من المنظور العملي يُلاحظ أن نتائجنا قد تشير إلى أن البنك يمكنه معالجة القروض بشكل أسرع وأرخص في غياب مديري القروض البشرية مع نتائج قابلة للمقارنة. بينما يقوم المديرون بطبيعة الحال بمجموعة من المهام، من الصعب أن يُحاجج بأنهم ضروريون لهذه المهمة بشكل خاص ويمكن لخوارزمية بسيطة أداء جيد مثلها.’

‘من المهم أيضًا ملاحظة أن هذه الخوارزميات يمكن تحسينها بشكل أكبر مع بيانات إضافية وقوة حسابية.’

الورقة بعنوان Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?، وهي من قسم الاقتصاد وقسم الإحصاء في جامعة كاليفورنيا إيرفين و بنك الاتصالات بي بي إم في البرازيل.

السلوك الروبوتي البشري في تقييمات التصنيف الائتماني

لا تعني النتائج أن أنظمة التعلم الآلي أفضل في اتخاذ القرارات المتعلقة بالقروض وتصنيفات الائتمان، بل إن الخوارزميات البسيطة يمكنها أيضًا استخلاص نفس الاستنتاجات مثل البشر من نفس البيانات.

توصف الورقة مديري البنوك بشكل ضمني على أنها نوع من “نار-wall لحم” دورهم المتبقي هو رفع درجات المخاطر التي يقدمها نظام التصنيف الإحصائي والتحليلي (ممارسه تعرف باسم “التصنيف” في البنوك).

‘على مر الوقت يبدو أن المديرين يُستخدمون تقديرًا أقل، مما قد يشير إلى أداء أو اعتماد أفضل على الوسائل الخوارزمية مثل نظام التصنيف.’

كما لاحظ الباحثون:

‘تُظهر نتائج هذا البحث أن هذه المهمة التي يقوم بها مديرو البنوك المهرة قد تُكرر بسهولة بواسطة خوارزميات بسيطة. يمكن تحسين أداء هذه الخوارزميات من خلال ضبط دقيق للاستجابة للفروق عبر الصناعات، ويمكن تمديدها بسهولة لتشمل أهدافًا إضافية مثل دمج اعتبارات العدالة في ممارسات الإقراض أو تعزيز أهداف اجتماعية أخرى.’

ابحث عن الفرق: تقييم المخاطر لتصنيفات Scorecard (الآلي) يتم رفعها إحصائيًا (‘التصنيف’) بواسطة مديري البنوك الذين تم دراسة قراراتهم في العمل – إجراء يمكن تكراره.

منذ أن تشير البيانات إلى أن مديري البنوك يقومون بذلك بطريقة خوارزمية وقابلة للتنبؤ، فإن تعديلاتهم ليست صعبة التكرار. يُعد الإجراء ببساطة “الشك الثاني” في بيانات التصنيف الأصلية وضبط تصنيف المخاطر لأعلى في حدود متوقعة.

الطريقة والبيانات

كان الغرض المعلن للمشروع هو توقع ما سيقرره مديرو البنوك، بناءً على نظام التصنيف والمتغيرات الأخرى المتاحة لهم، بدلاً من تطوير أنظمة بديلة مبتكرة مصممة لاستبدال إطارات إجراءات طلب القرض الحالية.

تم اختبار أساليب التعلم الآلي التالية للمشروع: Multinomial Logistic LASSO (MNL-LASSO)، الشبكات العصبية، وتنفيذان لخوارزمية Classification and Regression Trees (CART): Random Forest و Gradient Boosting.

أخذ المشروع في الاعتبار كل من بيانات التصنيف Scorecard لمهمة تصنيف الائتمان في العالم الحقيقي، ونتيجتها، كما هو معروف في البيانات. يُعد تصنيف Scorecard واحدة من الممارسات الخوارزمية القديمة، حيث يتم حساب المتغيرات الرئيسية للقرض المقترح في مصفوفة مخاطر، غالبًا عن طريق وسائل بسيطة مثل الانحدار اللوجستي.

النتائج

أداء MNL-LASSO بشكل سيئ بين الخوارزميات التي تم اختبارها، حيث قام بتصنيف بنجاح فقط 53% من القروض، مقارنة بالمدير في الحياة الواقعية في الحالات التي تم تقييمها.

الأساليب الثلاثة الأخرى (مع CART الذي يشمل Random Forest و Gradient Boosting) جميعها سجلت على الأقل 90% من حيث الدقة وخطأ الجذر التربيعي المتوسط (RMSE).

ومع ذلك، سجل تنفيذ Random Forest لخوارزمية CART نسبة عالية تصل إلى 96%، تليها Gradient Boosting بفارق ضئيل.

حتى مع إزالة تصنيف Scorecard من الاختبارات خلال دراسات الإزالة (قسم الجدول السفلي)، تحقق الخوارزميات أداءً استثنائيًا في تكرار تمييز مديري البنوك البشرية لتصنيف الائتمان.

وجد الباحثون بشكل مفاجئ أن الشبكة العصبية المنفذة سجلت فقط 93%، مع فجوة أوسع لخطأ الجذر التربيعي المتوسط، مما أدى إلى قيم مخاطر تبعد بمقدار عدة درجات عن التقييمات التي أنتجها البشر.

يلاحظ المؤلفون:

‘لا تشير هذه النتائج إلى أن طريقة تتفوق على الأخرى من حيث معيار دقة خارجي مثل احتمالية الإفلاس الموضوعي. من الممكن أن تكون الشبكة العصبية على سبيل المثال هي الأفضل لهذه المهمة التصنيفية. ‘

‘هنا الهدف هو فقط تكرار اختيار المدير البشري ومن أجل هذه المهمة يبدو أن Random Forest يتفوق على جميع الطرق الأخرى عبر المقاييس التي تم التحقيق فيها.’

ال 5% التي لا يمكن للنظام إنتاجها يُعزى إلى تباين الصناعات التي غُطيت. يشير المؤلفون إلى أن 5% من المديرين تُسبب تقريبًا جميع الانحرافات هذه، ويعتقدون أن أنظمة أكثر تعقيدًا يمكنها في النهاية تغطية هذه الحالات الاستخدامية وإغلاق الفجوة.

الصعوبة في تلقين المساءلة

إذا تم تأكيد البحث في مشاريع متعلقة لاحقة، فإن البحث يشير إلى أن دور “مدير البنك” يمكن إضافته إلى مجموعة متزايدة من المناصب السابقة ذات السلطة والتمييز التي يتم تقليلها إلى وضع “مراقب” بينما يتم اختبار دقة أنظمة الآلة المقارنة على المدى الطويل؛ ويشكك في الموقف الشائع الذي يعتقد أن بعض المهام الحاسمة لا يمكن تلقينها.

ومع ذلك، يبدو أن الخبر السار لمديري البنوك هو أن الحاجة إلى مساءلة بشرية في العمليات الاجتماعية الحاسمة مثل تقييم تصنيف الائتمان قد تحافظ على أدوارهم الحالية – حتى لو أصبحت أفعالهم قابلة للتكرار بالكامل بواسطة أنظمة التعلم الآلي.

نُشر لأول مرة في 18 فبراير 2022.