يمكن للذكاء الاصطناعي "البسيط" توقع قرارات القروض الخاصة بمديري البنوك بما يزيد عن 95٪ من الدقة

وجد مشروع بحثي جديد أن القرارات التقديرية التي يتخذها مديرو البنوك البشرية يمكن تكرارها بواسطة أنظمة التعلم الآلي بدقة تزيد عن 95%.

باستخدام نفس البيانات المتاحة لمديري البنوك في مجموعة بيانات مميزة ، كانت الخوارزمية الأفضل أداءً في الاختبار هي غابة عشوائية التنفيذ - نهج بسيط إلى حد ما العمر عشرين عاما، لكنها ما زالت تتفوق على الشبكة العصبية عند محاولتها محاكاة سلوك مديري البنوك البشرية الذين يصوغون القرارات النهائية بشأن القروض.

تحقق خوارزمية Random Forest ، وهي واحدة من أربع خوارزمية تم وضعها في خطوات للمشروع ، درجات عالية مكافئة للإنسان مقابل أداء مديري البنوك ، على الرغم من البساطة النسبية للخوارزمية. المصدر المدراء مقابل الآلات: هل الخوارزميات تكرر الحدس البشري في التصنيفات الائتمانية؟، https://arxiv.org/pdf/2202.04218.pdf

ويشير الباحثون، الذين تمكنوا من الوصول إلى مجموعة بيانات خاصة تضم 37,449 تصنيف قرض عبر 4,414 عميل فريد في "بنك تجاري كبير"، في نقاط مختلفة من ورقة ما قبل الطباعة إلى أن تحليل البيانات الآلي الذي يُمنح للمديرين لاتخاذ قرارهم أصبح الآن دقيقًا للغاية لدرجة أن مديري البنوك نادرًا ما يحيدون عنه، مما قد يشير إلى أن دور مديري البنوك في عملية الموافقة على القروض يتكون بشكل أساسي من الاحتفاظ بشخص ما لطرده في حالة التخلف عن سداد القرض.

تقول الورقة:

من منظور عملي ، تجدر الإشارة إلى أن نتائجنا قد تشير إلى أن البنك يمكنه معالجة القروض بشكل أسرع وأرخص في غياب مديري القروض البشرية مع نتائج مماثلة للغاية. بينما يؤدي المديرون بشكل طبيعي مجموعة متنوعة من المهام ، من الصعب المجادلة بأنها ضرورية لهذه المهمة بالذات ويمكن لخوارزمية بسيطة نسبيًا أن تؤدي كذلك.

"ومن المهم أيضًا ملاحظة أنه من الممكن تحسين هذه الخوارزميات بشكل أكبر من خلال البيانات الإضافية والقوة الحسابية."

ال ورقة بعنوان المدراء مقابل الآلات: هل الخوارزميات تكرر الحدس البشري في التصنيفات الائتمانية؟، ويأتي من قسم الاقتصاد وقسم الإحصاء في UoC Irvine وبنك الاتصالات BBM في البرازيل.

السلوك البشري الآلي في تقييمات التصنيف الائتماني

ولكن النتائج لا تعني بالضرورة أن أنظمة التعلم الآلي أفضل في اتخاذ القرارات بشأن القروض والتقييمات الائتمانية، بل إن الخوارزميات التي تعتبر الآن "منخفضة المستوى" قادرة على استخلاص نفس الاستنتاجات التي توصل إليها البشر من نفس البيانات.

يصف التقرير ضمناً مديري البنوك باعتبارهم نوعاً من "جدار الحماية" الذي تتمثل وظيفته الأساسية المتبقية في رفع درجات المخاطر التي يقدمها لهم نظام بطاقات الأداء الإحصائية والتحليلية (وهي ممارسة معروفة في القطاع المصرفي باسم "التحديد الدقيق").

'مع مرور الوقت، يبدو أن المديرين يستخدمون قدرًا أقل من السلطة التقديرية، وهو ما قد يشير إلى تحسن الأداء أو الاعتماد على الوسائل الخوارزمية مثل بطاقة الأداء.'

كما لاحظ الباحثون:

تُظهر نتائج هذه الورقة البحثية أن هذه المهمة التي ينفذها مديرو بنوك ذوو مهارات عالية يُمكن تكرارها بسهولة باستخدام خوارزميات بسيطة نسبيًا. ويمكن تحسين أداء هذه الخوارزميات من خلال ضبطها بدقة لمراعاة الاختلافات بين القطاعات، كما يُمكن توسيع نطاقها بسهولة لتشمل أهدافًا إضافية، مثل مراعاة معايير العدالة في ممارسات الإقراض أو تعزيز أهداف اجتماعية أخرى.

اكتشف الفرق: يتم رفع تقييم المخاطر للتصنيفات التلقائية لبطاقات الأداء إحصائيًا (يتم تحديدها) من قبل مديري البنوك الذين تمت دراسة قراراتهم في العمل - وهو إجراء قابل للتكرار.

بما أن البيانات تشير إلى أن مديري البنوك يقومون بذلك بطريقة شبه خوارزمية وقابلة للتنبؤ، فإن تعديلاتهم ليست صعبة التكرار. ببساطة، تُعيد العملية النظر في بيانات سجل الأداء الأصلية، وتُعدّل تصنيف المخاطر صعودًا ضمن هوامش متوقعة.

الطريقة والبيانات

وكان الهدف المعلن للمشروع هو توقع القرارات التي سيتخذها مديرو البنوك، استناداً إلى نظام التسجيل والمتغيرات الأخرى المتاحة لهم، بدلاً من تطوير أنظمة بديلة مبتكرة مصممة لتحل محل أطر إجراءات طلب القروض الحالية.

كانت طرق التعلم الآلي التي تم اختبارها للمشروع هي Multinomial Logistic LASSO (MNL-لاسو), الشبكات العصبية، واثنين من تطبيقات التصنيف والانحدار الأشجار (CART): Random Forest و تعزيز التدرج.

أخذ المشروع في الاعتبار كلاً من بيانات بطاقة الأداء لمهمة التصنيف الائتماني في العالم الحقيقي ، ونتائجها ، كما هو معروف في البيانات. يعد تصنيف بطاقة قياس الأداء أحد أقدم الممارسات الخوارزمية ، حيث يتم حساب المتغيرات الرئيسية للقرض المقترح في مصفوفة مخاطر ، غالبًا بوسائل بسيطة مثل الانحدار اللوجستي.

النتائج

كان أداء MNL-LASSO هو الأسوأ بين الخوارزميات المختبرة ، حيث نجح في تصنيف 53٪ فقط من القروض ، مقارنةً بالمدير الواقعي في الحالات التي تم تقييمها.

الطرق الثلاث الأخرى (مع CART تشمل Random Forest و Gradient Boosting) سجلت جميعها 90٪ على الأقل من حيث الدقة وخطأ مربع متوسط ​​الجذر (RMSE).

ومع ذلك، حصل تنفيذ Random Forest لـ CART على نسبة مذهلة بلغت قرابة 96%، تليها مباشرة Gradient Boosting.

حتى مع إزالة تصنيف بطاقة الأداء من الاختبارات أثناء دراسات الاستئصال (قسم الجدول السفلي)، فإن الخوارزميات تحقق أداءً استثنائيًا في تكرار قدرة مديري البنوك البشرية على التمييز بين التقييمات الائتمانية.

من المثير للدهشة أن الباحثين وجدوا أن شبكتهم العصبية المنفذة سجلت 93٪ فقط ، مع وجود فجوة RMSE أوسع ، مما أدى إلى إنتاج قيم مخاطر على بعد عدة درجات من التقديرات التي ينتجها الإنسان.

يلاحظ المؤلفون:

لا تشير [هذه] النتائج إلى أن إحدى الطرق تتفوق على الأخرى فيما يتعلق بمقياس خارجي للدقة مثل الاحتمال الافتراضي الموضوعي. من الممكن تمامًا أن تكون الشبكة العصبية على سبيل المثال هي الأفضل لمهمة التصنيف هذه.

'الهدف هنا هو فقط تكرار اختيار المدير البشري، وبالنسبة لهذه المهمة يبدو أن الغابة العشوائية تتفوق على جميع الطرق الأخرى عبر المقاييس التي تم التحقيق فيها.'

ووفقًا للباحثين ، فإن نسبة الـ 5٪ التي لم يستطع النظام إعادة إنتاجها تُعزى إلى عدم تجانس الصناعات المشمولة. لاحظ المؤلفون أن 5٪ من المديرين يمثلون جميع هذه الاختلافات تقريبًا ، ويعتقدون أن الأنظمة الأكثر تفصيلاً يمكن أن تغطي في نهاية المطاف حالات الاستخدام هذه وتقضي على النقص.

من الصعب أتمتة المساءلة

وإذا تأكد ذلك في مشاريع لاحقة ذات صلة، فإن البحث يشير إلى أن دور "مدير البنك" يمكن إضافته إلى مجموعة متنامية من المناصب القوية السابقة في السلطة والتمييز والتي يتم تقليصها إلى وضع "المراقب" بينما يتم اختبار دقة أنظمة الآلات المماثلة على المدى الطويل؛ وتقويض الموقف الشائع أن بعض المهام الحرجة لا يمكن أتمتة.

ومع ذلك ، يبدو أن الخبر السار لمديري البنوك هو أنه من وجهة نظر سياسية ، فإن الحاجة إلى المساءلة البشرية في العمليات الاجتماعية الهامة مثل تقييم التصنيف الائتماني من المرجح أن تحافظ على أدوارهم الحالية - حتى لو كانت تصرفات الأدوار يجب أن تصبح قابلة للتكرار تمامًا بواسطة أنظمة التعلم الآلي.

نُشر لأول مرة في 18 فبراير 2022.