يمكن للذكاء الاصطناعي "البسيط" توقع قرارات القروض الخاصة بمديري البنوك بما يزيد عن 95٪ من الدقة

وجد مشروع بحثي جديد أن القرارات التقديرية التي يتخذها مديرو البنوك البشرية يمكن تكرارها بواسطة أنظمة التعلم الآلي بدقة تزيد عن 95%.

باستخدام نفس البيانات المتاحة لمديري البنوك في مجموعة بيانات مميزة ، كانت الخوارزمية الأفضل أداءً في الاختبار هي غابة عشوائية التنفيذ - نهج بسيط إلى حد ما العمر عشرين عاما، لكنها ما زالت تتفوق على الشبكة العصبية عند محاولتها محاكاة سلوك مديري البنوك البشرية الذين يصوغون القرارات النهائية بشأن القروض.

تحقق خوارزمية Random Forest ، وهي واحدة من أربع خوارزمية تم وضعها في خطوات للمشروع ، درجات عالية مكافئة للإنسان مقابل أداء مديري البنوك ، على الرغم من البساطة النسبية للخوارزمية. المصدر المدراء مقابل الآلات: هل الخوارزميات تكرر الحدس البشري في التصنيفات الائتمانية؟، https://arxiv.org/pdf/2202.04218.pdf

يقترح الباحثون ، الذين تمكنوا من الوصول إلى مجموعة بيانات خاصة تبلغ 37,449 تصنيفًا للقرض عبر 4,414 عميلًا فريدًا في `` بنك تجاري كبير '' ، في نقاط مختلفة في ورقة ما قبل الطباعة ، أن تحليل البيانات الآلي الذي يُمنح للمديرين لاتخاذ قرارهم قد أصبح الآن دقيقة للغاية لدرجة أن مديري البنوك نادرًا ما ينحرفون عنها ، مما قد يشير إلى أن جزء مديري البنوك في عملية الموافقة على القرض يتكون أساسًا من الاحتفاظ بشخص ما للإقالة في حالة التخلف عن سداد القرض.

تقول الورقة:

من منظور عملي ، تجدر الإشارة إلى أن نتائجنا قد تشير إلى أن البنك يمكنه معالجة القروض بشكل أسرع وأرخص في غياب مديري القروض البشرية مع نتائج مماثلة للغاية. بينما يؤدي المديرون بشكل طبيعي مجموعة متنوعة من المهام ، من الصعب المجادلة بأنها ضرورية لهذه المهمة بالذات ويمكن لخوارزمية بسيطة نسبيًا أن تؤدي كذلك.

"من المهم أيضًا ملاحظة أنه مع البيانات الإضافية والقوة الحسابية ، يمكن تحسين هذه الخوارزميات أيضًا."

• ورقة بعنوان المدراء مقابل الآلات: هل الخوارزميات تكرر الحدس البشري في التصنيفات الائتمانية؟، ويأتي من قسم الاقتصاد وقسم الإحصاء في UoC Irvine وبنك الاتصالات BBM في البرازيل.

السلوك البشري الآلي في تقييمات التصنيف الائتماني

لا تشير النتائج إلى أن أنظمة التعلم الآلي هي بالضرورة أفضل في اتخاذ القرارات بشأن القروض والتصنيفات الائتمانية ، ولكن حتى الخوارزميات التي تعتبر الآن "منخفضة المستوى" قادرة على استخلاص نفس الاستنتاجات مثل البشر من نفس البيانات.

يصف التقرير بشكل ضمني مديري البنوك على أنهم نوع من "جدار حماية برمجيات اللحوم" الذي تتمثل وظيفته الأساسية المتبقية في رفع درجات المخاطر التي يقدمها لهم نظام بطاقة الأداء الإحصائي والتحليلي (وهي ممارسة تُعرف في المجال المصرفي باسم "التحزيز").

"بمرور الوقت ، يبدو أن المديرين يستخدمون قدرًا أقل من حرية التصرف مما قد يشير إلى تحسن أداء أو الاعتماد على وسائل خوارزمية مثل بطاقة قياس الأداء."

كما لاحظ الباحثون:

تظهر النتائج في هذه الورقة أن هذه المهمة المعينة التي ينفذها مديرو بنوك من ذوي المهارات العالية يمكن في الواقع تكرارها بسهولة بواسطة خوارزميات بسيطة نسبيًا. يمكن تحسين أداء هذه الخوارزميات من خلال الضبط الدقيق لمراعاة الاختلافات عبر الصناعات ويمكن بالطبع توسيعها بسهولة لتشمل أهدافًا إضافية مثل دمج اعتبارات الإنصاف في ممارسات الإقراض أو لتعزيز الأهداف الاجتماعية الأخرى.

حدد الفرق: تقييم المخاطر لتصنيفات بطاقة الأداء (التلقائي) يتم رفعه إحصائيًا ("محقق") من قبل مديري البنوك الذين تمت دراسة قراراتهم في العمل - إجراء قابل للتكرار.

نظرًا لأن البيانات تشير إلى أن مديري البنوك يقومون بذلك بطريقة خوارزمية تقريبًا ويمكن التنبؤ بها ، فليس من الصعب تكرار تعديلاتهم. تقوم العملية ببساطة "بتخمينات ثانية" لبيانات بطاقة قياس الأداء الأصلية وتعديل تصنيف المخاطر إلى أعلى ضمن هوامش يمكن التنبؤ بها.

الطريقة والبيانات

كان الهدف المعلن للمشروع هو توقع القرارات التي سيتخذها مديرو البنوك ، بناءً على نظام التسجيل والمتغيرات الأخرى المتاحة لهم ، بدلاً من تطوير أنظمة بديلة مبتكرة مصممة لتحل محل أطر إجراءات طلب القروض الحالية.

كانت طرق التعلم الآلي التي تم اختبارها للمشروع هي Multinomial Logistic LASSO (MNL-لاسو), الشبكات العصبية، واثنين من تطبيقات التصنيف والانحدار الأشجار (CART): Random Forest و تعزيز التدرج.

أخذ المشروع في الاعتبار كلاً من بيانات بطاقة الأداء لمهمة التصنيف الائتماني في العالم الحقيقي ، ونتائجها ، كما هو معروف في البيانات. يعد تصنيف بطاقة قياس الأداء أحد أقدم الممارسات الخوارزمية ، حيث يتم حساب المتغيرات الرئيسية للقرض المقترح في مصفوفة مخاطر ، غالبًا بوسائل بسيطة مثل الانحدار اللوجستي.

النتائج

كان أداء MNL-LASSO هو الأسوأ بين الخوارزميات المختبرة ، حيث نجح في تصنيف 53٪ فقط من القروض ، مقارنةً بالمدير الواقعي في الحالات التي تم تقييمها.

الطرق الثلاث الأخرى (مع CART تشمل Random Forest و Gradient Boosting) سجلت جميعها 90٪ على الأقل من حيث الدقة وخطأ مربع متوسط ​​الجذر (RMSE).

ومع ذلك ، سجل تنفيذ Random Forest لـ CART نسبة رائعة تقترب من 96٪ ، تليها عن كثب تعزيز التدرج.

حتى مع إزالة تصنيف بطاقة الأداء من الاختبارات أثناء دراسات الاجتثاث (قسم الجدول السفلي) ، تحقق الخوارزميات أداءً استثنائيًا في تكرار تمييز مديري البنوك البشرية فيما يتعلق بالتصنيف الائتماني.

من المثير للدهشة أن الباحثين وجدوا أن شبكتهم العصبية المنفذة سجلت 93٪ فقط ، مع وجود فجوة RMSE أوسع ، مما أدى إلى إنتاج قيم مخاطر على بعد عدة درجات من التقديرات التي ينتجها الإنسان.

يلاحظ المؤلفون:

لا تشير [هذه] النتائج إلى أن إحدى الطرق تتفوق على الأخرى فيما يتعلق بمقياس خارجي للدقة مثل الاحتمال الافتراضي الموضوعي. من الممكن تمامًا أن تكون الشبكة العصبية على سبيل المثال هي الأفضل لمهمة التصنيف هذه.

"الهدف هنا هو تكرار اختيار المدير البشري ، ويبدو أن الغابة العشوائية تتفوق في أداء هذه المهمة على جميع الأساليب الأخرى عبر المقاييس التي تم فحصها."

ووفقًا للباحثين ، فإن نسبة الـ 5٪ التي لم يستطع النظام إعادة إنتاجها تُعزى إلى عدم تجانس الصناعات المشمولة. لاحظ المؤلفون أن 5٪ من المديرين يمثلون جميع هذه الاختلافات تقريبًا ، ويعتقدون أن الأنظمة الأكثر تفصيلاً يمكن أن تغطي في نهاية المطاف حالات الاستخدام هذه وتقضي على النقص.

من الصعب أتمتة المساءلة

إذا تم إثبات ذلك في مشاريع لاحقة ذات صلة ، يقترح البحث أنه يمكن إضافة دور "مدير البنك" إلى كادر متنامٍ من مناصب السلطة والفطنة التي كانت قوية في السابق والتي يتم تقليلها إلى حالة "المراقب" مع دقة أنظمة الماكينة المماثلة يتم اختباره على المدى الطويل ؛ ويقوض الموقف الشائع أن بعض المهام الحرجة لا يمكن أتمتة.

ومع ذلك ، يبدو أن الخبر السار لمديري البنوك هو أنه من وجهة نظر سياسية ، فإن الحاجة إلى المساءلة البشرية في العمليات الاجتماعية الهامة مثل تقييم التصنيف الائتماني من المرجح أن تحافظ على أدوارهم الحالية - حتى لو كانت تصرفات الأدوار يجب أن تصبح قابلة للتكرار تمامًا بواسطة أنظمة التعلم الآلي.

نُشر لأول مرة في 18 فبراير 2022.