'सरल' एआई बैंक प्रबंधकों के ऋण निर्णयों की 95% से अधिक सटीकता की आशा कर सकता है

एक नए शोध प्रोजेक्ट में पाया गया है कि मानव बैंक प्रबंधकों द्वारा लिए गए विवेकाधीन निर्णयों को मशीन लर्निंग सिस्टम द्वारा 95% से अधिक की सटीकता के साथ दोहराया जा सकता है।

विशेषाधिकार प्राप्त डेटासेट में बैंक प्रबंधकों के लिए उपलब्ध समान डेटा का उपयोग करते हुए, परीक्षण में सबसे अच्छा प्रदर्शन करने वाला एल्गोरिदम था बेतरतीब जंगल कार्यान्वयन - यह एक काफी सरल दृष्टिकोण है बीस वर्ष की आयु, लेकिन ऋणों के बारे में अंतिम निर्णय लेने वाले मानव बैंक प्रबंधकों के व्यवहार की नकल करने का प्रयास करते समय जिसने अभी भी एक तंत्रिका नेटवर्क से बेहतर प्रदर्शन किया।

रैंडम फ़ॉरेस्ट एल्गोरिथम, परियोजना के लिए अपनी गति से काम करने वाले चार में से एक, एल्गोरिथम की सापेक्ष सादगी के बावजूद, बैंक प्रबंधकों के प्रदर्शन बनाम उच्च मानव-समतुल्य स्कोरिंग प्राप्त करता है। स्रोत: प्रबंधक बनाम मशीनें: क्या एल्गोरिदम क्रेडिट रेटिंग में मानव अंतर्ज्ञान को दोहराते हैं?, https://arxiv.org/pdf/2202.04218.pdf

शोधकर्ता, जिनके पास 'एक बड़े वाणिज्यिक बैंक' में 37,449 अद्वितीय ग्राहकों में 4,414 ऋण रेटिंग के मालिकाना डेटासेट तक पहुंच थी, प्रीप्रिंट पेपर में विभिन्न बिंदुओं पर सुझाव देते हैं कि स्वचालित डेटा विश्लेषण जो प्रबंधकों को अपना निर्णय लेने के लिए दिया जाता है वह अब बन गया है इतना सटीक कि बैंक प्रबंधक शायद ही कभी इससे विचलित होते हैं, संभावित रूप से यह दर्शाता है कि ऋण अनुमोदन प्रक्रिया में बैंक प्रबंधकों की भूमिका मुख्य रूप से ऋण डिफ़ॉल्ट की स्थिति में बर्खास्त करने के लिए किसी को बनाए रखने की होती है।

पेपर बताता है:

'व्यावहारिक दृष्टिकोण से यह ध्यान देने योग्य है कि हमारे परिणाम यह संकेत दे सकते हैं कि बैंक मानव ऋण प्रबंधकों की अनुपस्थिति में बहुत तुलनीय परिणामों के साथ तेजी से और सस्ते में ऋण संसाधित कर सकता है। जबकि प्रबंधक स्वाभाविक रूप से विभिन्न प्रकार के कार्य करते हैं, यह तर्क देना कठिन है कि वे इस विशेष कार्य के लिए आवश्यक हैं और एक अपेक्षाकृत सरल एल्गोरिदम भी उतना ही अच्छा प्रदर्शन कर सकता है।

'यह ध्यान रखना भी महत्वपूर्ण है कि अतिरिक्त डेटा और कम्प्यूटेशनल शक्ति के साथ इन एल्गोरिदम को और भी बेहतर बनाया जा सकता है।'

RSI काग़ज़ शीर्षक है प्रबंधक बनाम मशीनें: क्या एल्गोरिदम क्रेडिट रेटिंग में मानव अंतर्ज्ञान को दोहराते हैं?, और यूओसी इरविन में अर्थशास्त्र विभाग और सांख्यिकी विभाग और ब्राजील में बैंक ऑफ कम्युनिकेशंस बीबीएम से आता है।

क्रेडिट रेटिंग आकलन में रोबोटिक मानव व्यवहार

परिणाम यह नहीं दर्शाते हैं कि मशीन लर्निंग सिस्टम ऋण और क्रेडिट रेटिंग के बारे में निर्णय लेने में आवश्यक रूप से बेहतर हैं, बल्कि यह कि अब काफी 'निम्न-स्तर' माने जाने वाले एल्गोरिदम भी समान डेटा से मनुष्यों के समान निष्कर्ष निकालने में सक्षम हैं।

रिपोर्ट स्पष्ट रूप से बैंक प्रबंधकों को एक प्रकार के 'मीटवेयर फ़ायरवॉल' के रूप में चित्रित करती है, जिसका मुख्य शेष कार्य उन जोखिम स्कोर को बढ़ाना है जो सांख्यिकीय और विश्लेषणात्मक स्कोरकार्ड प्रणाली उन्हें प्रस्तुत करती है (बैंकिंग में 'नॉटिंग' के रूप में जाना जाने वाला अभ्यास)।

'समय के साथ ऐसा प्रतीत होता है कि प्रबंधक कम विवेक का प्रयोग कर रहे हैं जो स्कोरकार्ड जैसे एल्गोरिथम साधनों के बेहतर प्रदर्शन या निर्भरता का संकेत दे सकता है।'

शोधकर्ताओं ने यह भी नोट किया:

'इस पेपर के नतीजे बताते हैं कि अत्यधिक कुशल बैंक प्रबंधकों द्वारा निष्पादित यह विशेष कार्य वास्तव में अपेक्षाकृत सरल एल्गोरिदम द्वारा आसानी से दोहराया जा सकता है। इन एल्गोरिदम के प्रदर्शन को विभिन्न उद्योगों में अंतर को ध्यान में रखकर बेहतर बनाया जा सकता है और निश्चित रूप से अतिरिक्त लक्ष्यों को शामिल करने के लिए आसानी से बढ़ाया जा सकता है जैसे कि उधार देने की प्रथाओं में निष्पक्षता के विचारों को शामिल करना या अन्य सामाजिक लक्ष्यों को बढ़ावा देना।'

अंतर पहचानें: स्कोरकार्ड (स्वचालित) रेटिंग के जोखिम मूल्यांकन को उन बैंक प्रबंधकों द्वारा सांख्यिकीय रूप से बढ़ा दिया गया है ('नोकदार') जिनके निर्णयों का कार्य में अध्ययन किया गया था - एक अनुकरणीय प्रक्रिया।

चूंकि डेटा से पता चलता है कि बैंक प्रबंधक इसे लगभग एल्गोरिथम और पूर्वानुमानित तरीके से करते हैं, इसलिए उनके समायोजन को दोहराना उतना मुश्किल नहीं है। यह प्रक्रिया बस मूल स्कोरकार्ड डेटा का 'दूसरा अनुमान' लगाती है और पूर्वानुमानित मार्जिन के भीतर जोखिम रेटिंग को ऊपर की ओर समायोजित करती है।

विधि और डेटा

परियोजना का घोषित इरादा यह अनुमान लगाना था कि बैंक प्रबंधक स्कोरिंग प्रणाली और उनके लिए उपलब्ध अन्य चर के आधार पर क्या निर्णय लेंगे, न कि वर्तमान ऋण आवेदन प्रक्रिया ढांचे को बदलने के लिए डिज़ाइन की गई नवीन वैकल्पिक प्रणालियों को विकसित करना।

परियोजना के लिए परीक्षण की गई मशीन लर्निंग विधियाँ मल्टीनोमियल लॉजिस्टिक LASSO थीं (एमएनएल-लासो), तंत्रिका जाल, और दो कार्यान्वयन वर्गीकरण और प्रतिगमन पेड़ (कार्ट): यादृच्छिक वन और धीरे-धीरे बूस्टिंग.

प्रोजेक्ट ने वास्तविक दुनिया के क्रेडिट रेटिंग कार्य के लिए स्कोरकार्ड डेटा और उसके परिणाम दोनों पर विचार किया, जैसा कि डेटा में ज्ञात है। स्कोरकार्ड रेटिंग सबसे पुरानी एल्गोरिथम प्रथाओं में से एक है, जहां प्रस्तावित ऋण के लिए प्रमुख चर की गणना जोखिम मैट्रिक्स में की जाती है, अक्सर सरल तरीकों से रसद प्रतिगमन.

परिणाम

परीक्षण किए गए एल्गोरिदम में एमएनएल-एलएएसएसओ ने सबसे खराब प्रदर्शन किया, मूल्यांकन किए गए मामलों में वास्तविक जीवन प्रबंधक की तुलना में, केवल 53% ऋणों को सफलतापूर्वक वर्गीकृत किया।

अन्य तीन तरीकों (रैंडम फ़ॉरेस्ट और ग्रेडिएंट बूस्टिंग को शामिल करते हुए CART के साथ) सभी ने सटीकता और रूट मीन स्क्वायर त्रुटि के मामले में कम से कम 90% स्कोर किया (आरएमएसई).

हालाँकि, रैंडम फ़ॉरेस्ट के CART के कार्यान्वयन ने लगभग 96% का प्रभावशाली स्कोर प्राप्त किया, इसके बाद ग्रेडिएंट बूस्टिंग का स्थान रहा।

यहां तक ​​कि एब्लेशन अध्ययन (निचला तालिका अनुभाग) के दौरान परीक्षणों से स्कोरकार्ड रेटिंग हटा दिए जाने पर भी, एल्गोरिदम क्रेडिट रेटिंग के लिए मानव बैंक प्रबंधकों की समझ की नकल करने में असाधारण प्रदर्शन प्राप्त करते हैं।

आश्चर्यजनक रूप से, शोधकर्ताओं ने पाया कि उनके कार्यान्वित तंत्रिका नेटवर्क ने व्यापक आरएमएसई अंतर के साथ केवल 93% स्कोर किया, जो मानव-निर्मित अनुमानों से कई पायदान दूर जोखिम मूल्यों का उत्पादन करता है।

लेखक निरीक्षण करते हैं:

'[ये] परिणाम यह संकेत नहीं देते हैं कि जहां तक ​​सटीकता के बाहरी मीट्रिक का संबंध है, जैसे कि उद्देश्य डिफ़ॉल्ट संभावना, एक विधि दूसरे से बेहतर प्रदर्शन करती है। यह बहुत संभव है कि उदाहरण के लिए न्यूरल नेटवर्क उस वर्गीकरण कार्य के लिए सर्वोत्तम है।

'यहां उद्देश्य केवल मानव प्रबंधक की पसंद को दोहराना है और इस कार्य के लिए रैंडम फ़ॉरेस्ट जांच किए गए मेट्रिक्स में अन्य सभी तरीकों से बेहतर प्रदर्शन करता प्रतीत होता है।'

शोधकर्ताओं के अनुसार, 5% जो सिस्टम पुन: उत्पन्न नहीं कर सका, वह कवर किए गए उद्योगों की विविधता के कारण होता है। लेखकों का कहना है कि 5% प्रबंधक लगभग इन सभी भिन्नताओं के लिए जिम्मेदार हैं, और मानते हैं कि अधिक विस्तृत प्रणालियाँ अंततः ऐसे उपयोग के मामलों को कवर कर सकती हैं और कमी को पूरा कर सकती हैं।

जवाबदेही को स्वचालित करना कठिन है

यदि बाद की संबंधित परियोजनाओं में सामने आया, तो शोध से पता चलता है कि 'बैंक प्रबंधक' की भूमिका को प्राधिकरण और विवेक के एक बार शक्तिशाली पदों के बढ़ते कैडर में जोड़ा जा सकता है, जिन्हें तुलनीय मशीन प्रणालियों की सटीकता के साथ 'निरीक्षक' की स्थिति में कम किया जा रहा है। लंबी अवधि में परीक्षण किया जाता है; और कमजोर करता है सामान्य रूप से धारण की जाने वाली स्थिति कि कुछ महत्वपूर्ण कार्यों को स्वचालित नहीं किया जा सकता है।

हालाँकि, बैंक प्रबंधकों के लिए अच्छी खबर यह प्रतीत होती है कि, राजनीतिक दृष्टिकोण से, क्रेडिट रेटिंग मूल्यांकन जैसी महत्वपूर्ण सामाजिक प्रक्रियाओं में मानवीय जवाबदेही की आवश्यकता उनकी वर्तमान भूमिकाओं को संरक्षित करने की संभावना है - भले ही भूमिकाओं के कार्य मशीन लर्निंग सिस्टम द्वारा पूरी तरह से पुनरुत्पादित किया जाना चाहिए।

पहली बार 18 फरवरी 2022 को प्रकाशित।