'Basit' Yapay Zeka, Banka Yöneticilerinin Kredi Kararlarını %95'in Üzerinde Doğrulukla Tahmin Edebilir

Yeni bir araştırma projesi, banka yöneticilerinin verdiği ihtiyari kararların makine öğrenimi sistemleri tarafından %95'in üzerinde bir doğrulukla kopyalanabileceğini ortaya çıkardı.

Ayrıcalıklı bir veri kümesinde banka yöneticilerinin kullanabileceği verilerin aynısını kullanan testte en iyi performans gösteren algoritma, Rastgele Orman uygulama – oldukça basit bir yaklaşım yirmi yaşında, ancak yine de kredilerle ilgili nihai kararları formüle eden insan bankası yöneticilerinin davranışını taklit etmeye çalışırken bir sinir ağından daha iyi performans gösterdi.

Proje için adım atan dört algoritmadan biri olan Rastgele Orman algoritması, algoritmanın göreli basitliğine rağmen, banka yöneticilerinin performansına karşı yüksek insan eşdeğeri puanlama elde ediyor. Kaynak: Yöneticiler Makinelere Karşı: Algoritmalar Kredi Derecelendirmelerinde İnsan Sezgilerini Taklit Ediyor mu?, https://arxiv.org/pdf/2202.04218.pdf

'Büyük bir ticari banka'da 37,449 benzersiz müşteriye ait 4,414 kredi notunun yer aldığı tescilli bir veri setine erişimi olan araştırmacılar, ön baskı makalesinin çeşitli noktalarında, yöneticilere karar vermeleri için verilen otomatik veri analizinin artık o kadar doğru hale geldiğini, banka yöneticilerinin nadiren bundan saptığını ve bunun potansiyel olarak banka yöneticilerinin kredi onay sürecindeki rolünün esas olarak bir kredi temerrüdü durumunda işten çıkarılacak birini tutmaktan ibaret olduğunu gösteriyor.

Kağıt şöyle diyor:

'Pratik bir bakış açısıyla, sonuçlarımızın, çok benzer sonuçlarla insan kredisi yöneticilerinin yokluğunda bankanın kredileri daha hızlı ve daha ucuza işleyebileceğini gösterebileceğini belirtmekte fayda var. Yöneticiler doğal olarak çeşitli görevleri yerine getirirken, bu belirli görev için gerekli olduklarını ve nispeten basit bir algoritmanın da aynı şekilde performans gösterebileceğini iddia etmek zordur.

'Ayrıca, ek veri ve hesaplama gücüyle bu algoritmaların daha da geliştirilebileceğini belirtmek önemlidir.'

The kâğıt başlıklı Yöneticiler Makinelere Karşı: Algoritmalar Kredi Derecelendirmelerinde İnsan Sezgilerini Taklit Ediyor mu?ve Brezilya'daki UoC Irvine'deki Ekonomi ve İstatistik Departmanından ve Bank of Communications BBM'den geliyor.

Kredi Notu Değerlendirmelerinde Robotik İnsan Davranışı

Sonuçlar, makine öğrenimi sistemlerinin kredi ve kredi notları konusunda karar almada mutlaka daha iyi olduğunu göstermiyor; ancak şu anda oldukça 'düşük seviyeli' olarak kabul edilen algoritmaların bile aynı verilerden insanlarla aynı sonuçları çıkarabildiğini gösteriyor.

Raporda, banka müdürlerinin, istatistiksel ve analitik puan kartı sisteminin kendilerine sunduğu risk puanlarını yükseltmek gibi temel bir işlevi kalan bir tür 'et yazılım güvenlik duvarı' olarak nitelendirildiği açıkça belirtiliyor (bu uygulamaya bankacılıkta 'çentikleme' denir).

'Zamanla yöneticilerin daha az takdir yetkisi kullandıkları görülüyor ki bu da puan kartı gibi algoritmik araçların performansının iyileştiğini veya bunlara güvenildiğini gösteriyor olabilir.'

Araştırmacılar ayrıca şunları kaydetti:

'Bu makaledeki sonuçlar, son derece yetenekli banka yöneticileri tarafından gerçekleştirilen bu özel görevin, nispeten basit algoritmalarla kolayca tekrarlanabileceğini göstermektedir. Bu algoritmaların performansı, sektörler arası farklılıkları hesaba katacak şekilde ince ayar yapılarak iyileştirilebilir ve elbette kredi uygulamalarında adaletin dikkate alınması veya diğer sosyal hedeflerin teşvik edilmesi gibi ek hedefleri de içerecek şekilde kolayca genişletilebilir.'

Farkı bulun: Puan kartı (otomatik) derecelendirmelerinin risk değerlendirmesi, kararları çalışmada incelenen banka yöneticileri tarafından istatistiksel olarak yükseltilir ('çentiklenir') - tekrarlanabilir bir prosedür.

Veriler, banka yöneticilerinin bunu neredeyse algoritmik ve öngörülebilir bir şekilde yaptığını gösterdiğinden, düzeltmelerini tekrarlamak o kadar da zor değil. Süreç, orijinal puan kartı verilerini "ikinci kez tahmin ediyor" ve risk notunu öngörülebilir sınırlar dahilinde yukarı doğru ayarlıyor.

Yöntem ve Veriler

Projenin açıklanan amacı, mevcut kredi başvuru prosedürü çerçevelerinin yerini alacak yenilikçi alternatif sistemler geliştirmekten ziyade, banka yöneticilerinin puanlama sistemi ve ellerindeki diğer değişkenlere dayanarak hangi kararları alabileceklerini tahmin etmekti.

Proje için test edilen makine öğrenimi yöntemleri, Multinomial Logistic LASSO (MNL-LASSO), nöral ağlarve iki uygulama Sınıflandırma ve Regresyon Ağaçları (CART): Rastgele Orman ve Gradyan Arttırma.

Proje, hem gerçek dünyadaki bir kredi derecelendirme görevi için puan kartı verilerini hem de verilerde bilindiği şekliyle sonucunu dikkate aldı. Puan kartı derecelendirmesi, önerilen kredi için temel değişkenlerin genellikle şu kadar basit yöntemlerle bir risk matrisinde hesaplandığı en eski algoritmik uygulamalardan biridir: lojistik regresyon.

ÇIKTILAR

MNL-LASSO, değerlendirilen durumlarda gerçek hayattaki yöneticiye kıyasla kredilerin yalnızca %53'ünü başarıyla sınıflandırarak, test edilen algoritmalar arasında en kötü performansı gösterdi.

Diğer üç yöntemin (Rastgele Orman ve Gradient Boosting'i kapsayan CART ile) tümü doğruluk ve Ortalama Kare Hatanın Kökü (RMSE).

Ancak Random Forest'ın CART uygulaması etkileyici bir şekilde %96'lık bir puan aldı ve onu Gradient Boosting yakından takip etti.

Ablasyon çalışmaları sırasında puan kartı derecelendirmesi testlerden çıkarılmış olsa bile (alt tablo bölümü), algoritmalar insan banka yöneticilerinin kredi derecelendirmesi konusundaki ayırt etme yeteneğini kopyalamada olağanüstü bir performans elde ediyor.

Şaşırtıcı bir şekilde, araştırmacılar, uygulanan sinir ağının daha geniş bir RMSE boşluğu ile yalnızca %93 puan aldığını ve insan tarafından üretilen tahminlerden birkaç çentik uzakta risk değerleri ürettiğini buldular.

Yazarlar şunları gözlemliyor:

"[Bu] sonuçlar, nesnel varsayılan olasılık gibi harici bir doğruluk ölçüsü söz konusu olduğunda, bir yöntemin diğerinden daha iyi performans gösterdiğini göstermez. Örneğin Sinir Ağı'nın bu sınıflandırma görevi için en iyisi olması oldukça olasıdır.

'Burada amaç yalnızca insan yöneticinin seçimini kopyalamaktır ve bu görev için Rastgele Orman, araştırılan metrikler açısından diğer tüm yöntemlerden daha iyi performans gösteriyor gibi görünüyor.'

Araştırmacılara göre, sistemin yeniden üretemediği %5, kapsanan endüstrilerin heterojenliğinden kaynaklanıyor. Yazarlar, yöneticilerin %5'inin neredeyse tüm bu farklılıklardan sorumlu olduğunu belirtiyor ve daha ayrıntılı sistemlerin eninde sonunda bu tür kullanım durumlarını kapsayabileceğine ve açığı kapatabileceğine inanıyor.

Hesap Verebilirliği Otomatikleştirmek Zor

Daha sonraki ilgili projelerde doğrulanırsa, araştırma, bir zamanlar güçlü olan otorite ve ayırt etme pozisyonlarının giderek artan kadrosuna 'banka müdürü' rolünün eklenebileceğini ve karşılaştırılabilir makine sistemlerinin doğruluğunun uzun vadede test edildiğini öne sürüyor; ve yaygın olarak tutulan pozisyon belirli kritik görevlerin otomatikleştirilemeyeceği.

Bununla birlikte, banka yöneticileri için iyi haber, politik bir bakış açısıyla, kredi notu değerlendirmesi gibi kritik sosyal süreçlerde insan hesap verebilirliğine duyulan ihtiyacın, mevcut rollerini - rollerin eylemleri olmasa bile - muhtemelen koruyacağıdır. makine öğrenimi sistemleri tarafından tamamen yeniden üretilebilir hale gelmelidir.

İlk olarak 18 Şubat 2022'de yayınlandı.