‘Basit’ AI Banka Yöneticilerinin Kredi Kararlarını %95’den Fazla Doğrulukla Öngörebilir

Yeni bir araştırma projesi, insan banka yöneticilerinin aldığı takdiri kararların, makine öğrenimi sistemleri tarafından %95’den fazla doğrulukla tekrarlanabileceğini buldu.

Banka yöneticilerine özel bir veri setinde bulunan aynı veriler kullanılarak, test edilen en iyi performans gösteren algoritma, Random Forest uygulaması oldu – oldukça basit bir yaklaşım, ancak insan banka yöneticilerinin kredi ve kredi puanları hakkında nihai kararlar almasına çalışırken, bir sinir ağından daha iyi performans gösterdi.

Random Forest algoritması, dört algoritmadan biri, banka yöneticilerinin performansına karşı insan eşdeğer puanlama elde ediyor – algoritmanın göreceli basitliğine rağmen. Kaynak: Yöneticiler ve Makineler: Algoritmalar Kredi Puanlamalarında İnsan Sezgisini Taklit Ediyor mu?, https://arxiv.org/pdf/2202.04218.pdf

Araştırmacılar, bir büyük ticari bankadaki 37.449 kredi puanlaması ve 4.414 benzersiz müşterinin özel bir veri setine erişim sağladı ve makalede çeşitli noktalarda, yöneticilerin kararlarını vermek için kendilerine verilen otomatik veri analizi artık o kadar doğru ki, banka yöneticileri nadiren ondan sapıyor, potansiyel olarak banka yöneticilerinin kredi onay süreci中的 rollerinin esas olarak kredi geri ödemeleri durumunda sorumlu tutulacak birini tutmaktan oluşabileceğini gösteriyor.

Makalede diyor ki:

‘Pratik bir bakış açısına göre, sonuçlarımızın, bankanın insan kredi yöneticileri olmadan daha hızlı ve daha ucuz bir şekilde kredileri işleyebileceğini gösterdiği unutulmamalıdır. Yöneticiler doğal olarak çeşitli görevler gerçekleştiriyor, ancak bu görev için gerekli olmadıklarını ve oldukça basit bir algoritmanın aynı performansı gösterebileceğini iddia etmek zor değil.’

‘Ayrıca, ek veri ve hesaplama gücü ile bu algoritmaların daha da geliştirilebileceğini unutmayın.’

Makale, Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings? başlıklı ve UoC Irvine’nin İktisat ve İstatistik Bölümü ile Brezilya’daki Bank of Communications BBM’den geliyor.

Kredi Puanlaması Değerlendirmelerinde Robotik İnsan Davranışı

Sonuçlar, makine öğrenimi sistemlerinin kredi ve kredi puanları hakkında kararlar almakta insanlardan daha iyi olmadığını göstermiyor, ancak düşük seviyeli olarak kabul edilen algoritmaların bile aynı verileri kullanarak aynı sonuçlara ulaşabileceğini gösteriyor.

Rapor, banka yöneticilerini bir tür ‘et firewall’ olarak karakterize ediyor, kalan temel işlevlerinin, sunulan istatistiksel ve analitik puanlama sisteminin risk puanlarını yükseltmek (bankacılıkta ‘notching’ olarak bilinen bir uygulama) olduğunu ima ediyor.

‘Zaman içinde, yöneticilerin daha az takdiri kullanmakta olduğu görünüyor, bu da puanlama sisteminin veya algoritmik araçların performansının veya bağımlılığının iyileştirildiğini gösterebilir.’

Araştırmacılar ayrıca şunları kaydetti:

‘Bu çalışmadaki sonuçlar, bu görevin, oldukça basit algoritmalar tarafından kolayca tekrarlanabileceğini gösteriyor. Bu algoritmaların performansı, endüstriler arasındaki farklılıkları hesaba katmak ve kredi uygulamalarında adillik gibi diğer sosyal hedefleri teşvik etmek için ayarlanabilir.’

Farkı bulun: puanlama (otomatik) puanlamalarının risk değerlendirmesi, banka yöneticilerinin kararlarını incelediği çalışmada istatistiksel olarak ‘notched’ (yükseltilmiş) – tekrarlanabilir bir prosedür.

Veriler, banka yöneticilerinin bunu neredeyse algoritmik ve öngörülebilir bir şekilde yaptığını gösteriyor, bu nedenle ayarlamaları tekrarlamak o kadar zor değil. Süreç, orijinal puanlama verilerini ‘ikinci kez düşünür’ ve risk puanını öngörülebilir sınırlar içinde yukarı doğru ayarlar.

Yöntem ve Veri

Projenin açıklanan amacı, mevcut sistem ve diğer değişkenlere dayalı olarak banka yöneticilerinin alacağı kararları tahmin etmekti, değil de mevcut kredi başvurusu prosedür çerçevelerini değiştirmek için yeni alternatif sistemler geliştirmek.

Proje için test edilen makine öğrenimi yöntemleri, Multinomial Logistic LASSO (MNL-LASSO), sinir ağları ve iki Classification and Regression Trees (CART) uygulaması: Random Forest ve Gradient Boosting idi.

Proje, gerçek bir kredi puanlama görevi için hem puanlama verilerini hem de sonuçlarını veri olarak dikkate aldı. Puanlama puanı, en eski algoritmik uygulamalardan biridir, burada önerilen kredinin ana değişkenleri bir risk matrisine hesaplanır, genellikle lojistik regresyon gibi basit yöntemlerle.

Sonuçlar

MNL-LASSO, test edilen algoritmalar arasında en kötü performansı gösterdi ve sadece %53’lük bir oranda kredileri başarılı bir şekilde sınıflandırdı, gerçek banka yöneticilerine kıyasla.

Diğer üç yöntem (CART, Random Forest ve Gradient Boosting’i içerir) %90’ın üzerinde doğruluk ve Kök Ortalama Hata (RMSE) oranlarına ulaştı.

Random Forest’in CART uygulaması, %96’ya yakın bir oranla etkileyici bir performans gösterdi ve onu Gradient Boosting takip etti.

Ablasyon çalışmaları sırasında testlerden puanlama puanı kaldırıldığında (alt tablo bölümü), algoritmalar, insan banka yöneticilerinin kredi puanlaması için yargısını tekrarlamada olağanüstü bir performans gösteriyor.

Araştırmacılar, uyguladıkları sinir ağı hanya %93’lük bir oranda başarılı oldu ve daha geniş bir RMSE açığına sahipti, risk değerlerini insan üretimi tahminlerden birkaç puan uzaklaştırdı.
Yazarlar şunları gözlemledi:

‘Bu sonuçlar, bir dış metric olarak doğruluk açısından bir yöntemin diğerini aşmadığını göstermiyor. Örneğin, Sinir Ağı, bu sınıflandırma görevi için en iyisi olabilir.

‘Burada amaç, sadece insan yöneticisinin seçimini tekrarlamak ve bu görev için Random Forest’in diğer tüm yöntemleri aşabileceğini gösteriyor.’

Sistem %5’lik bir oranla üretemeyen kısmı, araştırmacılara göre, kapsanan endüstrilerin heterojenliğinden kaynaklanmaktadır. Yazarlar, %5’lik oranın neredeyse tüm sapmaları temsil ettiğini ve daha gelişmiş sistemlerin bu tür durumları kapsayabileceğini ve açığı kapatabileceğini düşünüyor.

Hesap Verebilirlik Otomatikleştirilmesi Zordur

Eğer sonraki ilgili projelerde doğrulanırsa, araştırma, ‘banka yöneticisi’ rolünün, otorite ve takdir pozisyonlarının ‘gözetmen’ statüsüne indirgeneceği bir kademeye eklenebileceğini gösteriyor; ve belirli kritik görevlerin otomatikleştirilemeyeceği görüşünü zayıflatıyor.

Ancak, banka yöneticileri için iyi haber, siyasi bir bakış açısına göre, kredi puanlaması gibi kritik sosyal süreçlerde insan hesap verebilirliğinin gereksiniminin, rollerinin mevcut durumunu koruyacağıdır – Makine öğrenimi sistemleri tarafından tamamen tekrarlanabilir olsalar bile.

İlk olarak 18 Şubat 2022’de yayımlanmıştır.