Anderson’un Açısı
‘Basit’ AI Banka Yöneticilerinin Kredi Kararlarını %95’den Fazla Doğrulukla Öngörebilir

Öne çıkan noktalarRastgele Orman, banka yöneticilerinin kredi kararlarını yaklaşık %96 doğrulukla…
Daha fazla göster
- Rastgele Orman, banka yöneticilerinin kredi kararlarını yaklaşık %96 doğrulukla kopyaladı.
- Yöneticiler, otomatik puan kartlarından nadiren sapıyor; bu da rollerinin giderek gereksiz hale geldiğini gösteriyor.
- Sinir ağları, insan kredi derecelendirme davranışını taklit etmede daha basit algoritmalardan daha düşük performans gösterdi.
Yeni bir araştırma projesi, insan banka yöneticilerinin aldığı takdiri kararların, makine öğrenimi sistemleri tarafından %95’den fazla doğrulukla tekrarlanabileceğini buldu.
Banka yöneticilerine özel bir veri setinde bulunan aynı veriler kullanılarak, test edilen en iyi performans gösteren algoritma, Random Forest uygulaması oldu – yirmi yıllık, oldukça basit bir yaklaşım; ancak insan banka yöneticilerinin krediler hakkındaki nihai kararlarını taklit etmeye çalışırken, bir sinir ağından daha iyi performans gösterdi.

Random Forest algoritması, dört algoritmadan biri, banka yöneticilerinin performansına karşı insan eşdeğer puanlama elde ediyor – algoritmanın göreceli basitliğine rağmen. Kaynak: Yöneticiler ve Makineler: Algoritmalar Kredi Puanlamalarında İnsan Sezgisini Taklit Ediyor mu?, https://arxiv.org/pdf/2202.04218.pdf
Araştırmacılar, bir büyük ticari bankadaki 37.449 kredi puanlaması ve 4.414 benzersiz müşterinin özel bir veri setine erişim sağladı ve makalede çeşitli noktalarda, yöneticilerin kararlarını vermek için kendilerine verilen otomatik veri analizi artık o kadar doğru ki, banka yöneticileri nadiren ondan sapıyor, potansiyel olarak banka yöneticilerinin kredi onay sürecindeki rollerinin esas olarak kredi geri ödenmediğinde işten çıkarılabilecek birini tutmaktan oluşabileceğini gösteriyor.
Makalede diyor ki:
‘Pratik açıdan sonuçlarımızın, banka insan kredi yöneticileri olmadan kredileri daha hızlı ve daha düşük maliyetle, çok benzer sonuçlarla işleyebilir anlamına gelebileceğini belirtmek gerekir. Yöneticiler elbette çeşitli işler yapar; ancak bu özel görev için vazgeçilmez olduklarını savunmak zordur ve görece basit bir algoritma da aynı derecede iyi sonuç verebilir.’
‘Ayrıca, ek veri ve hesaplama gücü ile bu algoritmaların daha da geliştirilebileceğini unutmayın.’
Makale, Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings? başlıklı ve UoC Irvine’nin İktisat ve İstatistik Bölümü ile Brezilya’daki Bank of Communications BBM’den geliyor.
Kredi Puanlaması Değerlendirmelerinde Robotik İnsan Davranışı
Sonuçlar, makine öğrenimi sistemlerinin kredi ve kredi notu kararlarında mutlaka daha iyi olduğunu göstermiyor; aynı veriler verildiğinde, artık oldukça basit sayılan algoritmaların bile insanlarla aynı sonuçlara ulaşabildiğini gösteriyor.
Rapor, banka yöneticilerini bir tür ‘et firewall’ olarak karakterize ediyor, kalan temel işlevlerinin, sunulan istatistiksel ve analitik puanlama sisteminin risk puanlarını yükseltmek (bankacılıkta ‘notching’ olarak bilinen bir uygulama) olduğunu ima ediyor.
‘Zaman içinde, yöneticilerin daha az takdiri kullanmakta olduğu görünüyor, bu da puanlama sisteminin veya algoritmik araçların performansının veya bağımlılığının iyileştirildiğini gösterebilir.’
Araştırmacılar ayrıca şunları kaydetti:
‘Bu çalışmanın sonuçları, yüksek becerili banka yöneticilerinin yürüttüğü bu özel görevin görece basit algoritmalarla kolayca yeniden üretilebileceğini gösteriyor. Sektörler arasındaki farklılıklar dikkate alınarak ince ayar yapılırsa algoritmaların performansı iyileştirilebilir. Ayrıca kredi uygulamalarında hakkaniyetin gözetilmesi ya da diğer toplumsal hedeflerin desteklenmesi gibi ek amaçları kapsayacak şekilde kolayca genişletilebilirler.’

Farkı bulun: puanlama (otomatik) puanlamalarının risk değerlendirmesi, banka yöneticilerinin kararlarını incelediği çalışmada istatistiksel olarak ‘notched’ (yükseltilmiş) – tekrarlanabilir bir prosedür.
Veriler, banka yöneticilerinin bunu neredeyse algoritmik ve öngörülebilir bir şekilde yaptığını gösteriyor, bu nedenle ayarlamaları tekrarlamak o kadar zor değil. Süreç, orijinal puanlama verilerini ‘ikinci kez düşünür’ ve risk puanını öngörülebilir sınırlar içinde yukarı doğru ayarlar.
Yöntem ve Veri
Projenin açıklanan amacı, mevcut sistem ve diğer değişkenlere dayalı olarak banka yöneticilerinin alacağı kararları tahmin etmekti, değil de mevcut kredi başvurusu prosedür çerçevelerini değiştirmek için yeni alternatif sistemler geliştirmek.
Proje için test edilen makine öğrenimi yöntemleri, Multinomial Logistic LASSO (MNL-LASSO), sinir ağları ve iki Sınıflandırma ve Regresyon Ağaçları (CART) uygulaması: Random Forest ve Gradient Boosting idi.
Proje, gerçek bir kredi puanlama görevi için hem puanlama verilerini hem de sonuçlarını veri olarak dikkate aldı. Puanlama puanı, en eski algoritmik uygulamalardan biridir, burada önerilen kredinin ana değişkenleri bir risk matrisine hesaplanır, genellikle lojistik regresyon gibi basit yöntemlerle.
Sonuçlar
MNL-LASSO, test edilen algoritmalar arasında en kötü performansı gösterdi ve sadece %53’lük bir oranda kredileri başarılı bir şekilde sınıflandırdı, gerçek banka yöneticilerine kıyasla.
Diğer üç yöntem (CART, Random Forest ve Gradient Boosting uygulamalarını içerir) yöneticinin seçtiği kategoriyi vakaların yüzde doksanından fazlasında yeniden üretti. Hata ayrıca ortalama karesel hatanın karekökü (RMSE) ile ayrı olarak değerlendirildi.
Random Forest’in CART uygulaması, %96’ya yakın bir oranla etkileyici bir performans gösterdi ve onu Gradient Boosting takip etti.

Ablasyon çalışmaları sırasında testlerden puanlama puanı kaldırıldığında (alt tablo bölümü), algoritmalar, insan banka yöneticilerinin kredi puanlaması için yargısını tekrarlamada olağanüstü bir performans gösteriyor.
Araştırmacılar, uyguladıkları sinir ağı yalnızca %93’lük bir oranda başarılı oldu ve daha geniş bir RMSE açığına sahipti, risk değerlerini insan üretimi tahminlerden birkaç puan uzaklaştırdı.
Yazarlar şunları gözlemledi:
‘Bu sonuçlar, gerçek temerrüt olasılığı gibi dışsal bir doğruluk ölçütü bakımından bir yöntemin diğerinden üstün olduğunu göstermez. Örneğin sinir ağı bu sınıflandırma görevi için en iyi yöntem olabilir.’
‘Burada amaç, sadece insan yöneticisinin seçimini tekrarlamak ve bu görev için Random Forest’in diğer tüm yöntemleri aşabileceğini gösteriyor.’
Sistem %5’lik bir oranla üretemeyen kısmı, araştırmacılara göre, kapsanan endüstrilerin heterojenliğinden kaynaklanmaktadır. Yazarlar, yöneticilerin %5’inin neredeyse tüm sapmaları temsil ettiğini ve daha gelişmiş sistemlerin bu tür durumları kapsayabileceğini ve açığı kapatabileceğini düşünüyor.
Hesap Verebilirlik Otomatikleştirilmesi Zordur
Eğer sonraki ilgili projelerde doğrulanırsa, araştırma, ‘banka yöneticisi’ rolünün, otorite ve takdir pozisyonlarının ‘gözetmen’ statüsüne indirgeneceği bir kademeye eklenebileceğini gösteriyor; ve karşılaştırılabilir makine sistemlerinin doğruluğu uzun vadede sınanırken, belirli kritik görevlerin otomatikleştirilemeyeceği yaygın görüşünü zayıflatıyor.
Ancak, banka yöneticileri için iyi haber, siyasi bir bakış açısına göre, kredi puanlaması gibi kritik sosyal süreçlerde insan hesap verebilirliğinin gereksiniminin, rollerinin mevcut durumunu koruyacağıdır – Makine öğrenimi sistemleri tarafından tamamen tekrarlanabilir olsalar bile.
İlk olarak 18 Şubat 2022’de yayımlanmıştır.












