‘Sederhana’ AI Dapat Meramalkan Keputusan Manajer Bank untuk Pinjaman dengan Akurasi Lebih dari 95%

Sebuah proyek penelitian baru telah menemukan bahwa keputusan diskresioner yang dibuat oleh manajer bank manusia dapat direplikasi oleh sistem pembelajaran mesin dengan akurasi lebih dari 95%.

Menggunakan data yang sama yang tersedia untuk manajer bank dalam dataset yang diprivasi, algoritma terbaik dalam tes adalah implementasi Random Forest – sebuah pendekatan yang cukup sederhana, yang sudah berusia dua puluh tahun, tetapi masih outperform neural network ketika mencoba meniru perilaku manajer bank manusia dalam membuat keputusan akhir tentang pinjaman.

Algoritma Random Forest, salah satu dari empat yang diuji dalam proyek ini, mencapai skor setara manusia yang tinggi vs. kinerja manajer bank, meskipun kesederhanaan algoritma. Sumber: Manajer versus Mesin: Apakah Algoritma Mengulangi Intuisi Manusia dalam Penilaian Kredit?, https://arxiv.org/pdf/2202.04218.pdf

Peneliti, yang memiliki akses ke dataset propietary dari 37.449 peringkat pinjaman di 4.414 pelanggan unik di ‘sebuah bank komersial besar’, menyarankan pada beberapa titik dalam makalah pra-cetak bahwa analisis data otomatis yang diberikan kepada manajer untuk membuat keputusan mereka sekarang sudah sangat akurat sehingga manajer bank jarang menyimpang dari itu, potensial menandakan bahwa peran manajer bank dalam proses persetujuan pinjaman terutama terdiri dari mempertahankan seseorang untuk dipecat dalam hal default pinjaman.

Makalah tersebut menyatakan:

‘Dari perspektif praktis, perlu diperhatikan bahwa hasil kami mungkin menunjukkan bahwa bank dapat memproses pinjaman lebih cepat dan lebih murah tanpa kehadiran manajer pinjaman manusia dengan hasil yang sangat mirip. Sementara manajer secara alami melakukan berbagai tugas, sulit untuk berargumen bahwa mereka sangat penting untuk tugas ini dan algoritma yang relatif sederhana dapat melakukan sama baiknya.

‘Juga penting untuk diperhatikan bahwa dengan data tambahan dan kekuatan komputasi, algoritma ini dapat ditingkatkan lebih lanjut.’

Makalah tersebut berjudul Manajer versus Mesin: Apakah Algoritma Mengulangi Intuisi Manusia dalam Penilaian Kredit?, dan berasal dari Departemen Ekonomi dan Departemen Statistik di UoC Irvine dan Bank of Communications BBM di Brasil.

Perilaku Manusia Robotik dalam Penilaian Kredit

Hasilnya tidak menunjukkan bahwa sistem pembelajaran mesin lebih baik dalam membuat keputusan tentang pinjaman dan peringkat kredit, tetapi bahwa bahkan algoritma yang sekarang dianggap cukup ‘rendah’ dapat menarik kesimpulan yang sama dengan manusia dari data yang sama.

Laporan tersebut secara implisit menggambarkan manajer bank sebagai semacam ‘firewall daging’ yang fungsi intinya adalah meningkatkan skor risiko yang disajikan oleh sistem skor kartu statistik dan analitis (praktik yang dikenal dalam perbankan sebagai ‘notching’).

‘Selama waktu, tampaknya manajer menggunakan diskresi yang lebih sedikit, yang mungkin menunjukkan kinerja atau ketergantungan yang lebih baik pada sarana algoritmik seperti skor kartu.’

Peneliti juga mencatat:

‘Hasil dalam makalah ini menunjukkan bahwa tugas tertentu yang dilakukan oleh manajer bank yang sangat terampil mungkin sebenarnya dapat dengan mudah direplikasi oleh algoritma yang relatif sederhana. Kinerja algoritma ini dapat ditingkatkan dengan penyetelan untuk memperhitungkan perbedaan di seluruh industri dan tentu saja dapat dengan mudah diperluas untuk mencakup tujuan tambahan seperti memasukkan pertimbangan keadilan dalam praktik pemberian kredit atau untuk mempromosikan tujuan sosial lainnya.’

Temukan perbedaan: penilaian risiko skor kartu (otomatis) ditingkatkan (‘notching’) oleh manajer bank yang keputusannya dipelajari dalam karya ini – sebuah prosedur yang dapat direplikasi.

Karena data menunjukkan bahwa manajer bank melakukan ini dengan cara yang hampir algoritmik dan dapat diprediksi, penyesuaian mereka tidak terlalu sulit untuk direplikasi. Prosesnya hanya ‘mengira ulang’ data skor kartu asli dan menyesuaikan peringkat risiko ke atas dalam batas yang dapat diprediksi.

Metode dan Data

Tujuan proyek yang dinyatakan adalah untuk meramalkan apa keputusan yang akan dibuat oleh manajer bank, berdasarkan sistem skor dan variabel lain yang tersedia untuk mereka, bukan untuk mengembangkan sistem alternatif inovatif yang dirancang untuk menggantikan kerangka prosedur pengajuan pinjaman saat ini.

Metode pembelajaran mesin yang diuji untuk proyek ini adalah Multinomial Logistic LASSO (MNL-LASSO), neural networks, dan dua implementasi Classification and Regression Trees (CART): Random Forest dan Gradient Boosting.

Proyek ini mempertimbangkan baik data skor kartu untuk tugas penilaian kredit dunia nyata, dan hasilnya, yang diketahui dalam data. Penilaian skor kartu adalah salah satu praktik algoritmik tertua, di mana variabel kunci untuk pinjaman yang diusulkan dihitung menjadi matriks risiko, sering dengan cara yang sederhana seperti regresi logistik.

Hasil

MNL-LASSO berkinerja paling buruk di antara algoritma yang diuji, berhasil mengklasifikasikan hanya 53% pinjaman, dibandingkan dengan manajer dalam kehidupan nyata dalam kasus yang dievaluasi.

Metode lainnya (dengan CART mencakup Random Forest dan Gradient Boosting) semua mencapai setidaknya 90% dalam hal akurasi dan Root Mean Square Error (RMSE).

Namun, implementasi Random Forest dari CART mencapai hampir 96%, diikuti oleh Gradient Boosting.

Bahkan dengan peringkat skor kartu yang dihapus dari tes selama studi ablasion (bagian tabel bawah), algoritma mencapai kinerja luar biasa dalam mereplikasi diskresi manajer bank manusia untuk penilaian kredit.

Peneliti menemukan bahwa jaringan neural yang diimplementasikan hanya mencapai 93%, dengan celah RMSE yang lebih lebar, menghasilkan nilai risiko beberapa notches jauh dari estimasi yang dihasilkan manusia.

Penulis mengamati:

‘[Hasil] ini tidak menunjukkan bahwa satu metode outperform metode lainnya sejauh metrik akurasi eksternal seperti probabilitas default objektif. Memungkinkan bahwa Jaringan Neural, misalnya, terbaik untuk tugas klasifikasi tersebut.

‘Di sini, tujuan hanya untuk mereplikasi pilihan manajer manusia dan untuk tugas ini, Random Forest tampaknya outperform semua metode lainnya di seluruh metrik yang diinvestigasi.’

5% yang sistem tidak bisa replikasi, menurut peneliti, disebabkan oleh heterogenitas industri yang diliput. Penulis mencatat bahwa 5% manajer menyebabkan hampir semua divergensi ini, dan percaya bahwa sistem yang lebih kompleks dapat mengatasi kasus penggunaan tersebut dan menutup kekurangan.

Akuntabilitas Sulit untuk Diotomatisasi

Jika dibuktikan dalam proyek terkait selanjutnya, penelitian ini menunjukkan bahwa peran ‘manajer bank’ dapat ditambahkan ke kader yang semakin besar dari posisi otoritas dan diskresi yang pernah kuat yang sedang dikurangi menjadi status ‘pengawas’ sementara akurasi sistem mesin yang setara diuji dalam jangka panjang; dan melemahkan posisi umum bahwa tugas kritis tertentu tidak dapat diotomatisasi.

Namun, kabar baik bagi manajer bank tampaknya bahwa, dari sudut pandang politik, kebutuhan akan akuntabilitas manusia dalam proses sosial kritis seperti evaluasi peringkat kredit kemungkinan akan melestarikan peran mereka saat ini – bahkan jika tindakan peran tersebut menjadi dapat direplikasi sepenuhnya oleh sistem pembelajaran mesin.

Dipublikasikan pertama kali pada 18 Februari 2022.