AI 'Sederhana' Dapat Mengantisipasi Keputusan Pinjaman Manajer Bank dengan Akurasi Lebih Dari 95%.

Sebuah proyek penelitian baru menemukan bahwa keputusan diskresi yang dibuat oleh manajer bank manusia dapat direplikasi oleh sistem pembelajaran mesin dengan akurasi lebih dari 95%.

Menggunakan data yang sama yang tersedia untuk manajer bank dalam kumpulan data istimewa, algoritme dengan kinerja terbaik dalam pengujian adalah a Hutan Acak implementasi – pendekatan yang cukup sederhana yang dua puluh tahun, tetapi masih mengungguli jaringan saraf saat mencoba meniru perilaku manajer bank manusia yang merumuskan keputusan akhir tentang pinjaman.

Algoritme Random Forest, salah satu dari empat langkah yang mereka lakukan untuk proyek ini, mencapai skor setara manusia yang tinggi vs. kinerja manajer bank, terlepas dari kesederhanaan algoritme tersebut. Sumber: Manajer versus Mesin: Apakah Algoritma Meniru Intuisi Manusia dalam Peringkat Kredit?, https://arxiv.org/pdf/2202.04218.pdf

Para peneliti, yang memiliki akses ke kumpulan data kepemilikan berisi 37,449 peringkat pinjaman dari 4,414 nasabah unik di 'sebuah bank komersial besar', mengemukakan di berbagai bagian dalam makalah pracetak bahwa analisis data otomatis yang diberikan kepada para manajer untuk membuat keputusan kini menjadi sangat akurat sehingga para manajer bank jarang menyimpang darinya, yang berpotensi menandakan bahwa peran para manajer bank dalam proses persetujuan pinjaman terutama terdiri dari mempertahankan seseorang untuk dipecat jika terjadi gagal bayar pinjaman.

Makalah tersebut menyatakan:

'Dari perspektif praktis perlu dicatat bahwa hasil kami mungkin menunjukkan bahwa bank dapat memproses pinjaman lebih cepat dan lebih murah tanpa adanya manajer pinjaman manusia dengan hasil yang sangat sebanding. Sementara manajer secara alami melakukan berbagai tugas, sulit untuk membantah bahwa mereka penting untuk tugas khusus ini dan algoritme yang relatif sederhana dapat bekerja dengan baik.

'Penting juga untuk dicatat bahwa dengan data tambahan dan daya komputasi, algoritma ini dapat lebih ditingkatkan lagi.'

The kertas berjudul Manajer versus Mesin: Apakah Algoritma Meniru Intuisi Manusia dalam Peringkat Kredit?, dan berasal dari Departemen Ekonomi dan Departemen Statistik di UoC Irvine dan Bank Komunikasi BBM di Brasil.

Perilaku Manusia Robotik dalam Penilaian Peringkat Kredit

Hasilnya tidak menandakan bahwa sistem pembelajaran mesin tentu lebih baik dalam membuat keputusan tentang pinjaman dan peringkat kredit, tetapi lebih kepada bahwa bahkan algoritma yang sekarang dianggap cukup 'tingkat rendah' ​​mampu menarik kesimpulan yang sama seperti manusia dari data yang sama.

Laporan tersebut secara implisit mencirikan manajer bank sebagai semacam 'firewall perangkat keras' yang fungsi utamanya adalah untuk menaikkan skor risiko yang disajikan oleh sistem kartu skor statistik dan analitis (praktik yang dikenal dalam perbankan sebagai 'notching').

'Seiring berjalannya waktu, tampak bahwa para manajer menggunakan lebih sedikit kebijaksanaan yang mungkin menunjukkan peningkatan kinerja atau ketergantungan pada sarana algoritmik seperti kartu skor.'

Para peneliti juga mencatat:

Hasil dalam makalah ini menunjukkan bahwa tugas khusus yang dijalankan oleh manajer bank yang sangat terampil ini sebenarnya dapat dengan mudah direplikasi oleh algoritma yang relatif sederhana. Kinerja algoritma ini dapat ditingkatkan dengan penyempurnaan untuk memperhitungkan perbedaan antar industri dan tentu saja dapat dengan mudah diperluas untuk mencakup tujuan tambahan seperti memasukkan pertimbangan keadilan dalam praktik pemberian pinjaman atau untuk mempromosikan tujuan sosial lainnya.

Temukan perbedaannya: penilaian risiko peringkat kartu skor (otomatis) ditingkatkan secara statistik ('diberi notch') oleh manajer bank yang keputusannya dipelajari dalam pekerjaan tersebut – sebuah prosedur yang dapat direplikasi.

Karena data menunjukkan bahwa manajer bank melakukan hal ini dengan cara yang hampir algoritmik dan terprediksi, penyesuaian mereka tidak terlalu sulit untuk direplikasi. Proses ini hanya 'menebak ulang' data kartu skor asli dan menyesuaikan peringkat risiko ke atas dalam margin yang dapat diprediksi.

Metode dan Data

Maksud proyek tersebut adalah untuk mengantisipasi keputusan apa yang akan diambil manajer bank, berdasarkan sistem penilaian dan variabel lain yang tersedia bagi mereka, daripada mengembangkan sistem alternatif inovatif yang dirancang untuk menggantikan kerangka kerja prosedur pengajuan pinjaman saat ini.

Metode pembelajaran mesin yang diuji untuk proyek ini adalah Multinomial Logistic LASSO (MNL-LASSO), jaringan saraf, dan dua implementasi dari Pohon Klasifikasi dan Regresi (KERETA): Hutan Acak dan Meningkatkan Gradien.

Proyek tersebut mempertimbangkan data kartu skor untuk tugas pemeringkatan kredit dunia nyata, dan hasilnya, seperti yang diketahui dalam data. Peringkat kartu skor adalah salah satu praktik algoritmik tertua, di mana variabel kunci untuk pinjaman yang diusulkan dihitung ke dalam matriks risiko, seringkali dengan cara yang sederhana seperti regresi logistik.

Hasil

MNL-LASSO berkinerja paling buruk di antara algoritme yang diuji, berhasil mengklasifikasikan hanya 53% pinjaman, dibandingkan dengan manajer kehidupan nyata dalam kasus yang dievaluasi.

Tiga metode lainnya (dengan CART yang mencakup Random Forest dan Gradient Boosting) semuanya mendapat skor setidaknya 90% dalam hal akurasi dan Root Mean Square Error (RMSE).

Namun, implementasi CART di Random Forest memperoleh skor mengesankan mendekati 96%, diikuti oleh Gradient Boosting.

Bahkan dengan pemeringkatan kartu skor dihilangkan dari pengujian selama studi ablasi (bagian tabel bawah), algoritma mencapai kinerja luar biasa dalam mereplikasi ketajaman manajer bank manusia untuk pemeringkatan kredit.

Anehnya, para peneliti menemukan bahwa jaringan saraf yang diimplementasikan mereka hanya mendapat skor 93%, dengan celah RMSE yang lebih lebar, menghasilkan nilai risiko beberapa tingkat jauhnya dari estimasi yang dihasilkan manusia.

Para penulis mengamati:

'Hasil [Ini] tidak menunjukkan bahwa satu metode mengungguli yang lain sejauh menyangkut metrik eksternal akurasi seperti probabilitas default tujuan. Sangat mungkin Neural Network misalnya adalah yang terbaik untuk tugas klasifikasi tersebut.

'Di sini tujuannya hanya untuk meniru pilihan manajer manusia dan untuk tugas ini Hutan Acak tampaknya mengungguli semua metode lain di seluruh metrik yang diselidiki.'

5% yang tidak dapat direproduksi oleh sistem diperhitungkan, menurut para peneliti, oleh heterogenitas industri yang tercakup. Para penulis mencatat bahwa 5% manajer bertanggung jawab atas hampir semua perbedaan ini, dan percaya bahwa sistem yang lebih rumit pada akhirnya dapat menutupi kasus penggunaan tersebut dan menutup kekurangannya.

Akuntabilitas Sulit Diotomatiskan

Jika dibuktikan dalam proyek-proyek terkait berikutnya, penelitian ini menunjukkan bahwa peran 'manajer bank' dapat ditambahkan ke kader yang berkembang dari posisi otoritas dan kebijaksanaan yang dulunya kuat yang direduksi menjadi status 'pengawas' sementara keakuratan sistem mesin yang sebanding diuji dalam jangka panjang; dan melemahkan posisi umum dipegang bahwa tugas penting tertentu tidak dapat diotomatisasi.

Namun, kabar baik bagi manajer bank tampaknya adalah bahwa, dari sudut pandang politik, kebutuhan akan akuntabilitas manusia dalam proses sosial kritis seperti evaluasi peringkat kredit cenderung mempertahankan peran mereka saat ini – bahkan jika tindakan peran tersebut harus sepenuhnya dapat direproduksi oleh sistem pembelajaran mesin.

Pertama kali diterbitkan 18 Februari 2022.