Απλό AI μπορεί να προβλέψει τις αποφάσεις των διευθυντών τραπεζών για δάνεια με ακρίβεια πάνω από 95%

Ένα νέο ερευνητικό πρόγραμμα έχει διαπιστώσει ότι οι αποφάσεις που λαμβάνονται από ανθρώπινους διευθυντές τραπεζών μπορούν να αναπαραχθούν από συστήματα μηχανικής μάθησης με ακρίβεια πάνω από 95%.

Χρησιμοποιώντας τα ίδια δεδομένα που διατίθενται στους διευθυντές τραπεζών σε ένα ιδιωτικό σύνολο δεδομένων, η καλύτερη απόδοση αλγορίθμου στο τεστ ήταν μια εφαρμογή Random Forest – μια tương đối απλή προσέγγιση που είναι είκοσι χρόνια παλιά, αλλά η οποία εξακολουθεί να υπερέχει ενός νευρωνικού δικτύου όταν προσπαθεί να μιμηθεί τη συμπεριφορά των ανθρώπινων διευθυντών τραπεζών που διαμορφώνουν τελικές αποφάσεις για δάνεια.

Ο αλγόριθμος Random Forest, ένας από τους τέσσερις που δοκιμάστηκαν για το πρόγραμμα, επιτυγχάνει υψηλή ανθρώπινη ισοδύναμη βαθμολογία σε σύγκριση με την απόδοση των διευθυντών τραπεζών, παρά την tương đối απλή φύση του αλγορίθμου. Πηγή: Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?, https://arxiv.org/pdf/2202.04218.pdf

Οι ερευνητές, οι οποίοι είχαν πρόσβαση σε ένα ιδιωτικό σύνολο δεδομένων 37.449 βαθμολογιών δανείων σε 4.414 μοναδικούς πελάτες σε μια μεγάλη εμπορική τράπεζα, υποδεικνύουν σε διάφορα σημεία του προεγγράφου ότι η αυτόματη ανάλυση δεδομένων που δίνεται στους διευθυντές για να λάβουν απόφαση έχει γίνει τόσο ακριβής που οι διευθυντές σπάνια απομακρύνονται από αυτή, υποδεικνύοντας ότι ο ρόλος των διευθυντών τραπεζών στη διαδικασία έγκρισης δανείων αποτελείται κυρίως από τη διατήρηση κάποιου για να απολύσουν σε περίπτωση που ένα δάνειο δεν καταβληθεί.

Το έγγραφο αναφέρει:

‘Από πρακτικής πλευράς, αξίζει να σημειωθεί ότι τα αποτελέσματά μας μπορεί να υποδεικνύουν ότι η τράπεζα θα μπορούσε να επεξεργαστεί δάνεια πιο γρήγορα και φθηνότερα στην απουσία ανθρώπινων διευθυντών δανείων με πολύ συγκρίσιμα αποτελέσματα. Ενώ οι διευθυντές φυσικά εκτελούν eine ποικιλία εργασιών, είναι δύσκολο να επιχειρηματολογήσουν ότι είναι απαραίτητοι για αυτή τη συγκεκριμένη εργασία και ένας tương đối απλός αλγόριθμος μπορεί να εκτελεστεί εξίσου καλά.

‘Είναι επίσης σημαντικό να σημειωθεί ότι με επιπλέον δεδομένα και υπολογιστική ισχύ, αυτοί οι αλγόριθμοι μπορούν να βελτιωθούν περαιτέρω.’

Το έγγραφο έχει τον τίτλο Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings? και προέρχεται από το Τμήμα Οικονομικών και το Τμήμα Στατιστικής στο UoC Irvine και την Τράπεζα Επικοινωνιών BBM στη Βραζιλία.

Ρομποτική Ανθρώπινη Συμπεριφορά στις Αξιολογήσεις Πιστωτικών Βαθμολογιών

Τα αποτελέσματα δεν υποδεικνύουν ότι τα συστήματα μηχανικής μάθησης είναι αναγκαστικά καλύτερα στην λήψη αποφάσεων για δάνεια και πιστωτικές βαθμολογίες, αλλά ότι ακόμη και αλγόριθμοι που θεωρούνται σχετικά “χαμηλού επιπέδου” είναι ικανοί να βγάζουν τα ίδια συμπεράσματα με τους ανθρώπους από τα ίδια δεδομένα.

Η αναφορά χαρακτηρίζει τους διευθυντές τραπεζών ως一种 “πυροσβεστική” που έχει ως κύρια λειτουργία την αύξηση των βαθμολογιών κινδύνου που παρουσιάζονται από το στατιστικό και αναλυτικό σύστημα (μια πρακτική που είναι γνωστή στις τράπεζες ως “notching”).

‘Με την πάροδο του χρόνου, φαίνεται ότι οι διευθυντές χρησιμοποιούν λιγότερη κρίση, το οποίο μπορεί να υποδεικνύει τη βελτιωμένη απόδοση ή την εξάρτηση από αλγοριθμικές μεθόδους, όπως το σύστημα βαθμολογίας.’

Οι ερευνητές επίσης σημείωσαν:

‘Τα αποτελέσματα σε αυτό το έγγραφο δείχνουν ότι αυτή η συγκεκριμένη εργασία που εκτελείται από εξαιρετικά εξειδικευμένους διευθυντές τραπεζών μπορεί να αναπαραχθεί εύκολα από σχετικά απλούς αλγορίθμους. Η απόδοση αυτών των αλγορίθμων θα μπορούσε να βελτιωθεί με την εξειδίκευση για να ληφθούν υπόψη οι διαφορές μεταξύ των βιομηχανιών και φυσικά θα μπορούσε να επεκταθεί για να περιλαμβάνει επιπλέον στόχους, όπως η ενσωμάτωση της δίκαιης δανειοδότησης ή η προώθηση άλλων κοινωνικών στόχων.’

Διαβάστε τη διαφορά: η αξιολόγηση κινδύνου των βαθμολογιών του συστήματος (αυτόματες) αυξάνεται (‘notching’) από τους διευθυντές τραπεζών, των οποίων οι αποφάσεις μελετήθηκαν στο έργο – μια αναπαραγώμενη διαδικασία.

Εφόσον τα δεδομένα υποδεικνύουν ότι οι διευθυντές τραπεζών το κάνουν με σχεδόν αλγοριθμικό και προβλέψιμο τρόπο, οι διορθώσεις τους δεν είναι τόσο δύσκολο να αναπαραχθούν. Η διαδικασία απλά “δεύτερη υποψήφια” τα αρχικά δεδομένα της βαθμολογίας και調整 την αξιολόγηση κινδύνου προς τα πάνω μέσα σε προβλέψιμους περιθώρια.

Μέθοδος και Δεδομένα

Ο σκοπός του έργου ήταν να προβλέψει ποιες αποφάσεις θα λάβουν οι διευθυντές τραπεζών, με βάση το σύστημα βαθμολογίας και άλλες μεταβλητές που διατίθενται σε αυτούς, και όχι να αναπτύξουν καινοτόμους εναλλακτικούς μηχανισμούς που να αντικαταστήσουν τις τρέχουσες διαδικασίες αίτησης δανείων.

Οι μεθόδοι μηχανικής μάθησης που δοκιμάστηκαν για το πρόγραμμα ήταν Multinomial Logistic LASSO (MNL-LASSO), νευρωνικά δίκτυα και δύο εφαρμογές Classification and Regression Trees (CART): Random Forest και Gradient Boosting.

Το πρόγραμμα λάμβανε υπόψη τόσο τα δεδομένα της βαθμολογίας για μια πραγματική εργασία αξιολόγησης πιστωτικών, όσο και το αποτέλεσμα, όπως ήταν γνωστό στα δεδομένα. Η βαθμολογία είναι μια από τις παλαιότερες αλγοριθμικές πρακτικές, όπου οι κρίσιμες μεταβλητές για το προτεινόμενο δάνειο υπολογίζονται σε ένα πλέγμα κινδύνου, συχνά με απλές μεθόδους όπως λογιστική παλινδρόμηση.

Αποτελέσματα

Το MNL-LASSO εκτελέστηκε το χειρότερο μεταξύ των δοκιμασμένων αλγορίθμων, με επιτυχή ταξινόμηση μόνο του 53% των δανείων, σε σύγκριση με τον πραγματικό διευθυντή στις περιπτώσεις που αξιολογήθηκαν.

Οι άλλες τρεις μεθόδοι (με το CART να περιλαμβάνει το Random Forest και το Gradient Boosting) όλες σημείωσαν τουλάχιστον 90% σε όρους ακρίβειας και Ρίζα Μέσου Τετραγωνικού Λάθους (RMSE).

Ωστόσο, η εφαρμογή του Random Forest του CART σημείωσε ένα εντυπωσιακό近 96%, ακολουθούμενο από κοντά από το Gradient Boosting.

Ακόμη και με την αφαίρεση της βαθμολογίας από τους тестes κατά τη διάρκεια των μελετών ablation (κατώτερο τμήμα του πίνακα), οι αλγόριθμοι επιτυγχάνουν εξαιρετική απόδοση στην αναπαραγωγή της κρίσης των ανθρώπινων διευθυντών τραπεζών για πιστωτικές βαθμολογίες.

Εκπληκτικά, οι ερευνητές βρήκαν ότι το εφαρμοσμένο νευρωνικό δίκτυό τους σημείωσε μόνο 93%, με ένα ευρύτερο RMSE χάσμα, παράγοντας τιμές κινδύνου几 notches μακριά από τις ανθρώπινες εκτιμήσεις.

Οι συγγραφείς παρατηρούν:

‘Τα αποτελέσματα δεν υποδεικνύουν ότι μια μέθοδος υπερέχει της άλλης όσον αφορά ένα εξωτερικό μέτρο ακρίβειας, όπως η αντικειμενική πιθανότητα προεπίλευσης. Είναι khá πιθανό ότι το Νευρωνικό Δίκτυο, για παράδειγμα, είναι το καλύτερο για αυτή τη εργασία ταξινόμησης.

‘Εδώ, ο στόχος είναι μόνο να αναπαραχθεί η επιλογή του ανθρώπινου διευθυντή και για αυτή τη εργασία, το Random Forest φαίνεται να υπερέχει όλων των άλλων μεθόδων σε όλους τους μετρημένους δείκτες.’

Το 5% που το σύστημα δεν μπορούσε να αναπαραγάγει, λογαριασμοποιείται, σύμφωνα με τους ερευνητές, από την ετερογένεια των βιομηχανιών που καλύπτονται. Οι συγγραφείς σημειώνουν ότι το 5% των διευθυντών λογαριασμοποιούν σχεδόν όλες τις αποκλίσεις και πιστεύουν ότι πιο περίπλοκες συστήματα θα μπορούσαν τελικά να καλύψουν τέτοιες περιπτώσεις και να κλείσουν το χάσμα.

Η Ευθύνη Είναι Δύσκολο να Αυτοματοποιηθεί

Εάν επιβεβαιωθεί σε μεταγενέστερα σχετικά έργα, η έρευνα υποδεικνύει ότι ο ρόλος του “διευθυντή τραπεζών” θα μπορούσε να προστεθεί σε μια αυξανόμενη κατηγορία πρώην ισχυρών θέσεων εξουσίας και κρίσης που μειώνονται σε “επίβλεψη” κατάσταση, ενώ η ακρίβεια των συγκρίσιμων μηχανικών συστημάτων δοκιμάζεται μακροπρόθεσμα: και υπονομεύει την κοινή θέση ότι ορισμένες κρίσιμες εργασίες δεν μπορούν να αυτοματοποιηθούν.

Ωστόσο, η καλή είδηση για τους διευθυντές τραπεζών θα φαινόταν ότι, από μια πολιτική πλευρά, η ανάγκη για ανθρώπινη ευθύνη σε κρίσιμες κοινωνικές διαδικασίες, όπως η αξιολόγηση πιστωτικών βαθμολογιών, είναι πιθανό να διατηρήσει τους τρέχοντες ρόλους τους – ακόμη και αν οι ενέργειες των ρόλων θα γίνουν πλήρως αναπαραγώγιμες από συστήματα μηχανικής μάθησης.

Πρώτη δημοσίευση 18ης Φεβρουαρίου 2022.