‘Απλό’ AI μπορεί να προβλέψει τις αποφάσεις των διευθυντών τραπεζών για δάνεια με ακρίβεια πάνω από 95%

Ένα νέο ερευνητικό πρόγραμμα έχει βρει ότι οι αποφάσεις που λαμβάνονται από τους ανθρώπινους διευθυντές τραπεζών μπορούν να αναπαραχθούν από συστήματα μηχανικής μάθησης με ακρίβεια πάνω από 95%.

Χρησιμοποιώντας τα ίδια δεδομένα που διατίθενται στους διευθυντές τραπεζών σε ένα ιδιωτικό σύνολο δεδομένων, η καλύτερη演算ισμός στο τεστ ήταν μια εφαρμογή Random Forest – μια相 đối απλή προσέγγιση που είναι είκοσι χρόνια παλιά, αλλά η οποία εξακολουθεί να υπερτερεί ενός νευρωνικού δικτύου όταν προσπαθεί να μιμηθεί την συμπεριφορά των ανθρώπινων διευθυντών τραπεζών που διαμορφώνουν τελικές αποφάσεις για δάνεια.

Το αλγόριθμο Random Forest, ένας από τους τέσσερις που δοκιμάστηκαν για το πρόγραμμα, επιτυγχάνει υψηλή ανθρώπινη-ισοδύναμη βαθμολογία σε σύγκριση με την απόδοση των διευθυντών τραπεζών, παρά την tương đối απλότητα του αλγορίθμου. Source: Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?, https://arxiv.org/pdf/2202.04218.pdf

Οι ερευνητές, οι οποίοι είχαν πρόσβαση σε ένα ιδιωτικό σύνολο δεδομένων 37.449 βαθμολογιών δανείων σε 4.414 μοναδικούς πελάτες σε μια “μεγάλη εμπορική τράπεζα”, υποδεικνύουν σε διάφορα σημεία του προδημοσιευμένου εγγράφου ότι η αυτοματοποιημένη ανάλυση δεδομένων που παρέχεται στους διευθυντές για να λάβουν τις αποφάσεις τους έχει γίνει τόσο ακριβής που οι διευθυντές τραπεζών σπάνια απομακρύνονται από αυτή, υποδεικνύοντας ότι ο ρόλος των διευθυντών τραπεζών στη διαδικασία έγκρισης δανείων αποτελείται κυρίως από την διατήρηση κάποιου για να απολύσουν σε περίπτωση που ένα δάνειο δεν καταβληθεί.

Το έγγραφο αναφέρει:

‘Από πρακτικής πλευράς αξίζει να σημειωθεί ότι τα αποτελέσματά μας μπορεί να υποδηλώνουν ότι η τράπεζα θα μπορούσε να επεξεργαστεί τα δάνεια πιο γρήγορα και φθηνότερα χωρίς την παρουσία ανθρώπινων διευθυντών δανείων με πολύ συγκρίσιμα αποτελέσματα. Ενώ οι διευθυντές φυσικά εκτελούν eine ποικιλία εργασιών, είναι δύσκολο να υποστηριχθεί ότι είναι απαραίτητοι για αυτή τη συγκεκριμένη εργασία και ένας tương đối απλός αλγόριθμος μπορεί να εκτελέσει εξίσου καλά.

‘Είναι επίσης σημαντικό να σημειωθεί ότι με επιπλέον δεδομένα και υπολογιστική ισχύ αυτά τα αλγόριθμοι μπορούν να βελτιωθούν περαιτέρω.’

Το έγγραφο έχει τον τίτλο Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings? και προέρχεται από το Τμήμα Οικονομικών και το Τμήμα Στατιστικής στο UoC Irvine και την Τράπεζα Επικοινωνιών BBM στη Βραζιλία.

Ρομποτική ανθρώπινη συμπεριφορά στις αξιολογήσεις πιστωτικών βαθμολογιών

Τα αποτελέσματα δεν υποδηλώνουν ότι τα συστήματα μηχανικής μάθησης είναι απαραίτητα καλύτερα στην λήψη αποφάσεων για δάνεια και πιστωτικές βαθμολογίες, αλλά ότι ακόμη και αλγόριθμοι που θεωρούνται khá “χαμηλού επιπέδου” είναι ικανοί να βγάζουν τα ίδια συμπεράσματα με τους ανθρώπους από τα ίδια δεδομένα.

Η αναφορά χαρακτηρίζει τους διευθυντές τραπεζών ως一种 “πυροσβεστικό τείχος” που παραμένει για να αυξήσει τους κινδύνους που παρουσιάζονται από το στατιστικό και αναλυτικό σύστημα βαθμολογίας (μια πρακτική που ονομάζεται “notching” στη τραπεζική).

‘Με τον καιρό φαίνεται ότι οι διευθυντές χρησιμοποιούν λιγότερη κρίση που μπορεί να υποδηλώνει την βελτιωμένη απόδοση ή την εξάρτηση από αλγοριθμικές μέθοδοι όπως το σύστημα βαθμολογίας.’

Οι ερευνητές επίσης σημείωσαν:

‘Τα αποτελέσματα σε αυτό το έγγραφο δείχνουν ότι αυτή η συγκεκριμένη εργασία που εκτελείται από εξαιρετικά εξειδικευμένους διευθυντές τραπεζών μπορεί στην πραγματικότητα να αναπαραχθεί εύκολα από σχετικά απλούς αλγορίθμους. Η απόδοση αυτών των αλγορίθμων θα μπορούσε να βελτιωθεί με την επιμέρους điều chỉnh για να ληφθούν υπόψη οι διαφορές μεταξύ των βιομηχανιών και φυσικά θα μπορούσε να επεκταθεί για να περιλαμβάνει επιπλέον στόχους όπως η ενσωμάτωση της δίκαιης χορήγησης δανείων ή για την προώθηση άλλων κοινωνικών στόχων.’

Δείτε τη διαφορά: η αξιολόγηση κινδύνου της βαθμολογίας (αυτόματης) βαθμολογίας αυξάνεται (‘notched’) από τους διευθυντές τραπεζών των οποίων οι αποφάσεις μελετήθηκαν στο έργο – μια αναπαραγώμενη διαδικασία.

Από τη στιγμή που τα δεδομένα υποδεικνύουν ότι οι διευθυντές τραπεζών το κάνουν με σχεδόν αλγοριθμικό και προβλέψιμο τρόπο, οι διορθώσεις τους δεν είναι τόσο δύσκολο να αναπαραχθούν. Η διαδικασία απλώς “δεύτερη υποψία” των αρχικών δεδομένων βαθμολογίας και调 chỉnh της βαθμολογίας κινδύνου προς τα πάνω μέσα σε προβλέψιμους περιθώρια.

Μέθοδος και Δεδομένα

Ο σκοπός του έργου ήταν να προβλέψει ποια αποφάσεις θα λάβουν οι διευθυντές τραπεζών, με βάση το σύστημα βαθμολογίας και άλλες μεταβλητές που διατίθενται σε αυτούς, αντί να αναπτύξουν καινοτόμους εναλλακτικούς συστήματα που σχεδιάζονται για να αντικαταστήσουν τα τρέχοντα πλαίσια διαδικασίας αιτήσεων δανείων.

Οι μεθόδους μηχανικής μάθησης που δοκιμάστηκαν για το έργο ήταν Multinomial Logistic LASSO (MNL-LASSO), νευρωνικά δίκτυα, και δύο εφαρμογές Κλασификации και Αναγνώρισης Δέντρων (CART): Random Forest και Gradient Boosting.

Το έργο εξέτασε τόσο τα δεδομένα βαθμολογίας για μια πραγματική εργασία βαθμολογίας πίστωσης, όσο και το αποτέλεσμα, όπως είναι γνωστό στα δεδομένα. Η βαθμολογία είναι μια από τις παλαιότερες αλγοριθμικές πρακτικές, όπου οι κλειδιά μεταβλητές για το προτεινόμενο δάνειο υπολογίζονται σε ένα πλέγμα κινδύνου, συχνά με απλές μεθόδους όπως λογιστική παλινδρόμηση.

Αποτελέσματα

Το MNL-LASSO εκτέλεσε το χειρότερο μεταξύ των δοκιμασμένων αλγορίθμων, καταφέρνοντας να ταξινομήσει επιτυχώς μόνο το 53% των δανείων, σε σύγκριση με τον πραγματικό διευθυντή στη περίπτωση που αξιολογήθηκε.

Οι άλλες τρεις μεθόδους (με το CART να περιλαμβάνει το Random Forest και το Gradient Boosting) όλες σημείωσαν τουλάχιστον 90% σε όρους ακρίβειας και Ρίζα Μέσης Τετραγωνικής Σφάλματος (RMSE).

Ωστόσο, η εφαρμογή του Random Forest του CART σημείωσε ένα εντυπωσιακό近 96%, ακολουθούμενο από το Gradient Boosting.

Ακόμη και με την βαθμολογία που αφαιρέθηκε από τις δοκιμές κατά τη διάρκεια των μελετών αφαίρεσης (κάτω τμήμα του πίνακα), οι αλγόριθμοι επιτύγχανον εξαιρετική απόδοση στην αναπαραγωγή της κρίσης των ανθρώπινων διευθυντών τραπεζών για την πιστωτική βαθμολογία.

Εκπλήσσοντας, οι ερευνητές βρήκαν ότι το εφαρμοσμένο νευρωνικό δίκτυο σημείωσε μόνο 93%, με ένα ευρύτερο χάσμα RMSE, παράγοντας τιμές κινδύνου beberapa “notches” μακριά από τις ανθρώπινες εκτιμήσεις.

Οι συγγραφείς παρατηρούν:

‘[Αυτά] τα αποτελέσματα δεν υποδηλώνουν ότι η μια μέθοδος υπερτερεί της άλλης όσον αφορά ένα εξωτερικό μέτρο ακρίβειας όπως η αντικειμενική πιθανότητα mặc định. Είναι khá πιθανό ότι το Νευρωνικό Δίκτυο, για παράδειγμα, είναι το καλύτερο για αυτή τη ταξινόμηση.

‘Εδώ ο στόχος είναι μόνο να αναπαραχθεί η επιλογή του ανθρώπινου διευθυντή και για αυτή τη εργασία το Random Forest φαίνεται να υπερτερεί όλων των άλλων μεθόδων σε όλα τα μετρημένα μέτρα.’

Το 5% που το σύστημα δεν μπορούσε να αναπαραχθεί λογαριασμούται, σύμφωνα με τους ερευνητές, από την ετερογένεια των βιομηχανιών που καλύπτονται. Οι συγγραφείς σημειώνουν ότι το 5% των διευθυντών αντιστοιχεί σχεδόν σε όλες τις αποκλίσεις, και πιστεύουν ότι πιο περίπλοκα συστήματα θα μπορούσαν τελικά να καλύψουν τέτοιες περιπτώσεις και να κλείσουν το χάσμα.

Η ευθύνη είναι δύσκολο να αυτοματοποιηθεί

Εάν επιβεβαιωθεί σε μεταγενέστερα σχετικά έργα, η έρευνα υποδηλώνει ότι ο ρόλος του “διευθυντή τραπεζών” θα μπορούσε να προστεθεί σε μια αυξανόμενη κατηγορία πρώην ισχυρών θέσεων εξουσίας και κρίσης που μειώνονται σε “επιτηρητές” κατάσταση ενώ η ακρίβεια των συγκρίσιμων μηχανικών συστημάτων δοκιμάζεται μακροπρόθεσμα· και υπονόμευε την κοινή θέση ότι ορισμένες κρίσιμες εργασίες δεν μπορούν να αυτοματοποιηθούν.

Ωστόσο, οι καλές ειδήσεις για τους διευθυντές τραπεζών θα φαίνουν να είναι ότι, από πολιτική πλευρά, η ανάγκη για ανθρώπινη ευθύνη σε κρίσιμες κοινωνικές διαδικασίες όπως η αξιολόγηση πιστωτικής βαθμολογίας είναι πιθανό να διατηρήσει τους τρέχοντες ρόλους τους – ακόμη και αν οι ενέργειες των ρόλων θα γίνουν πλήρως αναπαραγώγιμες από συστήματα μηχανικής μάθησης.

Πρώτη δημοσίευση 18ης Φεβρουαρίου 2022.