‘Semplice’ Intelligenza Artificiale Può Anticipare le Decisioni dei Direttori di Banca con un’Accuratezza del 95%

Un nuovo progetto di ricerca ha scoperto che le decisioni discrezionali prese dai direttori di banca possono essere replicate da sistemi di apprendimento automatico con un’accuratezza di oltre il 95%.

Utilizzando gli stessi dati disponibili ai direttori di banca in un dataset privilegiato, l’algoritmo più performante nel test è stato un’implementazione di Random Forest – un approccio abbastanza semplice, vecchio di vent’anni, ma che ha superato una rete neurale nel tentativo di mimare il comportamento dei direttori di banca che formulano decisioni finali sui prestiti.

L’algoritmo Random Forest, uno dei quattro testati nel progetto, raggiunge un alto punteggio equivalente a quello umano vs. la performance dei direttori di banca, nonostante la relativa semplicità dell’algoritmo. Fonte: Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?, https://arxiv.org/pdf/2202.04218.pdf

I ricercatori, che hanno avuto accesso a un dataset proprietario di 37.449 valutazioni di prestiti su 4.414 clienti unici presso “una grande banca commerciale”, suggeriscono in vari punti del preprint che l’analisi dei dati automatizzata che i direttori ricevono per prendere le loro decisioni è ora così precisa che i direttori di banca raramente si discostano da essa, potenzialmente segnalando che il ruolo dei direttori di banca nel processo di approvazione dei prestiti consiste principalmente nel mantenere qualcuno da licenziare in caso di default del prestito.

Il documento afferma:

‘Da un punto di vista pratico, è importante notare che i nostri risultati possono indicare che la banca potrebbe elaborare i prestiti più velocemente e a minor costo in assenza di direttori di banca con risultati molto simili. Mentre i direttori svolgono naturalmente una varietà di compiti, è difficile sostenere che siano essenziali per questo particolare compito e che un algoritmo relativamente semplice possa funzionare altrettanto bene.

‘È anche importante notare che con ulteriori dati e potenza computazionale, questi algoritmi possono essere ulteriormente migliorati.’

Il documento è intitolato Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings? e proviene dal Dipartimento di Economia e Dipartimento di Statistica dell’UoC Irvine e dalla Banca di Comunicazioni BBM in Brasile.

Comportamento Umano Robotico nelle Valutazioni del Rating di Credito

I risultati non significano che i sistemi di apprendimento automatico siano necessariamente migliori nel prendere decisioni sui prestiti e sui rating di credito, ma piuttosto che anche gli algoritmi considerati abbastanza “di basso livello” sono in grado di trarre le stesse conclusioni degli esseri umani dai same dati.

Il rapporto caratterizza implicitamente i direttori di banca come una sorta di “firewall di carne” il cui funzione principale rimane è quella di aumentare i punteggi di rischio che il sistema di scorecard presenta loro (una pratica conosciuta nel settore bancario come “notching”).

‘Nel tempo, sembra che i direttori stiano utilizzando meno discrezionalità, il che potrebbe indicare le prestazioni migliorate o la dipendenza da mezzi algoritmici come il scorecard.’

I ricercatori hanno anche notato:

‘I risultati di questo documento mostrano che questo particolare compito eseguito da direttori di banca altamente qualificati può in realtà essere facilmente replicato da algoritmi relativamente semplici. Le prestazioni di questi algoritmi potrebbero essere migliorate regolando per tenere conto delle differenze tra i settori e, naturalmente, potrebbero essere facilmente estese per includere obiettivi aggiuntivi come l’integrazione di considerazioni di equità nelle pratiche di prestito o per promuovere altri obiettivi sociali.’

Spot the difference: la valutazione del rischio del scorecard (automatica) è aumentata (‘notched’) dai direttori di banca le cui decisioni sono state studiate nel lavoro – una procedura replicabile.

Poiché i dati suggeriscono che i direttori di banca lo facciano in modo quasi algoritmico e prevedibile, le loro modifiche non sono difficili da replicare. Il processo semplicemente “seconda indovina” i dati originali del scorecard e regola la valutazione del rischio verso l’alto entro margini prevedibili.

Metodo e Dati

L’intento dichiarato del progetto era quello di anticipare le decisioni che i direttori di banca avrebbero preso, sulla base del sistema di punteggio e di altre variabili disponibili per loro, piuttosto che sviluppare sistemi alternativi innovativi progettati per sostituire gli attuali quadri del processo di richiesta di prestito.

I metodi di apprendimento automatico testati per il progetto sono stati Multinomial Logistic LASSO (MNL-LASSO), reti neurali e due implementazioni di Classification and Regression Trees (CART): Random Forest e Gradient Boosting.

Il progetto ha considerato sia i dati del scorecard per un compito di valutazione del credito nel mondo reale, sia il suo esito, come noto nei dati. La valutazione del scorecard è una delle pratiche algoritmiche più antiche, in cui le variabili chiave per il prestito proposto vengono calcolate in una matrice di rischio, spesso mediante mezzi semplici come la regressione logistica.

Risultati

MNL-LASSO ha eseguito la peggiore prestazione tra gli algoritmi testati, classificando con successo solo il 53% dei prestiti, rispetto al direttore di banca nella vita reale nei casi valutati.

Gli altri tre metodi (con CART che comprende Random Forest e Gradient Boosting) hanno tutti raggiunto almeno il 90% in termini di accuratezza e Root Mean Square Error (RMSE).

Tuttavia, l’implementazione di Random Forest di CART ha raggiunto un impressionante 96%, seguito da vicino da Gradient Boosting.

Anche con la valutazione del scorecard rimossa dai test durante gli studi di ablazione (sezione inferiore della tabella), gli algoritmi raggiungono prestazioni straordinarie nel replicare il discernimento dei direttori di banca per la valutazione del credito.

I ricercatori hanno scoperto che la loro rete neurale implementata ha raggiunto solo il 93%, con un divario RMSE più ampio, producendo valori di rischio diversi notchi rispetto alle stime prodotte dagli esseri umani.

Gli autori osservano:

‘[Questi] risultati non indicano che un metodo superi l’altro per quanto riguarda una metrica esterna di accuratezza come la probabilità di default oggettiva. È possibile che la rete neurale, ad esempio, sia la migliore per quel compito di classificazione.

‘Qui l’obiettivo è solo replicare la scelta del direttore di banca e per questo compito Random Forest sembra superare tutti gli altri metodi attraverso le metriche investigate.’

Il 5% che il sistema non può riprodurre è spiegato, secondo i ricercatori, dall’eterogeneità dei settori coperti. Gli autori notano che il 5% dei direttori rappresenta quasi tutte queste divergenze e ritengono che sistemi più elaborati potrebbero eventualmente coprire tali casi d’uso e colmare il divario.

La Responsabilità è Difficile da Automatizzare

Se confermato in progetti successivi correlati, la ricerca suggerisce che il ruolo del “direttore di banca” potrebbe essere aggiunto a un crescente numero di posizioni di autorità e discernimento che stanno essere ridotte a “status di invigilatore” mentre l’accuratezza dei sistemi macchina equivalenti viene testata nel lungo termine; e mina la posizione comunemente accettata che certi compiti critici non possano essere automatizzati.

Tuttavia, la buona notizia per i direttori di banca sembra essere che, da un punto di vista politico, la necessità di responsabilità umana nei processi sociali critici come la valutazione del credito è probabile che preservi i loro ruoli attuali – anche se le azioni di questi ruoli potrebbero diventare completamente riproducibili da sistemi di apprendimento automatico.

Pubblicato per la prima volta il 18 febbraio 2022.