‘Simplu’ AI poate anticipa deciziile managerilor de bancă privind acordarea de credite cu o acuratețe de peste 95%

Un proiect de cercetare recent a descoperit că deciziile discreționare luate de managerii de bancă umani pot fi replicate de sistemele de învățare automată cu o acuratețe de peste 95%.

Utilizând aceleași date disponibile managerilor de bancă într-un set de date privilegiat, algoritmul cel mai performant din test a fost o implementare Random Forest – o abordare destul de simplă, care are douăzeci de ani, dar care a depășit o rețea neurală în încercarea de a imita comportamentul managerilor de bancă umani care formulează decizii finale despre credite.

Algoritmul Random Forest, unul dintre cele patru testate în proiect, obține un scor uman echivalent ridicat vs. performanța managerilor de bancă, în ciuda simplității relative a algoritmului. Sursă: Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?, https://arxiv.org/pdf/2202.04218.pdf

Cercetătorii, care au avut acces la un set de date proprietar de 37.449 evaluări de credite pentru 4.414 clienți unici la “o bancă comercială mare”, sugerează în diferite puncte ale articolului preprint că analiza automată a datelor pe care managerii o primesc pentru a lua decizia a devenit atât de precisă, încât managerii de bancă rareori se abat de la aceasta, ceea ce ar putea semnifica că rolul managerilor de bancă în procesul de aprobare a creditelor constă în principal în a păstra pe cineva care să poată fi dat afară în caz de neplată a creditului.

Articolul afirmă:

‘Din punct de vedere practic, este important de remarcat că rezultatele noastre ar putea indica că banca ar putea procesa creditele mai rapid și mai ieftin în absența managerilor de credite umani, cu rezultate foarte comparabile. În timp ce managerii îndeplinesc în mod natural o varietate de sarcini, este greu de argumentat că sunt esențiali pentru această sarcină particulară și un algoritm relativ simplu poate performa la fel de bine.

‘De asemenea, este important de remarcat că, cu date suplimentare și putere de calcul, aceste algoritmi pot fi îmbunătățiți și mai mult.’

Articolul articolul se intitulează Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings? și provine de la Departamentul de Economie și Departamentul de Statistică de la UoC Irvine și Banca de Comunicații BBM din Brazilia.

Comportamentul Uman Robotic în Evaluările de Credit

Rezultatele nu semnifică că sistemele de învățare automată sunt neapărat mai bune la luarea deciziilor despre credite și evaluări de credit, ci mai degrabă că chiar și algoritmii considerați “de nivel scăzut” pot ajunge la aceleași concluzii ca oamenii din aceleași date.

Raportul caracterizează implicit managerii de bancă ca o specie de “zid de foc” din “carne” a cărui funcție rămasă este de a ridica scorurile de risc prezentate de sistemul de scorare statistică și analitică (o practică cunoscută în domeniul bancar sub numele de “notching”).

‘În timp, pare că managerii folosesc mai puțină discreție, ceea ce ar putea indica o performanță îmbunătățită sau o încredere în mijloacele algoritmice, cum ar fi scorul.’

Cercetătorii au remarcat și:

‘Rezultatele din acest articol arată că această sarcină particulară executată de managerii de bancă foarte instruiți poate fi, de fapt, ușor replicată de algoritmi relativ simpli. Performanța acestor algoritmi ar putea fi îmbunătățită prin reglarea fină pentru a ține cont de diferențele dintre industrii și, desigur, ar putea fi ușor extinsă pentru a include obiective suplimentare, cum ar fi încorporarea considerentelor de echitate în practicile de creditare sau pentru a promova alte obiective sociale.’

Descoperă diferența: evaluarea riscului a scorurilor (automate) este statistică “notată” de managerii de bancă a căror decizie a fost studiată în lucrare – o procedură reproductibilă.

Deoarece datele sugerează că managerii de bancă fac acest lucru într-un mod aproape algoritmic și previzibil, ajustările lor nu sunt atât de greu de replicat. Procesul pur și simplu “se îndoiește” de datele originale de scorare și ajustează evaluarea riscului în sus, în limite previzibile.

Metodă și Date

Intenția declarată a proiectului a fost de a anticipa ce decizii ar lua managerii de bancă, pe baza sistemului de scorare și a altor variabile disponibile pentru ei, și nu de a dezvolta sisteme alternative inovatoare pentru a înlocui cadrul actual de proceduri de solicitare a creditelor.

Metodele de învățare automată testate pentru proiect au fost Multinomial Logistic LASSO (MNL-LASSO), rețele neuronale și două implementări ale Arborilor de Clasificare și Regresie (CART): Random Forest și Gradient Boosting.

Proiectul a luat în considerare atât datele de scorare pentru o sarcină reală de evaluare a creditului, cât și rezultatul, așa cum este cunoscut în date. Scorarea este una dintre cele mai vechi practici algoritmice, în care variabilele cheie pentru creditul propus sunt calculate într-o matrice de risc, adesea prin mijloace atât de simple ca regresia logistică.

Rezultate

MNL-LASSO a performant cel mai slab dintre algoritmii testați, clasificând cu succes doar 53% din creditele, comparativ cu managerul real din cazurile evaluate.

Celelalte trei metode (cu CART cuprinzând Random Forest și Gradient Boosting) au obținut toate o acuratețe de cel puțin 90% în ceea ce privește acuratețea și Eroarea Medie Pătratică (RMSE).

Cu toate acestea, implementarea Random Forest a obținut un scor impresionant de aproape 96%, urmat îndeaproape de Gradient Boosting.

Chiar și atunci când scorul de scorare a fost eliminat din testele de ablație (secțiunea inferioară a tabelului), algoritmii au obținut o performanță extraordinară în replicarea discernământului managerilor de bancă umani pentru evaluarea creditului.

În mod surprinzător, cercetătorii au constatat că rețeaua neurală implementată de ei a obținut doar 93%, cu o lacună mai mare de RMSE, producând valori de risc la câteva “notări” distanțate de estimările umane.

Autorii observă:

‘[Aceste] rezultate nu indică faptul că o metodă este mai bună decât cealaltă în ceea ce privește o metrică externă de acuratețe, cum ar fi probabilitatea obiectivă de default. Este posibil ca Rețeaua Neurală, de exemplu, să fie cea mai bună pentru această sarcină de clasificare.

‘Aici, obiectivul nostru este doar de a replica alegerea managerului uman și, pentru această sarcină, Random Forest pare să performeze mai bine decât toate celelalte metode, în ceea ce privește metricile investigate.’

Cei 5% pe care sistemul nu i-a putut reproduce sunt explicați de către cercetători prin eterogenitatea industriilor acoperite. Autorii notează că 5% din manageri reprezintă aproape toate aceste divergențe și cred că sisteme mai elaborate ar putea, în cele din urmă, să acopere astfel de cazuri și să închidă decalajul.

Responsabilitatea este Greu de Automatizat

Dacă este confirmat în proiecte ulterioare, cercetarea sugerează că rolul de “manager de bancă” ar putea fi adăugat la un grup tot mai mare de poziții de autoritate și discernământ care sunt reduse la “supraveghetor” în timp ce acuratețea sistemelor mașinilor este testată pe termen lung; și subminează poziția comună că anumite sarcini critice nu pot fi automate.

Cu toate acestea, vestea bună pentru managerii de bancă pare a fi că, din punct de vedere politic, nevoia de responsabilitate umană în procese sociale critice, cum ar fi evaluarea creditului, este probabil să-și păstreze rolurile actuale – chiar dacă acțiunile rolurilor ar deveni complet reproduse de sistemele de învățare automată.

Publicat pentru prima dată pe 18 februarie 2022.