AI „simplu” poate anticipa deciziile de împrumut ale managerilor băncilor cu o acuratețe de peste 95%

Un nou proiect de cercetare a descoperit că deciziile discreționare luate de managerii băncilor umane pot fi replicate de sistemele de învățare automată cu o precizie de peste 95%.

Folosind aceleași date disponibile pentru managerii băncilor într-un set de date privilegiat, cel mai performant algoritm din test a fost un Pădurea întâmplătoare implementare – o abordare destul de simplă care este în vârstă de douăzeci de ani, dar care a depășit totuși o rețea neuronală atunci când a încercat să imite comportamentul managerilor de bănci umani care formulau decizii finale cu privire la împrumuturi.

Algoritmul Random Forest, unul dintre cele patru expuse pentru proiect, realizează un scor mare echivalent uman față de performanța managerilor băncilor, în ciuda simplității relative a algoritmului. Sursa: Manageri versus mașini: Algoritmii reproducă intuiția umană în ratingurile de credit?, https://arxiv.org/pdf/2202.04218.pdf

Cercetătorii, care au avut acces la un set de date proprietar de 37,449 de evaluări ale creditelor pentru 4,414 clienți unici de la „o mare bancă comercială”, sugerează în diferite puncte ale studiului preprint că analiza automată a datelor pe care o primesc managerii pentru a lua decizii a devenit acum atât de precisă încât managerii băncilor rareori se abat de la aceasta, ceea ce ar putea semnifica faptul că rolul managerilor băncilor în procesul de aprobare a creditelor constă în principal în angajarea unei persoane pe care să o concedieze în cazul unei neplate a creditului.

Lucrarea afirmă:

„Din perspectivă practică, merită remarcat faptul că rezultatele noastre pot indica faptul că banca ar putea procesa împrumuturile mai rapid și mai ieftin în absența unor manageri umani de credite cu rezultate foarte comparabile. În timp ce managerii îndeplinesc în mod natural o varietate de sarcini, este greu de argumentat că acestea sunt esențiale pentru această sarcină specială și un algoritm relativ simplu poate funcționa la fel de bine.

„De asemenea, este important de menționat că, cu date suplimentare și putere de calcul, acești algoritmi pot fi îmbunătățiți în continuare.”

hârtie se intitulează Manageri versus mașini: Algoritmii reproducă intuiția umană în ratingurile de credit?, și provine de la Departamentul de Economie și Departamentul de Statistică de la UoC Irvine și Bank of Communications BBM din Brazilia.

Comportamentul uman robotizat în evaluările de rating de credit

Rezultatele nu semnifică faptul că sistemele de învățare automată sunt neapărat mai bune la luarea deciziilor privind împrumuturile și ratingurile de credit, ci mai degrabă că până și algoritmii considerați acum destul de „de nivel scăzut” sunt capabili să tragă aceleași concluzii ca și oamenii din aceleași date.

Raportul caracterizează implicit managerii de bănci ca un fel de „firewall mecanic” a cărui funcție principală rămasă este de a crește scorurile de risc pe care le prezintă sistemul statistic și analitic de bord (o practică cunoscută în domeniul bancar sub numele de „notching”).

„În timp, se pare că managerii folosesc mai puțină discreție, ceea ce ar putea indica o performanță îmbunătățită sau dependența de mijloace algoritmice, cum ar fi tabloul de bord.”

Cercetătorii au mai remarcat:

„Rezultatele din această lucrare arată că această sarcină particulară, executată de manageri bancari cu înaltă calificare, poate fi, de fapt, ușor de reprodus prin algoritmi relativ simpli. Performanța acestor algoritmi ar putea fi îmbunătățită prin reglaje fine pentru a ține cont de diferențele dintre industrii și, bineînțeles, ar putea fi extinsă cu ușurință pentru a include obiective suplimentare, cum ar fi încorporarea considerațiilor de echitate în practicile de creditare sau promovarea altor obiective sociale.”

Găsiți diferența: evaluarea riscurilor aferente ratingurilor (automate) din tabelele de bord este majorată statistic („notată”) de managerii de bănci ale căror decizii au fost studiate în cadrul lucrării – o procedură replicabilă.

Întrucât datele sugerează că managerii băncilor fac acest lucru într-un mod aproape algoritmic și previzibil, ajustările lor nu sunt atât de dificil de reprodus. Procesul pur și simplu „refuză” datele originale din tabelul de scor și ajustează în sus ratingul de risc în limite previzibile.

Metodă și date

Intenția declarată a proiectului a fost de a anticipa deciziile pe care le-ar lua managerii băncilor, pe baza sistemului de notare și a altor variabile disponibile, mai degrabă decât de a dezvolta sisteme alternative inovatoare, concepute pentru a înlocui cadrele actuale ale procedurilor de solicitare a împrumuturilor.

Metodele de învățare automată testate pentru proiect au fost Multinomial Logistic LASSO (MNL-LASSO), rețele neuronale, și două implementări ale Arbori de clasificare și regresie (CART): Random Forest și Creșterea gradientului.

Proiectul a luat în considerare atât datele din tabloul de bord pentru o sarcină de rating de credit în lumea reală, cât și rezultatul acesteia, așa cum este cunoscut în date. Evaluarea din tabloul de bord este una dintre cele mai vechi practici algoritmice, în care variabilele cheie pentru împrumutul propus sunt calculate într-o matrice de risc, adesea prin mijloace simple precum regresie logistică.

REZULTATE

MNL-LASSO a avut cea mai slabă performanță dintre algoritmii testați, clasificând cu succes doar 53% din împrumuturi, comparativ cu managerul din viața reală în cazurile evaluate.

Celelalte trei metode (cu CART care include Random Forest și Gradient Boosting) au obținut toate scoruri de cel puțin 90% în ceea ce privește acuratețea și eroarea pătratică medie (Root Mean Square Error) (RMSE).

Cu toate acestea, implementarea CART de către Random Forest a obținut un impresionant scor de aproape 96%, urmată îndeaproape de Gradient Boosting.

Chiar și cu eliminarea ratingului de credit din testele efectuate în timpul studiilor de ablație (secțiunea inferioară a tabelului), algoritmii obțin performanțe extraordinare în replicarea discernământului managerilor de bănci umane în ceea ce privește ratingul de credit.

În mod surprinzător, cercetătorii au descoperit că rețeaua lor neuronală implementată a obținut doar 93%, cu un decalaj RMSE mai mare, producând valori de risc la câteva crestături distanță de estimările produse de om.

Autorii observă:

„[Aceste] rezultate nu indică faptul că o metodă o depășește pe cealaltă în ceea ce privește o măsură externă de acuratețe, cum ar fi probabilitatea obiectivă de implicit. Este foarte posibil ca, de exemplu, rețeaua neuronală să fie cea mai bună pentru această sarcină de clasificare.

„Aici, obiectivul este doar de a reproduce alegerea managerului uman, iar pentru această sarcină, Pădurea Aleatoare pare să depășească toate celelalte metode în cadrul metricilor investigate.”

Cele 5% pe care sistemul nu le-a putut reproduce sunt explicate, potrivit cercetătorilor, de eterogenitatea industriilor acoperite. Autorii notează că 5% dintre manageri reprezintă aproape toate aceste divergențe și cred că sisteme mai elaborate ar putea acoperi în cele din urmă astfel de cazuri de utilizare și ar putea reduce deficitul.

Responsabilitatea este dificil de automatizat

Dacă se va confirma în proiecte conexe ulterioare, cercetarea sugerează că rolul de „manager de bancă” ar putea fi adăugat la un cadru tot mai mare de poziții odinioară puternice de autoritate și discernământ, care sunt reduse la statutul de „supraveghetor”, în timp ce acuratețea sistemelor automate comparabile este testată pe termen lung; și subminează... poziție deținută în mod obișnuit că anumite sarcini critice nu pot fi automatizate.

Cu toate acestea, vestea bună pentru managerii băncilor ar părea a fi că, din punct de vedere politic, necesitatea răspunderii umane în procesele sociale critice, cum ar fi evaluarea ratingului de credit, este probabil să le păstreze rolurile actuale – chiar dacă acțiunile rolurilor. ar trebui să devină complet reproductibilă de către sistemele de învățare automată.

Prima dată publicată pe 18 februarie 2022.