‘Enkel’ AI kan forutsi banklederes lånebeslutninger med over 95% nøyaktighet

Et nytt forskningsprosjekt har funnet ut at de diskresjonære beslutningene som menneskelige bankledere tar, kan replikeres av maskinlæringsystemer med en nøyaktighet på over 95%.

Med samme data som er tilgjengelig for bankledere i en privilegert datasett, var den beste algoritmen i testen en Random Forest-implementering – en ganske enkel tilnærming som er tyve år gammel, men som likevel overgikk et neuralt nettverk i å etterligne atferden til menneskelige bankledere når de tar endelige beslutninger om lån.

Random Forest-algoritmen, en av fire som ble testet i prosjektet, oppnår høy menneske-ekvivalent scoring vs. ytelse av bankledere, til tross for algoritmens relative enkelhet. Kilde: Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?, https://arxiv.org/pdf/2202.04218.pdf

Forskerne, som hadde tilgang til et proprietært datasett på 37 449 lånevurderinger over 4 414 unike kunder i en stor kommersiell bank, foreslår på flere punkter i preprint-artikkelen at den automatiske dataanalysen som ledere får for å ta sine beslutninger, nå er så nøyaktig at bankledere sjelden avviker fra den, potensielt betyr at bankledernes rolle i lånegodkjenningsprosessen hovedsakelig består i å beholde noen til å fyre i tilfelle av låneutmåling.

Artikkelen sier:

‘Fra et praktisk perspektiv er det verdt å merke seg at våre resultater kan indikere at banken kunne prosessere lån raskere og billigere i fravær av menneskelige låneledere med svært sammenlignbare resultater. Mens ledere naturlig utfører en rekke oppgaver, er det vanskelig å argumentere for at de er essensielle for denne spesifikke oppgaven, og en relativt enkel algoritme kan utføre like godt.

‘Det er også viktig å merke seg at med ytterligere data og beregningskraft kan disse algoritmene videreutvikles også.’

Artikkelen hefter tittelen Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings? og kommer fra avdelingene for økonomi og statistikk ved UoC Irvine og Bank of Communications BBM i Brasil.

Robotic Human Behavior in Credit Rating Assessments

Resultatene betyr ikke at maskinlæringsystemer nødvendigvis er bedre til å ta beslutninger om lån og kredittvurderinger, men heller at selv algoritmer som nå anses som ganske lavnivå, er i stand til å trekke samme konklusjoner som mennesker fra samme data.

Rapporten karakteriserer implicit bankledere som en slags ‘kjøtt- og blod-brannmur’ hvis kjernefunksjon er å heve risikopoengene som det statistiske og analytiske poengsystemet presenterer dem med (en praksis kjent i bankvesen som ‘notching’).

‘Over tid synes det som om ledere anvender mindre skjønn som kan indikere forbedret eller avhengighet av algoritmiske midler som poengsystemet.’

Forskerne noterte også:

‘Resultatene i denne artikkelen viser at denne spesifikke oppgaven som utføres av høyt kvalifiserte bankledere, kan være lett replikerbar av relativt enkle algoritmer. Ytelsen til disse algoritmene kan forbedres ved finjustering for å ta hensyn til forskjeller over industrier og kan lett utvides til å inkludere ekstra mål som å inkorporere overveielser om rettferdighet i lånepraksis eller fremme andre sosiale mål.’

Spot the difference: risikovurderingen av poengsystemets (automatiske) vurderinger er statistisk justert (‘notched’) av bankledere hvis beslutninger ble studert i arbeidet – en replikerbar prosedyre.

Ettersom dataene indikerer at bankledere gjør dette på en nesten algoritmisk og forutsigbar måte, er deres justeringer ikke så vanskelige å replikere. Prosessen gjentar bare opprinnelig poengsystemdata og justerer risikovurderingen oppover innenfor forutsigbare marginer.

Method and Data

Prosjektets erklærte intensjon var å forutsi hva beslutninger bankledere ville ta, basert på poengsystemet og andre variabler som var tilgjengelige for dem, snarere enn å utvikle innovative alternative systemer designet til å erstatte nåværende lånesøknadsprosedyrer.

Maskinlæringsmetodene som ble testet for prosjektet var Multinomial Logistic LASSO (MNL-LASSO), neurale nettverk og to implementeringer av Classification and Regression Trees (CART): Random Forest og Gradient Boosting.

Prosjektet vurderte både poengsystemdata for en virkelig kredittvurdering og dens resultat, som var kjent i dataene. Poengsystemvurdering er en av de eldste algoritmiske praksisene, der nøkkelvariabler for det foreslåtte lånet beregnes inn i en risikomatrix, ofte ved hjelp av metoder så enkle som logistisk regresjon.

Results

MNL-LASSO utførte dårligst blant de testede algoritmene, og klassifiserte bare 53% av låneansøkningene, sammenlignet med den virkelige lederen i de evaluerte tilfellene.

De andre tre metodene (med CART som omfatter Random Forest og Gradient Boosting) scoret alle minst 90% i terms av nøyaktighet og Root Mean Square Error (RMSE).

Imidlertid scoret Random Forests implementering av CART en imponerende nær 96%, etterfulgt tett av Gradient Boosting.

Selv med poengsystemvurderingen fjernet fra testene under ablasjonsstudier (nedre tabellseksjon), oppnår algoritmene ekstraordinær ytelse i å replikere menneskelige banklederes skjønn for kredittvurdering.

Forskerne fant ut at deres implementerte neurale nettverk bare scoret 93%, med et større RMSE-gap, og produserte risikoverdier flere notcher unna menneskeskapt estimat.

Forfatterne observerer:

‘[Disse] resultater indikerer ikke at en metode overgår den andre når det gjelder en ekstern nøyaktighetsmetode, som f.eks. objektiv default-sannsynlighet. Det er ganske mulig at neuralt nettverk for eksempel er best for denne klassifiseringsoppgaven.

‘Her er målet bare å replikere valget til den menneskelige lederen, og for denne oppgaven ser Random Forest ut til å overgå alle andre metoder over de undersøkte målene.’

De 5% som systemet ikke kunne replikere, skyldes, ifølge forskerne, heterogeniteten i de dekkede industrier. Forfatterne noterer at 5% av lederne står for nesten alle disse avvikene, og tror at mer avanserte systemer til slutt kan dekke slike bruksområder og lukke gapet.

Accountability Is Difficult to Automate

Hvis det bæres ut i etterfølgende relaterte prosjekter, antyder forskningen at ‘bankleder’-rollen kan bli lagt til en voksende gruppe tidligere mektige autoritets- og skjønnsposisjoner som reduseres til ‘invigilator’-status, mens nøyaktigheten av sammenlignbare maskinsystemer testes over lengre tid; og undergraver den vanlige oppfatningen at visse kritiske oppgaver ikke kan automatiseres.

Imidlertid synes det som om det gode nyheten for bankledere er at, fra et politisk perspektiv, behovet for menneskelig ansvar i kritiske sosiale prosesser som kredittvurdering, sannsynligvis vil bevare deres nåværende roller – selv om handlingene til rollene kan bli fullstendig reprodusert av maskinlæringsystemer.

Først publisert 18. februar 2022.