‘Enkel’ AI kan forudsige bankchefernes lånebeslutninger med over 95% nøjagtighed

Et nyt forskningsprojekt har fundet, at de diskretionære beslutninger, der tages af menneskelige bankchefer, kan replikeres af maskinelæringssystemer med en nøjagtighed på over 95%.

Med brug af samme data, der er tilgængelig for bankchefer i en privilegeret dataset, var den bedst performende algoritme i testen en Random Forest-implementering – en ret enkel tilgang, der er tyve år gammel, men som stadig overgår en neural netværk, når det kommer til at efterligne adfærd af menneskelige bankchefer, der tager endelige beslutninger om lån.

Random Forest-algoritmen, en af fire, der er testet i projektet, opnår høj menneske-lignende scoring vs. performance af bankchefer, på trods af algoritmens relative enkelhed. Kilde: Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?, https://arxiv.org/pdf/2202.04218.pdf

Forskerne, der havde adgang til en proprietær dataset af 37.449 låneklassificeringer på tværs af 4.414 unikke kunder i ‘en stor kommerciel bank’, foreslår på flere punkter i preprint-artiklen, at den automatiserede dataanalyse, cheferne får til at træffe deres beslutning, nu er blevet så nøjagtig, at bankchefer sjældent afviger fra den, hvilket potentielt kan indikere, at bankchefernes rolle i lånegodkendelsesprocessen hovedsageligt består i at fastholde nogen til at fyre i tilfælde af låneafbetaling.

Artiklen fastslår:

‘Fra et praktisk synspunkt er det værd at bemærke, at vores resultater kan indikere, at banken kunne behandle lån hurtigere og billigere i fravær af menneskelige lånechefer med meget lignende resultater. Mens chefer naturligvis udfører en række opgaver, er det svært at argumentere for, at de er essentielle for denne specifikke opgave, og en ret enkel algoritme kan udføre lige så godt.

‘Det er også vigtigt at bemærke, at med yderligere data og beregningskraft kan disse algoritmer yderligere forbedres.’

Den artikel hedder Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings? og kommer fra Department of Economics and Department of Statistics at UoC Irvine og Bank of Communications BBM i Brasilien.

Roboter-lignende menneskelig adfærd i kreditvurderinger

Resultaterne betyder ikke, at maskinelæringssystemer nødvendigvis er bedre til at træffe beslutninger om lån og kreditvurderinger, men snarere, at selv algoritmer, der nu anses for at være ret lav-niveau, er i stand til at trække de samme konklusioner som mennesker fra samme data.

Rapporten karakteriserer implicit bankchefer som en slags ‘kød- firewall’, hvis kernefunktion er at hæve risikovurderingerne, som det statistiske og analytiske scorekortsystem præsenterer for dem (en praksis, der i bankverdenen kendes som ‘notching’).

‘Over tid synes det, at cheferne anvender mindre diskretion, hvilket kan indikere den forbedrede præstation eller afhængighed af algoritmiske midler som scorekortet.’

Forskerne bemærkede også:

‘Resultaterne i denne artikel viser, at denne specifikke opgave, der udføres af højt kvalificerede bankchefer, faktisk kan replikeres let af ret enkle algoritmer. Præstationen af disse algoritmer kunne forbedres ved finjustering for at tage hensyn til forskelle på tværs af brancher og kunne let udvides til at omfatte yderligere mål, såsom at inkorporere overvejelser om ligebehandling i lånepraksis eller at fremme andre sociale mål.’

Spot the difference: risikovurderingen af scorekort (automatiske) vurderinger er statistisk forhøjet (‘notchet’) af bankchefer, hvis beslutninger blev studeret i arbejdet – en replikerbar procedure.

Da data antyder, at bankchefer gør dette på en næsten algoritmisk og forudsigelig måde, er deres justeringer ikke så svære at replikere. Processen ‘second-gætter’ blot den oprindelige scorekortdata og justerer risikovurderingen opad inden for forudsigelige grænser.

Metode og data

Projektets erklærede formål var at forudsige, hvilke beslutninger bankchefer ville træffe, baseret på scoresystemet og andre variable, der var tilgængelige for dem, snarere end at udvikle innovative alternative systemer, der er designet til at erstatte nuværende låneansøgningsprocedurerammer.

De maskinlæringsmetoder, der blev testet til projektet, var Multinomial Logistic LASSO (MNL-LASSO), neurale netværk og to implementeringer af Classification and Regression Trees (CART): Random Forest og Gradient Boosting.

Projektet overvejede både scorekortdata for en virkelig kreditvurderingstask og dens udfald, som er kendt i data. Scorekortvurdering er en af de ældste algoritmiske praksisser, hvor nøglevariable for det foreslåede lån beregnes ind i en risikomatrix, ofte ved hjælp af metoder så enkle som logistisk regression.

Resultater

MNL-LASSO opnåede den laveste præstation blandt de testede algoritmer, da den kun klassificerede 53% af låneansøgningerne korrekt, sammenlignet med den virkelige chef i de vurderede tilfælde.

De andre tre metoder (med CART, der omfatter Random Forest og Gradient Boosting) opnåede alle en nøjagtighed på mindst 90% i forhold til nøjagtighed og Rod Mean Square Error (RMSE).

Random Forests implementering af CART opnåede imponerende næsten 96%, efterfulgt tæt af Gradient Boosting.

Selv med scorekortvurderingen fjernet fra testene under ablationsstudier (nederste tabelafsnit), opnår algoritmerne ekstraordinær præstation i at replikere menneskelige bankchefernes diskretion for kreditvurdering.

Forskerne fandt overraskende, at deres implementerede neurale netværk kun opnåede 93%, med en bredere RMSE-afstand, og producerede risikoværdier flere notcher væk fra de af mennesker producerede estimater.

Forfatterne bemærker:

‘[Disse] resultater indikerer ikke, at en metode overgår den anden, så vidt angår en ekstern nøjagtighedsmåling, såsom den objektive default-sandsynlighed. Det er ret muligt, at neurale netværk for eksempel er bedst for denne klassificeringstask.

‘Her er målet kun at replikere valget af den menneskelige chef, og for denne opgave synes Random Forest at overgå alle andre metoder på tværs af de undersøgte målinger.’

De 5%, som systemet ikke kunne reproducere, skyldes, ifølge forskerne, heterogeniteten af de dækkede brancher. Forfatterne bemærker, at 5% af cheferne står for næsten alle disse afvigelser, og mener, at mere avancerede systemer kunne slutte denne manglende dækning og lukke hullerne.

Ansvarlighed er svær at automatisere

Hvis det bekræftes i efterfølgende relaterede projekter, antyder forskningen, at ‘bankchef’-rollen kunne tilføjes en voksende gruppe af tidligere magtfulde autoritets- og diskretionsstillinger, der reduceres til ‘invigilator’-status, mens nøjagtigheden af sammenlignelige maskinsystemer testes over længere tid; og undergraver den almindeligt accepterede holdning, at visse kritiske opgaver ikke kan automatiseres.

Men det gode nyheds for bankchefer synes at være, at fra et politisk synspunkt, behovet for menneskelig ansvarlighed i kritiske sociale processer, såsom kreditvurdering, sandsynligvis vil bevare deres nuværende roller – selv hvis handlingerne i rollerne skulle blive fuldstændigt reproducerbare af maskinelæringssystemer.

Offentliggjort første gang den 18. februar 2022.