‘Eenvoudige’ AI kan beslissingen van bankmanagers over leningen voorspellen met een nauwkeurigheid van meer dan 95%

Een nieuw onderzoeksproject heeft ontdekt dat de discretionaire beslissingen die door menselijke bankmanagers worden genomen, kunnen worden gerepliceerd door machine learning-systemen met een nauwkeurigheid van meer dan 95%.

Met behulp van dezelfde gegevens die beschikbaar zijn voor bankmanagers in een privileged dataset, was de best presterende algoritme in de test een Random Forest-implementatie – een vrij eenvoudige benadering die twintig jaar oud is, maar die nog steeds beter presteerde dan een neurale netwerk bij het nabootsen van het gedrag van menselijke bankmanagers bij het nemen van definitieve beslissingen over leningen.

De Random Forest-algoritme, een van de vier die voor het project zijn getest, behaalt een hoge score die equivalent is aan die van bankmanagers, ondanks de relatieve eenvoud van de algoritme. Bron: Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?, https://arxiv.org/pdf/2202.04218.pdf

De onderzoekers, die toegang hadden tot een propriëtaire dataset van 37.449 leningbeoordelingen over 4.414 unieke klanten bij ‘een grote commerciële bank’, suggereren op verschillende punten in het preprint-artikel dat de geautomatiseerde gegevensanalyse die managers krijgen om hun beslissing te nemen, nu zo nauwkeurig is geworden dat bankmanagers zelden afwijken van de voorspellingen, wat mogelijk aangeeft dat de rol van bankmanagers in het goedkeuringsproces van leningen voornamelijk bestaat uit het behouden van iemand om te ontslaan in geval van een lening in gebreke blijven.

Het artikel staat:

‘Vanuit een praktisch oogpunt is het de moeite waard om op te merken dat onze resultaten mogelijk aangeven dat de bank leningen sneller en goedkoper kan verwerken in de afwezigheid van menselijke leningmanagers met vergelijkbare resultaten. Terwijl managers natuurlijk een verscheidenheid aan taken uitvoeren, is het moeilijk om te betogen dat ze essentieel zijn voor deze specifieke taak en een relatief eenvoudig algoritme kan even goed presteren.

‘Het is ook belangrijk om op te merken dat met extra gegevens en rekenkracht deze algoritmen verder kunnen worden verbeterd.’

Het artikel heet Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings? en komt van de afdeling Economie en de afdeling Statistiek van de UoC Irvine en de Bank of Communications BBM in Brazilië.

Robots en menselijk gedrag in creditbeoordelingen

De resultaten geven niet aan dat machine learning-systemen noodzakelijkerwijs beter zijn in het nemen van beslissingen over leningen en creditbeoordelingen, maar eerder dat zelfs algoritmen die nu als vrij ‘laag’ worden beschouwd, in staat zijn om dezelfde conclusies te trekken als mensen uit dezelfde gegevens.

Het rapport karakteriseert bankmanagers impliciet als een soort ‘meatware firewall’ wiens kernfunctie overblijft om de risicoscores die het statistische en analytische scorekaartsysteem hen presenteert, te verhogen (een praktijk die in de bankwereld bekend staat als ‘notching’).

‘In de loop van de tijd lijkt het erop dat managers minder discretie gebruiken, wat可能 aangeeft dat de prestaties van of de afhankelijkheid van algoritmische middelen zoals de scorekaart verbeterd zijn.’

De onderzoekers merkten ook op:

‘De resultaten in dit artikel laten zien dat deze specifieke taak, die wordt uitgevoerd door hooggeschoolde bankmanagers, mogelijk gemakkelijk kan worden gerepliceerd door relatief eenvoudige algoritmen. De prestaties van deze algoritmen kunnen worden verbeterd door ze te fine-tunen om rekening te houden met verschillen tussen branches en kunnen gemakkelijk worden uitgebreid om extra doelen te omvatten, zoals het incorporeren van overwegingen van eerlijkheid in leningpraktijken of het bevorderen van andere sociale doelen.’

Spot the difference: de risicobeoordeling van scorekaartbeoordelingen (automatisch) worden statistisch verhoogd (‘genoteerd’) door bankmanagers wiens beslissingen in het onderzoek zijn bestudeerd – een replicabele procedure.

Aangezien de gegevens suggereren dat bankmanagers dit doen op een bijna algoritmische en voorspelbare manier, zijn hun aanpassingen niet moeilijk te repliceren. Het proces ‘tweede-gist’ de oorspronkelijke scorekaartgegevens en past de risicobeoordeling naar boven toe binnen voorspelbare marges.

Methode en gegevens

Het doel van het project was om te anticiperen op de beslissingen die bankmanagers zouden nemen, op basis van het scoresysteem en andere variabelen die voor hen beschikbaar waren, in plaats van om innovatieve alternatieve systemen te ontwikkelen die zijn ontworpen om de huidige procedure voor leningaanvragen te vervangen.

De machine learning-methoden die voor het project zijn getest, waren Multinomiale Logistische LASSO (MNL-LASSO), neurale netwerken en twee implementaties van Classificatie- en Regressiebomen (CART): Random Forest en Gradient Boosting.

Het project heeft zowel de scorekaartgegevens voor een real-world creditbeoordelingstaak als de uitkomst ervan in overweging genomen, zoals bekend in de gegevens. Scorekaartbeoordeling is een van de oudste algoritmische praktijken, waarbij sleutelvariabelen voor de voorgestelde lening worden berekend in een risicomatrix, vaak door middel van eenvoudige methoden zoals logistische regressie.

Resultaten

MNL-LASSO presteerde het slechtst onder de geteste algoritmen, met een classificatie van slechts 53% van de leningen, in vergelijking met de werkelijke manager in de geëvalueerde gevallen.

De andere drie methoden (met CART omvattende Random Forest en Gradient Boosting) scoorden allemaal minstens 90% in termen van nauwkeurigheid en Root Mean Square Error (RMSE).

Random Forests implementatie van CART scoorde een indrukwekkende bijna-96%, gevolgd door Gradient Boosting.

Zelfs met de scorekaartbeoordeling verwijderd uit de tests tijdens ablatieonderzoeken (onderste tabelsectie), behalen de algoritmen een buitengewone prestatie in het repliceren van de beoordeling van menselijke bankmanagers voor creditbeoordeling.

De onderzoekers vonden verrassend dat hun geïmplementeerde neurale netwerk slechts 93% scoorde, met een bredere RMSE-kloof, waardoor risicowaarden ontstonden die enkele notches verwijderd waren van de door de mens gegenereerde schattingen.

De auteurs merken op:

‘[Deze] resultaten geven niet aan dat de ene methode de andere overtreft in termen van een externe nauwkeurigheidsmeting, zoals de objectieve defaultwaarschijnlijkheid. Het is heel goed mogelijk dat het neurale netwerk bijvoorbeeld het beste is voor die classificatietaken.

‘Hier is het doel alleen om de keuze van de menselijke manager te repliceren en voor deze taak lijkt Random Forest alle methoden te overtreffen in de onderzochte metrieken.’

De 5% die het systeem niet kan reproduceren, wordt volgens de onderzoekers verklaard door de heterogeniteit van de branches die worden bestreken. De auteurs merken op dat 5% van de managers bijna alle afwijkingen vertegenwoordigen en geloven dat meer geavanceerde systemen uiteindelijk deze use-cases kunnen dekken en de tekortkoming kunnen compenseren.

Verantwoordelijkheid is moeilijk te automatiseren

Als het onderzoek in toekomstige gerelateerde projecten wordt bevestigd, suggereert het dat de rol van ‘bankmanager’ kan worden toegevoegd aan een groeiende groep voormalige machtige posities van autoriteit en onderscheid die worden teruggebracht tot ‘toezichthouder’-status, terwijl de nauwkeurigheid van vergelijkbare machine-systemen op lange termijn wordt getest; en ondermijnt de algemeen aanvaarde positie dat bepaalde kritieke taken niet kunnen worden geautomatiseerd.

Maar het goede nieuws voor bankmanagers lijkt te zijn dat, vanuit een politiek oogpunt, de behoefte aan menselijke verantwoordelijkheid in kritieke sociale processen zoals creditbeoordeling waarschijnlijk hun huidige rollen zal behouden – zelfs als de acties van de rollen volledig reproduceerbaar worden door machine learning-systemen.

Publicatie 18 februari 2022.