Kunsmatige Intelligensie
'Eenvoudige' KI kan bankbestuurders se leningsbesluite tot meer as 95% akkuraatheid verwag
’n Nuwe navorsingsprojek het bevind dat die diskresionêre besluite wat deur menslike bankbestuurders geneem word deur masjienleerstelsels tot ’n akkuraatheid van meer as 95% herhaal kan word.
Deur dieselfde data wat beskikbaar is aan bankbestuurders in 'n bevoorregte datastel te gebruik, was die beste presterende algoritme in die toets 'n Random Forest implementering – dit is 'n redelik eenvoudige benadering twintig jaar oud, maar wat steeds beter as 'n neurale netwerk gevaar het toe hulle probeer het om die gedrag van menslike bankbestuurders na te boots wat finale besluite oor lenings formuleer.
Die Random Forest-algoritme, een van vier wat deur hul treë vir die projek gebring word, behaal 'n hoë mens-ekwivalente telling teenoor prestasie van bankbestuurders, ten spyte van die relatiewe eenvoud van die algoritme. Bron: Bestuurders teenoor masjiene: Repliseer algoritmes menslike intuïsie in kredietgraderings?, https://arxiv.org/pdf/2202.04218.pdf
Die navorsers, wat toegang gehad het tot 'n eie datastel van 37,449 4,414 leninggraderings oor XNUMX XNUMX unieke kliënte by ''n groot handelsbank', stel op verskeie punte in die voordrukvraestel voor dat die outomatiese data-analise wat bestuurders gegee word om hul besluit te neem, nou geword het so akkuraat dat bankbestuurders selde daarvan afwyk, wat moontlik daarop dui dat bankbestuurders se aandeel in die leningsgoedkeuringsproses hoofsaaklik bestaan om iemand te behou om te ontslaan in die geval van 'n leningwanbetaling.
Die artikel sê:
'Vanuit 'n praktiese perspektief is dit opmerklik dat ons resultate kan aandui dat die bank lenings vinniger en goedkoper kan verwerk in die afwesigheid van menslike leningsbestuurders met baie vergelykbare resultate. Alhoewel bestuurders natuurlik 'n verskeidenheid take verrig, is dit moeilik om te argumenteer dat dit noodsaaklik is vir hierdie spesifieke taak en 'n relatief eenvoudige algoritme kan net so goed presteer.
'Dit is ook belangrik om daarop te let dat met bykomende data en rekenkrag hierdie algoritmes ook verder verbeter kan word.'
Die papier is getiteld Bestuurders teenoor masjiene: Repliseer algoritmes menslike intuïsie in kredietgraderings?, en kom van die Departement Ekonomie en Departement Statistiek by UoC Irvine en die Bank of Communications BBM in Brasilië.
Robotiese menslike gedrag in kredietgraderingbeoordelings
Die resultate dui nie daarop dat masjienleerstelsels noodwendig beter is om besluite oor lenings en kredietgraderings te neem nie, maar eerder dat selfs algoritmes wat nou as taamlik 'laevlak' beskou word, in staat is om dieselfde gevolgtrekkings as mense uit dieselfde data te maak.
Die verslag karakteriseer bankbestuurders implisiet as 'n soort 'vleisware-firewall' wie se oorblywende kernfunksie is om die risikotellings te verhoog wat die statistiese en analitiese telkaartstelsel aan hulle bied ('n praktyk wat in die bankwese as 'kerf' bekend staan).
'Met verloop van tyd blyk dit dat bestuurders minder diskresie gebruik, wat kan dui op die verbeterde prestasie van of vertroue op algoritmiese middele soos die telkaart.'
Die navorsers het ook opgemerk:
'Die resultate in hierdie vraestel toon dat hierdie spesifieke taak wat deur hoogs bekwame bankbestuurders uitgevoer word, in werklikheid maklik deur relatief eenvoudige algoritmes gerepliseer kan word. Die werkverrigting van hierdie algoritmes kan verbeter word deur fyn in te stel om rekening te hou met verskille tussen nywerhede en kan natuurlik maklik uitgebrei word om bykomende doelwitte in te sluit soos die insluiting van billikheidsoorwegings in uitleenpraktyke of om ander sosiale doelwitte te bevorder.'
Sien die verskil: die risikobepaling van telkaart (outomatiese) graderings word statisties opgestoot ('gekerf') deur bankbestuurders wie se besluite in die werk bestudeer is – 'n herhaalbare prosedure.
Aangesien die data daarop dui dat bankbestuurders dit op 'n byna algoritmiese en voorspelbare wyse doen, is hul aanpassings nie so moeilik om te herhaal nie. Die proses 'raai' eenvoudig die oorspronklike telkaartdata en pas die risikogradering opwaarts aan binne voorspelbare marges.
Metode en data
Die projek se verklaarde bedoeling was om te voorspel watter besluite bankbestuurders sou neem, gebaseer op die puntestelsel en ander veranderlikes wat aan hulle beskikbaar is, eerder as om innoverende alternatiewe stelsels te ontwikkel wat ontwerp is om huidige leningaansoekprosedureraamwerke te vervang.
Die masjienleermetodes wat vir die projek getoets is, was Multinomial Logistic LASSO (MNL-LASSO), neurale netwerke, en twee implementerings van Klassifikasie- en regressiebome (CART): Random Forest en Gradiëntversterking.
Die projek het beide die telkaartdata vir 'n werklike kredietgraderingstaak en die uitkoms daarvan, soos bekend in die data, oorweeg. Telkaartgradering is een van die oudste algoritmiese praktyke, waar sleutelveranderlikes vir die voorgestelde lening in 'n risikomatriks bereken word, dikwels deur middel van so eenvoudig soos logistieke regressie.
Results
MNL-LASSO het die swakste gevaar onder die getoetsde algoritmes, en het slegs 53% van die lenings suksesvol geklassifiseer, vergeleke met die werklike bestuurder in die gevalle wat geëvalueer is.
Die ander drie metodes (met CART wat Random Forest en Gradient Boosting insluit) het almal ten minste 90% behaal in terme van akkuraatheid en Root Mean Square Error (RMSE).
Random Forest se implementering van CART het egter 'n indrukwekkende byna 96% behaal, kort gevolg deur Gradient Boosting.
Selfs met die telkaartgradering wat tydens ablasiestudies uit die toetse verwyder is (onderste tabelafdeling), behaal die algoritmes buitengewone prestasie in die replisering van menslike bankbestuurders se onderskeidingsvermoë vir kredietgradering.
Verbasend genoeg het die navorsers gevind dat hul geïmplementeerde neurale netwerk slegs 93% behaal het, met 'n groter RMSE-gaping, wat risikowaardes verskeie kerwe weg van die mens-geproduseerde skattings produseer.
Die skrywers neem waar:
'[Hierdie] resultate dui nie aan dat een metode beter as die ander een presteer wat 'n eksterne maatstaf van akkuraatheid betref, soos die objektiewe wanbetalingswaarskynlikheid nie. Dit is heel moontlik dat die Neurale Netwerk byvoorbeeld die beste is vir daardie klassifikasietaak.
'Hierdie doel is slegs om die keuse van die menslike bestuurder te herhaal en vir hierdie taak lyk dit of die Random Forest alle ander metodes oor die metrieke wat ondersoek is, beter presteer.'
Die 5% wat die stelsel nie kon reproduseer nie, word volgens die navorsers verantwoord deur die heterogeniteit van die nywerhede wat gedek word. Die skrywers merk op dat 5% van bestuurders verantwoordelik is vir byna al hierdie verskille, en glo dat meer uitgebreide stelsels uiteindelik sulke gebruiksgevalle kan dek en die tekort kan sluit.
Aanspreeklikheid is moeilik om te outomatiseer
As dit in daaropvolgende verwante projekte bevestig word, dui die navorsing daarop dat die 'bankbestuurder'-rol bygevoeg kan word tot 'n groeiende kader van eens magtige posisies van gesag en onderskeidingsvermoë wat verminder word tot 'opsiener'-status, terwyl die akkuraatheid van vergelykbare masjienstelsels. word oor die lang termyn getoets; en ondermyn die algemene posisie dat sekere kritieke take nie geoutomatiseer kan word nie.
Die goeie nuus vir bankbestuurders blyk egter te wees dat, vanuit 'n politieke oogpunt, die behoefte aan menslike aanspreeklikheid in kritieke sosiale prosesse soos kredietgradering-evaluering waarskynlik hul huidige rolle sal behou – selfs al is die optrede van die rolle. moet heeltemal reproduceerbaar word deur masjienleerstelsels.
Eerste gepubliseer 18 Februarie 2022.
