‘Yksinkertainen’ tekoäly voi ennustaa pankinjohtajien lainapäätökset yli 95 prosentin tarkkuudella

Uusi tutkimushanke on osoittanut, että ihmisten tekemät lainapäätökset voidaan toistaa tekoälyjärjestelmillä yli 95 prosentin tarkkuudella.

Käyttämällä samaa tietoa, joka on saatavilla pankinjohtajille yksityisessä tietokannassa, parhaiten suorittanut algoritmi testissä oli Random Forest -toteutus – melko yksinkertainen lähestymistapa, joka on kaksikymmentä vuotta vanha, mutta joka silti suoritti paremmin kuin neuroverkko yritti mukailla pankinjohtajien käyttäytymistä lopullisissa päätöksissä lainoista.

Random Forest -algoritmi, yksi neljästä testatuista, saavuttaa korkean, ihmisen kaltaisen pisteytyksen pankinjohtajien suorituskyvyn verrattuna. Algoritmin yksinkertaisuudesta huolimatta. Lähde: Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?, https://arxiv.org/pdf/2202.04218.pdf

Tutkijat, joilla oli pääsy yksityiseen tietokantaan, joka sisälsi 37 449 lainaluokituksen 4 414 eri asiakkaalle “suurelle kaupalliselle pankille”, ehdottavat useissa kohdissa esitutkimusartikkelissa, että automaattinen tietojen analyysi, jota johtajat saavat päätöksenteon apuvälineeksi, on nyt niin tarkka, että pankinjohtajat harvoin poikkeavat siitä, mikä saattaa osoittaa, että pankinjohtajien rooli lainojen hyväksymisprosessissa koostuu lähinnä siitä, että heidän läsnäolonsa varmistaa, että joku on olemassa, jonka voi erottaa, jos laina ei makseta takaisin.

Artikkelissa todetaan:

‘Käytännön näkökulmasta on huomattava, että tulokset saattavat osoittaa, että pankki voisi käsitellä lainoja nopeammin ja halvemmalla ilman pankinjohtajia ja saada samanlaiset tulokset. Vaikka johtajat tekevät luonnollisesti monia tehtäviä, on vaikea väittää, että he ovat välttämättömiä tähän tehtävään, ja melko yksinkertainen algoritmi voi suorittaa yhtä hyvin.’

‘On myös tärkeää huomata, että nämä algoritmit voivat parantua lisätietojen ja laskentakapasiteetin avulla.’

Artikkeli tutkimuksesta on otsikoitu Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings? ja se on peräisin Kalifornian yliopiston taloustieteen ja tilastotieteen laitokselta sekä Brasilian Bank of Communications BBM:stä.

Roboottinen ihmiskäyttäytyminen luottoluokituksissa

Tulokset eivät merkitse, että tekoälyjärjestelmät ovat välttämättä parempia tekemään päätöksiä lainoista ja luottoluokituksista, vaan että jopa melko alkeelliset algoritmit pystyvät johtamaan samoihin johtopäätöksiin kuin ihmiset samojen tietojen perusteella.

Raportti kuvaa pankinjohtajia implisiittisesti “lihaisena palomuurina”, jonka keskeinen jäljellä oleva tehtävä on korottaa riskipisteitä, jotka tilastollinen ja analyyttinen pisteytysjärjestelmä esittää heille (tunnetaan pankkialalla “notchauksena”).

‘Ajan myötä näyttää siltä, että johtajat käyttävät vähemmän harkintavaltaa, mikä saattaa osoittaa parantuneen suorituskyvyn tai riippuvuuden algoritmisten välineiden, kuten pisteytyskortin, suhteen.’

Tutkijat huomauttivat myös:

‘Tutkimuksen tulokset osoittavat, että tällainen tehtävä, jota suorittavat korkeasti koulutetut pankinjohtajat, voidaan tosiasiallisesti helposti toistaa melko yksinkertaisilla algoritmeilla. Näiden algoritmien suorituskykyä voidaan parantaa hienosäädtämällä eroja eri teollisuusalojen välillä ja ne voidaan helposti laajentaa sisältämään muita tavoitteita, kuten reiluuden huomioon ottamista lainoissa tai muiden sosiaalisten tavoitteiden edistämistä.’

Eroa etsimässä: pankinjohtajien tekemien riskiarvioiden pisteytys (automaattinen) on tilastollisesti korotettu (‘notchattu’) – toistettavissa oleva menettely.

Koska data osoittaa, että pankinjohtajat tekevät tämän melko algoritmisen ja ennustettavan tavoin, heidän korjauksensa eivät ole vaikeita toistaa. Prosessi yksinkertaisesti “toisarvoaa” alkuperäisen pisteytyskortin tiedot ja säätää riskiluokituksen ylöspäin ennustettavissa rajoissa.

Menetelmä ja data

Hankkeen ilmoitettu tarkoitus oli ennustaa, mitä päätöksiä pankinjohtajat tekisivät, perustuen pisteytysjärjestelmään ja muihin heille saatavilla oleviin muuttujiin, eikä kehittää innovatiivisia vaihtoehtoisia järjestelmiä, jotka on suunniteltu korvaamaan nykyiset lainahakemisen prosessikehykset.

Testatuista tekoälymenetelmistä olivat Multinomial Logistic LASSO (MNL-LASSO), neuroverkot ja kaksi Classification and Regression Trees (CART) -toteutusta: Random Forest ja Gradient Boosting.

Hankkeessa tutkittiin sekä pisteytyskortin tietoja todelliselle luottoluokitus-tehtävälle että sen tulosta, kuten tiedetään tiedoissa. Pisteytyskortti on yksi vanhimmista algoritmisten käytännön menetelmistä, jossa lasketaan avainmuuttujat ehdotetulle lainalle riskimatriisiin usein yksinkertaisilla menetelmillä, kuten logistisella regressiolla.

Tulokset

MNL-LASSO suoritti heikoimmin testatuuista algoritmeista ja luokitteli onnistuneesti vain 53 % lainoista, verrattuna todelliseen johtajaan arvioituissa tapauksissa.

Muiden kolmen menetelmän (CART käsittäen Random Forestin ja Gradient Boostingin) suorituskyky oli vähintään 90 % tarkkuuden ja juuriparametrivirheen (RMSE) suhteen.

Random Forestin CART-toteutus saavutti kuitenkin vaikuttavan lähellä 96 %:n tarkkuuden, ja Gradient Boosting seurasi läheisenä.

Jopa silloin, kun pisteytyskortin arvo poistettiin testeistä ablaatiotutkimuksissa (alempi taulukon osa), algoritmit saavuttavat erinomaisen suorituskyvyn mukailemassa pankinjohtajien harkintaa luottoluokituksissa.

Tutkijat havaitsivat yllättäen, että heidän toteuttamansa neuroverkko saavutti vain 93 %:n tarkkuuden, ja laajemman RMSE-erän, tuottaen riskiarvoja, jotka olivat useita luokkia poikkeavia ihmisten tekemistä arvioista.

Tekijät toteavat:

‘Nämä tulokset eivät osoita, että jompikumpi menetelmä suorittaa paremmin toisen ulkoisen tarkkuusmittarin, kuten objektiivisen defaulttimahdollisuuden, suhteen. On mahdollista, että neuroverkko on parhaimmillaan kyseisessä luokittelutehtävässä.

‘Tässä tavoitteena on ainoastaan toistaa pankinjohtajan valinta, ja tähän tehtävään Random Forest näyttää suorittavan kaikkia muita menetelmiä paremmin tutkituissa mittareissa.’

5 %:ia, jonka järjestelmä ei voinut toistaa, on selitetty tutkijoiden mukaan teollisuusalojen heterogeenisuudesta. Tekijät huomauttavat, että 5 %:ia johtajista vastaa lähes kaikista poikkeamista, ja uskovat, että monimutkaisemmat järjestelmät voivat lopulta kattaa nämä käyttötapaukset ja korjata puutteen.

Vastuu on vaikea automatisoida

Jos tämä tutkimus vahvistuu myöhemmissä liittyvissä hankkeissa, se viittaa siihen, että “pankinjohtajan” rooli voidaan lisätä kasvavaan joukkoon aiemmin vallankkaita viranomaistehtäviä, jotka vähitellen supistuvat “invigilaattorin” asemaan, kun tekoälyjärjestelmien tarkkuutta testataan pitkällä aikavälillä; ja heikentää yleisesti hyväksyttyä kantaa, jonka mukaan tietyt kriittiset tehtävät eivät voida automatisoida.

Kuitenkin hyviä uutisia pankinjohtajille näyttäisi olevan se, että poliittisesta näkökulmasta otien, tarve ihmisen vastuulle kriittisissä sosiaalisissa prosesseissa, kuten luottoluokituksen arvioinnissa, on todennäköisesti säilyttävä heidän nykyiset roolinsa – vaikka roolien toimet voivat tulla täysin toistettaviksi tekoälyjärjestelmien avulla.

Alun perin julkaistu 18. helmikuuta 2022.