Andersonin kulma
‘Yksinkertainen’ tekoäly voi ennustaa pankinjohtajien lainapäätökset yli 95 prosentin tarkkuudella

Keskeiset kohdatSatunnaismetsä toisti pankinjohtajien lainapäätökset lähes 96 prosentin tarkkuudella.
Näytä lisää
- Satunnaismetsä toisti pankinjohtajien lainapäätökset lähes 96 prosentin tarkkuudella.
- Johtajat poikkeavat harvoin automatisoiduista pisteytyskorteista, mikä viittaa siihen, että heidän roolinsa on yhä tarpeettomampi.
- Neuroverkot suoriutuivat yksinkertaisempia algoritmeja heikommin ihmisten luottokelpoisuusarvioinnin jäljittelyssä.
Uusi tutkimushanke on osoittanut, että pankinjohtajien harkinnanvaraiset lainapäätökset voidaan toistaa tekoälyjärjestelmillä yli 95 prosentin tarkkuudella.
Käyttämällä samaa tietoa, joka on saatavilla pankinjohtajille yksityisessä tietokannassa, parhaiten suorittanut algoritmi testissä oli Random Forest -toteutus – melko yksinkertainen lähestymistapa, joka on kaksikymmentä vuotta vanha, mutta joka silti suoriutui neuroverkkoa paremmin yrittäessään jäljitellä pankinjohtajien käyttäytymistä lopullisissa päätöksissä lainoista.

Random Forest -algoritmi oli yksi hankkeessa testatuista neljästä algoritmista. Suhteellisesta yksinkertaisuudestaan huolimatta se jäljittelee pankinjohtajien luokituksia erittäin tarkasti. Lähde: Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?, https://arxiv.org/pdf/2202.04218.pdf
Tutkijat, joilla oli pääsy yksityiseen tietokantaan, joka sisälsi 37 449 lainaluokitusta 4 414 eri asiakkaalle “suurelle kaupalliselle pankille”, ehdottavat useissa kohdissa esitutkimusartikkelissa, että automaattinen tietojen analyysi, jota johtajat saavat päätöksenteon apuvälineeksi, on nyt niin tarkka, että pankinjohtajat harvoin poikkeavat siitä, mikä saattaa osoittaa, että pankinjohtajien rooli lainojen hyväksymisprosessissa koostuu lähinnä siitä, että heidän läsnäolonsa varmistaa, että joku on olemassa, jonka voi erottaa, jos lainaa ei makseta takaisin.
Artikkelissa todetaan:
‘Käytännön näkökulmasta on huomattava, että tulokset saattavat osoittaa, että pankki voisi käsitellä lainoja nopeammin ja halvemmalla ilman pankinjohtajia ja saada samanlaiset tulokset. Vaikka johtajat tekevät luonnollisesti monia tehtäviä, on vaikea väittää, että he ovat välttämättömiä tähän tehtävään, ja melko yksinkertainen algoritmi voi suorittaa yhtä hyvin.’
‘On myös tärkeää huomata, että nämä algoritmit voivat parantua lisätietojen ja laskentakapasiteetin avulla.’
Artikkeli tutkimuksesta on otsikoitu Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings? ja se on peräisin Kalifornian yliopiston Irvinen kampuksen taloustieteen ja tilastotieteen laitoksilta sekä Brasilian Bank of Communications BBM:stä.
Roboottinen ihmiskäyttäytyminen luottoluokituksissa
Tulokset eivät merkitse, että tekoälyjärjestelmät ovat välttämättä parempia tekemään päätöksiä lainoista ja luottoluokituksista, vaan että jopa melko alkeelliset algoritmit pystyvät johtamaan samoihin johtopäätöksiin kuin ihmiset samojen tietojen perusteella.
Raportti kuvaa pankinjohtajia implisiittisesti “lihaisena palomuurina”, jonka keskeinen jäljellä oleva tehtävä on korottaa riskipisteitä, jotka tilastollinen ja analyyttinen pisteytysjärjestelmä esittää heille (tunnetaan pankkialalla “notchauksena”).
‘Ajan myötä näyttää siltä, että johtajat käyttävät vähemmän harkintavaltaa, mikä saattaa osoittaa parantuneen suorituskyvyn tai riippuvuuden algoritmisten välineiden, kuten pisteytyskortin, suhteen.’
Tutkijat huomauttivat myös:
‘Tutkimuksen tulokset osoittavat, että tällainen tehtävä, jota suorittavat korkeasti koulutetut pankinjohtajat, voidaan tosiasiallisesti helposti toistaa melko yksinkertaisilla algoritmeilla. Näiden algoritmien suorituskykyä voidaan parantaa hienosäätämällä huomioimaan eroja eri teollisuusalojen välillä ja ne voidaan helposti laajentaa sisältämään muita tavoitteita, kuten reiluuden huomioon ottamista lainoissa tai muiden sosiaalisten tavoitteiden edistämistä.’

Eroa etsimässä: pankinjohtajat korottavat tilastollisesti automaattisen pisteytysjärjestelmän riskiluokituksia (‘notchattu’) – toistettavissa oleva menettely.
Koska data osoittaa, että pankinjohtajat tekevät tämän melko algoritmisen ja ennustettavan tavoin, heidän korjauksensa eivät ole vaikeita toistaa. Prosessi yksinkertaisesti arvioi uudelleen alkuperäisen pisteytyskortin tiedot ja säätää riskiluokituksen ylöspäin ennustettavissa rajoissa.
Menetelmä ja data
Hankkeen ilmoitettu tarkoitus oli ennustaa, mitä päätöksiä pankinjohtajat tekisivät, perustuen pisteytysjärjestelmään ja muihin heille saatavilla oleviin muuttujiin, eikä kehittää innovatiivisia vaihtoehtoisia järjestelmiä, jotka on suunniteltu korvaamaan nykyiset lainahakemisen prosessikehykset.
Testatuista tekoälymenetelmistä olivat Multinomial Logistic LASSO (MNL-LASSO), neuroverkot ja kaksi Classification and Regression Trees (CART) -toteutusta: Random Forest ja Gradient Boosting.
Hankkeessa tutkittiin sekä pisteytyskortin tietoja todelliselle luottoluokitus-tehtävälle että sen tulosta, kuten tiedetään tiedoissa. Pisteytyskortti on yksi vanhimmista algoritmisten käytännön menetelmistä, jossa lasketaan avainmuuttujat ehdotetulle lainalle riskimatriisiin usein yksinkertaisilla menetelmillä, kuten logistisella regressiolla.
Tulokset
MNL-LASSO suoritti heikoimmin testatuuista algoritmeista ja luokitteli onnistuneesti vain 53 % lainoista, verrattuna todelliseen johtajaan arvioituissa tapauksissa.
Kolme muuta menetelmää (CART kattaa Random Forestin ja Gradient Boostingin) toistivat pankinjohtajan valitseman luokan yli 90 prosentin tarkkuudella. Virhettä arvioitiin erikseen myös keskineliövirheen neliöjuurella (RMSE).
Random Forestin CART-toteutus saavutti kuitenkin vaikuttavan lähellä 96 %:n tarkkuuden, ja Gradient Boosting seurasi läheisenä.

Jopa silloin, kun pisteytyskortin arvo poistettiin testeistä ablaatiotutkimuksissa (alempi taulukon osa), algoritmit saavuttavat erinomaisen suorituskyvyn mukailemassa pankinjohtajien harkintaa luottoluokituksissa.
Tutkijat havaitsivat yllättäen, että heidän toteuttamansa neuroverkko saavutti vain 93 %:n tarkkuuden, ja laajemman RMSE-poikkeaman, tuottaen riskiarvoja, jotka olivat useita luokkia poikkeavia ihmisten tekemistä arvioista.
Tekijät toteavat:
‘Nämä tulokset eivät osoita, että jompikumpi menetelmä suorittaa paremmin toisen ulkoisen tarkkuusmittarin, kuten objektiivisen maksukyvyttömyyden todennäköisyyden, suhteen. On mahdollista, että neuroverkko on parhaimmillaan kyseisessä luokittelutehtävässä.
‘Tässä tavoitteena on ainoastaan toistaa pankinjohtajan valinta, ja tähän tehtävään Random Forest näyttää suorittavan kaikkia muita menetelmiä paremmin tutkituissa mittareissa.’
5 %:ia, jonka järjestelmä ei voinut toistaa, on selitetty tutkijoiden mukaan teollisuusalojen heterogeenisuudesta. Tekijät huomauttavat, että 5 %:ia johtajista vastaa lähes kaikista poikkeamista, ja uskovat, että monimutkaisemmat järjestelmät voivat lopulta kattaa nämä käyttötapaukset ja korjata puutteen.
Vastuu on vaikea automatisoida
Jos tämä tutkimus vahvistuu myöhemmissä liittyvissä hankkeissa, se viittaa siihen, että “pankinjohtajan” rooli voidaan lisätä kasvavaan joukkoon aiemmin vallankkaita viranomaistehtäviä, jotka vähitellen supistuvat valvojan asemaan, kun tekoälyjärjestelmien tarkkuutta testataan pitkällä aikavälillä; ja heikentää yleisesti hyväksyttyä kantaa, jonka mukaan tietyt kriittiset tehtävät eivät ole automatisoitavissa.
Kuitenkin hyviä uutisia pankinjohtajille näyttäisi olevan se, että poliittisesta näkökulmasta katsoen, tarve ihmisen vastuulle kriittisissä sosiaalisissa prosesseissa, kuten luottoluokituksen arvioinnissa, todennäköisesti säilyttää heidän nykyiset roolinsa – vaikka roolien toimet voivat tulla täysin toistettaviksi tekoälyjärjestelmien avulla.
Alun perin julkaistu 18. helmikuuta 2022.












