‘Yksinkertainen’ tekoäly voi ennustaa pankinjohtajien lainapäätöksiä yli 95%:n tarkkuudella

Uusi tutkimushanke on osoittanut, että pankinjohtajien tekemät harkinnanvaraiset päätökset voidaan toistaa koneoppimisjärjestelmillä yli 95%:n tarkkuudella.

Käyttämällä samaa tietoa, joka on saatavilla pankinjohtajille etuoikeutetussa tietokannassa, parhaiten suorittanut algoritmi testissä oli Random Forest -toteutus – melko yksinkertainen lähestymistapa, joka on kaksikymmentä vuotta vanha, mutta joka silti suoritti paremmin kuin neuroverkko yritettäessä jäljitellä pankinjohtajien käyttäytymistä lopullisissa päätöksissä lainoista.

Random Forest -algoritmi, yksi neljästä, jotka asetettiin testiin, saavuttaa korkean, ihmisen kaltaisen pisteytyksen pankinjohtajien suorituskyvyn verrattuna, vaikka algoritmi on suhteellisen yksinkertainen. Lähde: Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?, https://arxiv.org/pdf/2202.04218.pdf

Tutkijat, joilla oli pääsy 37 449 lainaluokituksen tietokantaan 4 414 yksilölliselle asiakkaalle “suurella kaupallisella pankilla”, ehdottavat useissa kohdissa esitutkimusartikkelissa, että automaattinen tietojen analyysi, jota pankinjohtajat saavat päätöksenteon apuna, on nyt niin tarkin, ettei pankinjohtajat juuri poikkea siitä, mikä saattaa osoittaa, että pankinjohtajien rooli lainan hyväksymisprosessissa koostuu lähinnä siitä, että heidän tehtävänään on pitää yllä henkilöstöä, jonka voi erottaa lainan määräaikaisen maksamattomuuden sattuessa.

Artikkelissa todetaan:

‘Käytännöllisestä näkökulmasta on syytä huomata, että tuloksemme saattavat osoittaa, että pankki voisi käsitellä lainoja nopeammin ja halvemmalla ilman pankinjohtajia ja saada samanlaiset tulokset. Vaikka pankinjohtajat tekevät luonnollisesti monia tehtäviä, on vaikea väittää, että he ovat välttämättömiä tähän tiettyyn tehtävään, ja melko yksinkertainen algoritmi voi suorittaa yhtä hyvin.

‘On myös tärkeää huomata, että lisätietojen ja laskentakapasiteetin avulla nämä algoritmit voidaan parantaa edelleen.’

Artikkeli on nimeltään Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings? ja se on peräisin UoC Irvinen taloustieteen ja tilastotieteen laitokselta ja Bank of Communications BBM:stä Brasiliassa.

Roboottinen inhimillinen käyttäytyminen luottoluokituksen arvioissa

Tulokset eivät merkitse, että koneoppimisjärjestelmät ovat välttämättä parempia tekemään päätöksiä lainoista ja luottoluokituksista, vaan pikemminkin, että jopa algoritmit, jotka nykyään pidetään melko “alkeellisina”, pystyvät tekemään samat johtopäätökset kuin ihmiset samasta tiedosta.

Raportti kuvaa pankinjohtajia implisiittisesti “lihaisena palomuurina”, jonka ydinjäävä tehtävä on korottaa riskiluokituksia, jotka tilastollinen ja analyysiin perustuva pisteytysjärjestelmä esittää heille (tunnetaan pankkialalla “notchauksena”).

‘Ajan myötä näyttää siltä, että pankinjohtajat käyttävät vähemmän harkintaa, mikä saattaa osoittaa parantunutta suorituskykyä tai riippuvuutta algoritmisten välineiden, kuten pisteytyskortin, avulla.’

Tutkijat huomauttivat myös:

‘Tulokset tässä artikkelissa osoittavat, että tämä tietty tehtävä, jota suorittavat erittäin pätevät pankinjohtajat, voidaan tosiasiallisesti helposti toistaa melko yksinkertaisilla algoritmeilla. Nämä algoritmit voivat parantaa suorituskykyään hienosääten eri teollisuusalojen ja tietysti voidaan helposti laajentaa sisältämään muita tavoitteita, kuten reiluuden huomioon ottamista lainojen myöntämisessä tai muiden sosiaalisten tavoitteiden edistämistä.’

Eroa: pisteytyskortin (automaattinen) riskiarviot on tilastollisesti korotettu (“notchattu”) pankinjohtajien toimesta, joiden päätökset tutkittiin työssä – toistettavissa oleva menettely.

Koska data osoittaa, että pankinjohtajat tekevät tämän melko algoritmisen ja ennustettavan tavoin, heidän sopeutumisensa eivät ole vaikeita toistaa.

Menetelmä ja data

Hankkeen ilmoitettu tarkoitus oli ennustaa, mitä päätöksiä pankinjohtajat tekisivät, pisteytysjärjestelmän ja muiden muuttujien perusteella, jotka olivat heidän käytettävissään, eikä kehittää innovatiivisia vaihtoehtoisia järjestelmiä, jotka korvaavat nykyiset lainahakemisen prosessikehykset.

Koneoppimismenetelmiä, jotka testattiin hankkeessa, olivat Multinomial Logistic LASSO (MNL-LASSO), neuroverkot ja kaksi Classification and Regression Trees (CART):n toteutusta: Random Forest ja Gradient Boosting.

Hankkeessa tutkittiin sekä pisteytyskortin dataa todelliselle luottoluokitus-tehtävälle että sen lopputulosta, joka oli tiedossa datassa. Pisteytyskortti on yksi vanhimmista algoritmisten käytännön menetelmistä, jossa lainan avainmuuttujat lasketaan riskimatriisiin usein yhtä yksinkertaisella tavalla kuin logistinen regressio.

Tulokset

MNL-LASSO suoritti heikoimmin testatuuista algoritmeista, luokitellen onnistuneesti vain 53% lainoista, verrattuna todelliseen pankinjohtajaan arvioituissa tapauksissa.

Kolme muuta menetelmää (CART käsittää Random Forestin ja Gradient Boostingin) saavuttivat vähintään 90%:n tarkkuuden ja Root Mean Square Error (RMSE):n.

Random Forestin toteutus CART:sta saavutti kuitenkin vaikuttavan lähellä 96%:n tarkkuuden, ja Gradient Boosting seurasi läheisesti perässä.

Algoritmit saavuttavat poikkeuksellisen suorituskyvyn toistamalla pankinjohtajien harkintaa luottoluokituksessa, vaikka pisteytyskortin luokitus poistettiin testeistä ablaatiotutkimuksissa (alempi tauluko).

Yllättäen tutkijat totesivat, että heidän toteuttamansa neuroverkko saavutti vain 93%:n tarkkuuden, ja laajemman RMSE-erän, tuottaen riskiarvoja, jotka olivat useita luokituksia poissa ihmisluokituksista.

Tekijät huomauttavat:

‘Nämä tulokset eivät osoita, että jompikumpi menetelmä suorittaa paremmin toista ulkoista tarkkuuden mittaria, kuten objektiivista default-mahdollisuutta. On mahdollista, että neuroverkko on esimerkiksi parhaimmillaan tässä luokittelutehtävässä.

‘Tässä tavoitteena on vain toistaa pankinjohtajan valinta, ja tähän tehtävään Random Forest näyttää suorittavan kaikkia muita menetelmiä paremmin tutkituissa mittareissa.’

5%:iin, jonka järjestelmä ei voinut toistaa, tutkijat selittävät teollisuusalojen heterogeenisuudella. Tekijät toteavat, että 5%:iin pankinjohtajista voidaan verrata lähes kaikki nämä poikkeamat, ja he uskovat, että monimutkaisemmat järjestelmät voivat lopulta kattaa nämä tapaukset ja korjata puutteen.

Vastuu on vaikea automatisoida

Jos tämä tutkimus vahvistuu myöhemmissä liittyvissä hankkeissa, se osoittaa, että “pankinjohtajan” rooli voidaan lisätä kasvavaan joukkoon aikaisemmin voimakkaita valtarakenteita ja harkintaa, jotka vähitellen muuttuvat “valvontatilaan”, kun koneoppimisjärjestelmien tarkkuutta testataan pitkällä aikavälillä; ja kyseenalaistaa yleisen käsityksen, että tietyt kriittiset tehtävät eivät voida automatisoida.

On kuitenkin hyviä uutisia pankinjohtajille, että poliittisesta näkökulmasta otien, tarve inhimilliselle vastuulle kriittisissä sosiaalisissa prosesseissa, kuten luottoluokitusarvioissa, on todennäköisesti säilyttää heidän nykyiset roolinsa – vaikka heidän tehtäviensä toiminta voisi tulla täysin toistettavaksi koneoppimisjärjestelmien avulla.

Julkaistu ensimmäisen kerran 18. helmikuuta 2022.