'Jednostavna' umjetna inteligencija može predvidjeti odluke bankovnih menadžera o kreditima s više od 95% točnosti

Novi istraživački projekt otkrio je da se diskrecijske odluke ljudskih upravitelja banaka mogu replicirati sustavima strojnog učenja s točnošću većom od 95%.

Korištenjem istih podataka dostupnih upraviteljima banaka u povlaštenom skupu podataka, algoritam s najboljom izvedbom u testu bio je Slučajna šuma implementacija – prilično jednostavan pristup koji je dvadeset godina star, ali koji je ipak bio bolji od neuronske mreže pri pokušaju oponašanja ponašanja ljudskih bankovnih upravitelja koji formuliraju konačne odluke o zajmovima.

Algoritam Random Forest, jedan od četiri koja su prošla kroz projekt, postiže visoku ocjenu ekvivalentnu ljudskom u odnosu na učinak bankovnih menadžera, unatoč relativnoj jednostavnosti algoritma. Izvor: Menadžeri protiv strojeva: Ponavljaju li algoritmi ljudsku intuiciju u kreditnim ocjenama?, https://arxiv.org/pdf/2202.04218.pdf

Istraživači, koji su imali pristup vlasničkom skupu podataka od 37,449 4,414 kreditnih ocjena za XNUMX XNUMX jedinstvenih klijenata u 'velikoj komercijalnoj banci', sugeriraju na različitim točkama u prethodnom dokumentu da je automatizirana analiza podataka koja se daje menadžerima za donošenje odluka sada postala toliko precizan da menadžeri banaka rijetko odstupaju od njega, što potencijalno znači da se dio menadžera banke u procesu odobravanja kredita uglavnom sastoji od zadržavanja nekoga koga će otpustiti u slučaju neplaćanja kredita.

U radu se navodi:

'Iz praktične perspektive vrijedno je napomenuti da naši rezultati mogu ukazivati ​​na to da bi banka mogla brže i jeftinije obrađivati ​​zajmove u nedostatku ljudskih upravitelja zajmovima s vrlo usporedivim rezultatima. Iako menadžeri prirodno obavljaju različite zadatke, teško je tvrditi da su oni ključni za ovaj određeni zadatak, a relativno jednostavan algoritam može raditi jednako dobro.

'Također je važno napomenuti da se s dodatnim podacima i računalnom snagom ti algoritmi također mogu dodatno poboljšati.'

Korištenje električnih romobila ističe papir naslovljen je Menadžeri protiv strojeva: Ponavljaju li algoritmi ljudsku intuiciju u kreditnim ocjenama?, a dolazi iz Odjela za ekonomiju i Odjela za statistiku UoC Irvine i Bank of Communications BBM u Brazilu.

Robotično ljudsko ponašanje u procjeni kreditnog rejtinga

Rezultati ne znače da su sustavi strojnog učenja nužno bolji u donošenju odluka o zajmovima i kreditnom rejtingu, već da su čak i algoritmi koji se sada smatraju prilično 'niskim razinama' sposobni izvući iste zaključke kao i ljudi iz istih podataka.

Izvješće implicitno karakterizira bankovne menadžere kao neku vrstu 'meatware firewall-a' čija je osnovna preostala funkcija podizanje ocjena rizika koje im prikazuje statistički i analitički sustav bodovnih kartica (praksa poznata u bankarstvu kao 'notching').

'S vremenom se čini da menadžeri koriste manje diskrecije što bi moglo ukazivati ​​na poboljšanu izvedbu ili oslanjanje na algoritamska sredstva kao što je tablica rezultata.'

Istraživači su također primijetili:

'Rezultati u ovom radu pokazuju da se ovaj određeni zadatak koji obavljaju visoko kvalificirani bankovni menadžeri zapravo mogu lako replicirati relativno jednostavnim algoritmima. Učinkovitost ovih algoritama mogla bi se poboljšati finim podešavanjem kako bi se uzele u obzir razlike među industrijama i, naravno, mogli bi se lako proširiti kako bi uključili dodatne ciljeve kao što je uključivanje razmatranja pravednosti u praksu kreditiranja ili promicanje drugih društvenih ciljeva.'

Uočite razliku: procjenu rizika (automatske) ocjene tablice rezultata statistički povećavaju ('urezuju') menadžeri banaka čije su odluke proučavane u radu – postupak koji se može ponoviti.

Budući da podaci sugeriraju da upravitelji banaka to rade na gotovo algoritamski i predvidljiv način, njihove prilagodbe nije tako teško ponoviti. Proces jednostavno 'pogađa' izvorne podatke tablice rezultata i prilagođava ocjenu rizika prema gore unutar predvidljivih granica.

Metoda i podaci

Navedena namjera projekta bila je predvidjeti odluke koje će menadžeri banaka donijeti na temelju sustava bodovanja i drugih varijabli koje su im dostupne, a ne razviti inovativne alternativne sustave osmišljene da zamijene trenutne okvire postupka podnošenja zahtjeva za kredit.

Metode strojnog učenja testirane za projekt bile su Multinomial Logistic LASSO (MNL-LASO), neuronske mreže, i dvije implementacije Klasifikacijska i regresijska stabla (KOŠARICA): Slučajna šuma i Pojačavanje gradijenta.

Projekt je razmatrao i podatke iz tablice rezultata za stvarni zadatak kreditnog rejtinga i njegov ishod, kao što je poznato u podacima. Ocjena tablice rezultata jedna je od najstarijih algoritamskih praksi, gdje se ključne varijable za predloženi zajam izračunavaju u matricu rizika, često na jednostavan način logistička regresija.

Rezultati

MNL-LASSO imao je najlošije rezultate među testiranim algoritmima, uspješno klasificirajući samo 53% zajmova, u usporedbi sa stvarnim upraviteljem u procijenjenim slučajevima.

Ostale tri metode (s CART-om koji obuhvaća Random Forest i Gradient Boosting) sve su postigle najmanje 90% u pogledu točnosti i korijenske srednje kvadratne pogreške (RMSE).

Međutim, Random Forestova implementacija CART-a postigla je impresivnih skoro 96%, a odmah nakon nje slijedi Gradient Boosting.

Čak i s ocjenom tablice rezultata uklonjenom iz testova tijekom studija ablacije (donji odjeljak tablice), algoritmi postižu izvanredne performanse u repliciranju pronicljivosti ljudskih menadžera banke za kreditni rejting.

Iznenađujuće, istraživači su otkrili da je njihova implementirana neuronska mreža postigla samo 93%, s većim RMSE jazom, stvarajući vrijednosti rizika nekoliko stupnjeva dalje od procjena koje su proizveli ljudi.

Autori primjećuju:

'[Ovi] rezultati ne pokazuju da jedna metoda nadmašuje drugu što se tiče vanjske metrike točnosti, kao što je objektivna vjerojatnost zadane obveze. Vrlo je moguće da je neuronska mreža, na primjer, najbolja za taj zadatak klasifikacije.

'Ovdje je cilj samo replicirati izbor ljudskog upravitelja i za ovaj zadatak Slučajna šuma izgleda nadmašuje sve druge metode u svim istraživanim metrikama.'

Tih 5% koje sustav nije mogao reproducirati pripisuje se, prema istraživačima, heterogenosti obuhvaćenih industrija. Autori primjećuju da je 5% menadžera odgovorno za gotovo sva ta odstupanja i vjeruju da bi razrađeniji sustavi u konačnici mogli pokriti takve slučajeve upotrebe i zatvoriti manjak.

Odgovornost je teško automatizirati

Ako se to potvrdi u narednim povezanim projektima, istraživanje sugerira da bi se uloga 'menadžera banke' mogla dodati rastućem kadru nekoć moćnih pozicija autoriteta i pronicljivosti koji su svedeni na status 'nadzornika' dok je točnost usporedivih strojnih sustava testiran je na duži rok; i potkopava uobičajeni položaj da se određeni kritični zadaci ne mogu automatizirati.

Međutim, čini se da je dobra vijest za upravitelje banaka da će, s političkog gledišta, potreba za ljudskom odgovornošću u kritičnim društvenim procesima kao što je procjena kreditnog rejtinga vjerojatno zadržati njihove trenutne uloge – čak i ako radnje uloga trebali postati potpuno ponovljivi sustavima strojnog učenja.

Prvi put objavljeno 18. veljače 2022.