'Jednostavna' umjetna inteligencija može predvidjeti odluke bankovnih menadžera o kreditima s više od 95% točnosti

Novi istraživački projekt otkrio je da se diskrecijske odluke ljudskih upravitelja banaka mogu replicirati sustavima strojnog učenja s točnošću većom od 95%.

Korištenjem istih podataka dostupnih upraviteljima banaka u povlaštenom skupu podataka, algoritam s najboljom izvedbom u testu bio je Slučajna šuma implementacija – prilično jednostavan pristup koji je dvadeset godina star, ali koji je ipak bio bolji od neuronske mreže pri pokušaju oponašanja ponašanja ljudskih bankovnih upravitelja koji formuliraju konačne odluke o zajmovima.

Algoritam Random Forest, jedan od četiri koja su prošla kroz projekt, postiže visoku ocjenu ekvivalentnu ljudskom u odnosu na učinak bankovnih menadžera, unatoč relativnoj jednostavnosti algoritma. Izvor: Menadžeri protiv strojeva: Ponavljaju li algoritmi ljudsku intuiciju u kreditnim ocjenama?, https://arxiv.org/pdf/2202.04218.pdf

Istraživači, koji su imali pristup vlasničkom skupu podataka od 37,449 kreditnih ocjena za 4,414 jedinstvenih klijenata u 'velikoj komercijalnoj banci', na raznim mjestima u preprint radu sugeriraju da je automatizirana analiza podataka koju menadžeri dobivaju za donošenje odluka sada postala toliko točna da menadžeri banaka rijetko odstupaju od nje, što potencijalno znači da se uloga menadžera banaka u procesu odobravanja kredita uglavnom sastoji od zadržavanja nekoga tko će biti otpušten u slučaju neplaćanja kredita.

U radu se navodi:

'Iz praktične perspektive vrijedno je napomenuti da naši rezultati mogu ukazivati ​​na to da bi banka mogla brže i jeftinije obrađivati ​​zajmove u nedostatku ljudskih upravitelja zajmovima s vrlo usporedivim rezultatima. Iako menadžeri prirodno obavljaju različite zadatke, teško je tvrditi da su oni ključni za ovaj određeni zadatak, a relativno jednostavan algoritam može raditi jednako dobro.

'Također je važno napomenuti da se s dodatnim podacima i računalnom snagom ovi algoritmi mogu dodatno poboljšati.'

The papir naslovljen je Menadžeri protiv strojeva: Ponavljaju li algoritmi ljudsku intuiciju u kreditnim ocjenama?, a dolazi iz Odjela za ekonomiju i Odjela za statistiku UoC Irvine i Bank of Communications BBM u Brazilu.

Robotično ljudsko ponašanje u procjeni kreditnog rejtinga

Rezultati ne znače da su sustavi strojnog učenja nužno bolji u donošenju odluka o kreditima i kreditnim rejtingima, već da su čak i algoritmi koji se sada smatraju prilično 'niskom razinom' sposobni izvući iste zaključke kao i ljudi iz istih podataka.

Izvješće implicitno karakterizira bankarske menadžere kao svojevrsni „meatware vatrozid“ čija je glavna preostala funkcija podizanje ocjena rizika koje im predstavlja statistički i analitički sustav bodovanja (praksa poznata u bankarstvu kao „urezivanje“).

'S vremenom se čini da menadžeri koriste manje diskrecijskog prava, što bi moglo ukazivati ​​na poboljšane performanse ili oslanjanje na algoritamska sredstva poput sustava bodovanja.'

Istraživači su također primijetili:

„Rezultati u ovom radu pokazuju da se ovaj određeni zadatak koji izvršavaju visokokvalificirani bankarski menadžeri zapravo može lako replicirati relativno jednostavnim algoritmima. Performanse tih algoritama mogle bi se poboljšati finim podešavanjem kako bi se uzele u obzir razlike među industrijama i naravno, mogle bi se lako proširiti kako bi uključile dodatne ciljeve poput uključivanja razmatranja pravednosti u prakse kreditiranja ili promicanja drugih društvenih ciljeva.“

Uočite razliku: procjena rizika ocjena na bodovnoj kartici (automatske) statistički se povećava („utvrdjuje“) od strane bankovnih menadžera čije su odluke proučavane u radu – postupak koji se može ponoviti.

Budući da podaci sugeriraju da menadžeri banaka to rade na gotovo algoritamski i predvidljiv način, njihove prilagodbe nije tako teško replicirati. Proces jednostavno 'preispituje' izvorne podatke s bodovne kartice i prilagođava ocjenu rizika prema gore unutar predvidljivih margina.

Metoda i podaci

Izjavljena namjera projekta bila je predvidjeti koje će odluke donositi menadžeri banaka, na temelju sustava bodovanja i drugih varijabli koje su im dostupne, a ne razviti inovativne alternativne sustave osmišljene da zamijene trenutne okvire postupaka podnošenja zahtjeva za kredit.

Metode strojnog učenja testirane za projekt bile su Multinomial Logistic LASSO (MNL-LASO), neuronske mreže, i dvije implementacije Klasifikacijska i regresijska stabla (KOŠARICA): Slučajna šuma i Pojačavanje gradijenta.

Projekt je razmatrao i podatke iz tablice rezultata za stvarni zadatak kreditnog rejtinga i njegov ishod, kao što je poznato u podacima. Ocjena tablice rezultata jedna je od najstarijih algoritamskih praksi, gdje se ključne varijable za predloženi zajam izračunavaju u matricu rizika, često na jednostavan način logistička regresija.

Rezultati

MNL-LASSO imao je najlošije rezultate među testiranim algoritmima, uspješno klasificirajući samo 53% zajmova, u usporedbi sa stvarnim upraviteljem u procijenjenim slučajevima.

Ostale tri metode (s CART-om koji obuhvaća Random Forest i Gradient Boosting) sve su postigle najmanje 90% u pogledu točnosti i korijenske srednje kvadratne pogreške (RMSE).

Međutim, implementacija CART-a u Random Forestu postigla je impresivnih gotovo 96%, a odmah iza nje slijedi Gradient Boosting.

Čak i uz uklanjanje ocjene na bodovnoj kartici iz testova tijekom ablacijskih studija (donji dio tablice), algoritmi postižu izvanredne performanse u repliciranju rasuđivanja ljudskih bankarskih menadžera za kreditni rejting.

Iznenađujuće, istraživači su otkrili da je njihova implementirana neuronska mreža postigla samo 93%, s većim RMSE jazom, stvarajući vrijednosti rizika nekoliko stupnjeva dalje od procjena koje su proizveli ljudi.

Autori primjećuju:

'[Ovi] rezultati ne pokazuju da jedna metoda nadmašuje drugu što se tiče vanjske metrike točnosti, kao što je objektivna vjerojatnost zadane obveze. Vrlo je moguće da je neuronska mreža, na primjer, najbolja za taj zadatak klasifikacije.

'Ovdje je cilj samo replicirati izbor ljudskog menadžera i za ovaj zadatak Slučajna šuma čini se da nadmašuje sve ostale metode u svim istraživanim metrikama.'

Tih 5% koje sustav nije mogao reproducirati pripisuje se, prema istraživačima, heterogenosti obuhvaćenih industrija. Autori primjećuju da je 5% menadžera odgovorno za gotovo sva ta odstupanja i vjeruju da bi razrađeniji sustavi u konačnici mogli pokriti takve slučajeve upotrebe i zatvoriti manjak.

Odgovornost je teško automatizirati

Ako se to potvrdi u kasnijim povezanim projektima, istraživanje sugerira da bi se uloga „bankovnog menadžera“ mogla dodati rastućem kadru nekada moćnih pozicija autoriteta i razlučivanja koje se svode na status „nadzornika“ dok se točnost usporedivih strojnih sustava dugoročno testira; i potkopava uobičajeni položaj da se određeni kritični zadaci ne mogu automatizirati.

Međutim, čini se da je dobra vijest za upravitelje banaka da će, s političkog gledišta, potreba za ljudskom odgovornošću u kritičnim društvenim procesima kao što je procjena kreditnog rejtinga vjerojatno zadržati njihove trenutne uloge – čak i ako radnje uloga trebali postati potpuno ponovljivi sustavima strojnog učenja.

Prvi put objavljeno 18. veljače 2022.