„Jednoduchá“ umělá inteligence dokáže předvídat rozhodnutí bankovních manažerů o úvěrech s přesností více než 95 %

Nový výzkumný projekt zjistil, že diskreční rozhodnutí učiněná manažery lidských bank mohou být replikována systémy strojového učení s přesností více než 95 %.

Při použití stejných dat, která mají k dispozici manažeři bank v privilegovaném datovém souboru, byl nejvýkonnějším algoritmem v testu Náhodný les implementace – poměrně jednoduchý přístup dvacet let starý, která však stále předčila neuronové sítě, když se pokoušela napodobit chování lidských bankovních manažerů formulujících konečná rozhodnutí o půjčkách.

Algoritmus Random Forest, jeden ze čtyř, který prošel projektem, dosahuje vysokého skóre srovnatelného s lidským faktorem v porovnání s výkonem bankovních manažerů, a to navzdory relativní jednoduchosti algoritmu. Zdroj: Manažeři versus stroje: Napodobují algoritmy lidskou intuici v hodnocení úvěrového rizika?, https://arxiv.org/pdf/2202.04218.pdf

Výzkumníci, kteří měli přístup k vlastnímu datovému souboru 37,449 4,414 hodnocení úvěrů od XNUMX XNUMX unikátních zákazníků ve „velké komerční bance“, na různých místech předtištěného papíru naznačují, že automatizovaná analýza dat, kterou manažeři dostávají k rozhodování, se nyní stala tak přesné, že se od něj bankovní manažeři jen zřídka odchýlí, což potenciálně znamená, že část bankovních manažerů v procesu schvalování úvěru spočívá hlavně v tom, že si nechá někoho propustit v případě nesplácení úvěru.

Článek uvádí:

„Z praktického hlediska stojí za zmínku, že naše výsledky mohou naznačovat, že by banka mohla zpracovávat úvěry rychleji a levněji bez lidských úvěrových manažerů s velmi srovnatelnými výsledky. I když manažeři přirozeně provádějí různé úkoly, je těžké tvrdit, že jsou pro tento konkrétní úkol nezbytné a relativně jednoduchý algoritmus může fungovat stejně dobře.

"Je také důležité poznamenat, že s dodatečnými daty a výpočetním výkonem mohou být tyto algoritmy také dále vylepšeny."

Projekt papír je s názvem Manažeři versus stroje: Napodobují algoritmy lidskou intuici v hodnocení úvěrového rizika?, a pochází z katedry ekonomiky a statistiky na UoC Irvine a Bank of Communications BBM v Brazílii.

Robotické lidské chování při hodnocení úvěrového ratingu

Výsledky neznamenají, že systémy strojového učení jsou nezbytně lepší v rozhodování o půjčkách a úvěrovém ratingu, ale spíše to, že i algoritmy, které jsou nyní považovány za docela „nízké úrovně“, jsou schopny ze stejných dat vyvodit stejné závěry jako lidé.

Zpráva implicitně charakterizuje bankovní manažery jako jakýsi „meatwarový firewall“, jehož hlavní zbývající funkcí je zvyšovat skóre rizik, která jim předkládá statistický a analytický systém skórovacích karet (praxe známá v bankovnictví jako „notching“).

"Postupem času se zdá, že manažeři používají méně diskrétnosti, což by mohlo naznačovat lepší výkon nebo spoléhání se na algoritmické prostředky, jako je skórkarta."

Vědci také poznamenali:

„Výsledky v tomto článku ukazují, že tento konkrétní úkol prováděný vysoce kvalifikovanými manažery bank lze ve skutečnosti snadno replikovat pomocí relativně jednoduchých algoritmů. Výkon těchto algoritmů by se dal zlepšit jemným doladěním, aby zohlednily rozdíly mezi průmyslovými odvětvími, a samozřejmě by se daly snadno rozšířit o další cíle, jako je začlenění hledisek spravedlivosti do úvěrových praktik nebo prosazování jiných sociálních cílů.“

Všimněte si rozdílu: hodnocení rizik (automatických) hodnocení pomocí skórovacích karet je statisticky zvýšeno („vrubováno“) manažery bank, jejichž rozhodnutí byla v práci studována – opakovatelný postup.

Vzhledem k tomu, že data naznačují, že to bankovní manažeři dělají téměř algoritmickým a předvídatelným způsobem, jejich úpravy není tak těžké napodobit. Proces jednoduše „druhé odhadne“ původní data z výsledkové karty a upraví hodnocení rizika směrem nahoru v rámci předvídatelných marží.

Metoda a data

Deklarovaným záměrem projektu bylo předvídat, jaká rozhodnutí učiní bankovní manažeři na základě bodovacího systému a dalších proměnných, které mají k dispozici, spíše než vyvíjet inovativní alternativní systémy navržené tak, aby nahradily stávající rámce postupů pro žádosti o úvěr.

Metody strojového učení testované pro projekt byly Multinomial Logistic LASSO (MNL-LASSO), neuronové sítěa dvě implementace Klasifikační a regresní stromy (KOŠÍK): Náhodný les a Zesílení přechodu.

Projekt zvažoval jak data z bodovacích karet pro úkol v reálném světě úvěrového ratingu, tak jeho výsledek, jak je v datech znám. Rating Scorecard je jednou z nejstarších algoritmických praktik, kdy se klíčové proměnné pro navrhovaný úvěr vypočítávají do rizikové matice, často tak jednoduchými prostředky, jako je např. logistické regrese.

výsledky

Nejhůře mezi testovanými algoritmy dopadl MNL-LASSO, který úspěšně klasifikoval pouze 53 % úvěrů ve srovnání s reálným manažerem v hodnocených případech.

Ostatní tři metody (s CART zahrnujícím Random Forest a Gradient Boosting) všechny dosáhly alespoň 90% přesnosti a střední hodnoty kvadratické chyby (RMSE).

Implementace CART od Random Forest však zaznamenala působivých téměř 96 %, těsně následovaná zesílením přechodu.

Dokonce i když bylo hodnocení skóre karty odstraněno z testů během ablačních studií (spodní část tabulky), algoritmy dosahují mimořádné výkonnosti při replikaci rozlišovací schopnosti lidských bankovních manažerů pro úvěrové hodnocení.

Překvapivě výzkumníci zjistili, že jejich implementovaná neuronová síť dosáhla pouze 93%, s širší mezerou RMSE, což produkovalo rizikové hodnoty několik stupňů od odhadů vytvořených člověkem.

Autoři pozorují:

„[Tyto] výsledky nenaznačují, že jedna metoda překonává druhou, pokud jde o externí metriku přesnosti, jako je objektivní pravděpodobnost selhání. Je docela možné, že například neuronová síť je pro tento klasifikační úkol nejlepší.

"Tady je cílem pouze zopakovat volbu lidského manažera a zdá se, že pro tento úkol Random Forest překonává všechny ostatní metody napříč zkoumanými metrikami."

Oněch 5 %, které systém nedokázal reprodukovat, je podle výzkumníků způsobeno heterogenitou zahrnutých odvětví. Autoři poznamenávají, že 5 % manažerů odpovídá za téměř všechny tyto odchylky a věří, že propracovanější systémy by nakonec mohly takové případy použití pokrýt a vyřešit nedostatek.

Odpovědnost je obtížné automatizovat

Pokud se to potvrdí v následných souvisejících projektech, výzkum naznačuje, že role „bankovního manažera“ by mohla být přidána k rostoucímu kádru kdysi mocných pozic s autoritou a rozlišovací schopností, které jsou redukovány na status „dohlížejícího“, zatímco přesnost srovnatelných systémů strojů je dlouhodobě testován; a podkopává běžně držená pozice že některé kritické úkoly nelze automatizovat.

Zdá se však, že dobrou zprávou pro manažery bank je, že z politického hlediska je pravděpodobné, že potřeba lidské odpovědnosti v kritických společenských procesech, jako je hodnocení úvěrového ratingu, zachová jejich současné role – i když akce těchto rolí by měly být plně reprodukovatelné systémy strojového učení.

Poprvé publikováno 18. února 2022.