‘Jednoduchý’ AI může předpovídat rozhodnutí bankovních manažerů o úvěrech s přesností přes 95%

Nový výzkumný projekt zjistil, že rozhodnutí bankovních manažerů lze replikovat pomocí systémů strojového učení s přesností více než 95%.

Používaje stejné údaje, které jsou k dispozici bankovním manažerům v privilegované datové sadě, nejlepší algoritmus testu byl implementace Random Forest – poměrně jednoduchý přístup, který je dvacet let starý, ale který stále překonal neuronovou síť při pokusu o napodobení chování lidských bankovních manažerů při formulování konečných rozhodnutí o úvěrech.

Algoritmus Random Forest, jeden ze čtyř testovaných, dosahuje vysoké skóre srovnatelné s lidskými bankovními manažery, navzdory relativní jednoduchosti algoritmu. Zdroj: Manažeři versus stroje: Do algoritmy replikují lidskou intuici v hodnocení úvěrů?, https://arxiv.org/pdf/2202.04218.pdf

Výzkumníci, kteří měli přístup k proprietární datové sadě 37 449 hodnocení úvěrů napříč 4 414 jedinečnými zákazníky v “velké komerční bance”, naznačují na různých místech v předtiskové verzi, že automatizovaná analýza dat, kterou manažeři dostávají k rozhodnutí, se stala tak přesnou, že bankovní manažeři se od ní zřídka odchylují, což může znamenat, že role bankovních manažerů v procesu schvalování úvěrů se skládá hlavně z toho, aby někdo byl odpovědný v případě defaultu úvěru.

Článek uvádí:

‘Z praktického hlediska je třeba poznamenat, že naše výsledky mohou naznačovat, že banka by mohla zpracovávat úvěry rychleji a levněji v nepřítomnosti lidských manažerů úvěrů s velmi srovnatelnými výsledky. Zatímco manažeři přirozeně plní řadu úkolů, je těžké tvrdit, že jsou nezbytní pro tuto konkrétní úlohu a relativně jednoduchý algoritmus může fungovat stejně dobře.

‘Je také důležité poznamenat, že s dalšími daty a výpočetním výkonem lze tyto algoritmy dále vylepšit.’

Článek článek je nazvaný Manažeři versus stroje: Do algoritmy replikují lidskou intuici v hodnocení úvěrů? a pochází z katedry ekonomie a katedry statistiky UoC Irvine a Bank of Communications BBM v Brazílii.

Robotické lidské chování v hodnocení úvěrů

Výsledky neznamenají, že systémy strojového učení jsou nutně lepší při rozhodování o úvěrech a hodnocení úvěrů, ale spíše to, že i algoritmy považované za poměrně “nízké” jsou schopny vyvodit stejné závěry jako lidé z stejných dat.

Zpráva implicitně charakterizuje bankovní manažery jako druh “masového firewallu”, jehož hlavní zbývající funkcí je zvýšit rizika, která systém statistické a analytické karty předkládá (praxe známá v bankovnictví jako “notching”).

‘Časem se zdá, že manažeři používají méně uvážlivosti, což by mohlo naznačovat zlepšení výkonu nebo závislost na algoritmických prostředcích, jako je karta.’

Výzkumníci také poznamenali:

‘Výsledky v tomto článku ukazují, že tato konkrétní úloha vykonávaná vysoce kvalifikovanými bankovními manažery může být ve skutečnosti snadno replikována relativně jednoduchými algoritmy. Výkon těchto algoritmů by mohl být vylepšen jemným nastavením, aby zohlednil rozdíly napříč odvětvími a samozřejmě by mohl být snadno rozšířen o další cíle, jako je zahrnutí otázek spravedlnosti při poskytování úvěrů nebo podporu jiných sociálních cílů.’

Rozpoznat rozdíl: hodnocení rizika karty (automatická) jsou statisticky zvýšena (‘notchována’) bankovními manažery, jejichž rozhodnutí byla studována v práci – replikovatelný postup.

Jelikož data naznačují, že bankovní manažeři tak činí téměř algoritmickým a předvídatelným způsobem, jejich úpravy nejsou tak těžké replikovat. Proces jednoduše “přehodnocuje” původní data karty a upravuje hodnocení rizika směrem nahoru v předvídatelných mezích.

Metoda a data

Cílem projektu bylo předpovědět, jaká rozhodnutí bankovní manažeři udělají, na základě systému hodnocení a dalších proměnných dostupných jim, spíše než vyvinout inovativní alternativní systémy navržené k nahrazení stávajících rámců procesu žádosti o úvěr.

Metody strojového učení testované v projektu byly Multinomální logistická LASSO (MNL-LASSO), neuronové sítě a dvě implementace Classification and Regression Trees (CART): Random Forest a Gradient Boosting.

Projekt zvažoval jak data karty hodnocení pro reálnou úlohu hodnocení úvěrů, tak i její výsledek, jak je známo v datech. Hodnocení karty je jednou z nejstarších algoritmických praktik, kde jsou klíčové proměnné pro navrhovaný úvěr vypočteny do maticového rizika, často pomocí prostředků, jako je logistická regrese.

Výsledky

MNL-LASSO vykázala nejhorší výkon mezi testovanými algoritmy, úspěšně klasifikovala pouze 53% úvěrů, ve srovnání s reálným manažerem v případech, které byly vyhodnoceny.

Ostatní tři metody (s CART zahrnující Random Forest a Gradient Boosting) všechny dosáhly alespoň 90% přesnosti a Root Mean Square Error (RMSE).

Jednak implementace Random Forest dosáhla působivých téměř 96%, následovaná Gradient Boosting.

I když byla hodnocení karty odstraněna z testů během ablačních studií (dolní část tabulky), algoritmy dosahují mimořádného výkonu při replikaci lidského úsudku bankovních manažerů pro hodnocení úvěrů.

Překvapivě, výzkumníci zjistili, že jejich implementovaná neuronová síť dosáhla pouze 93%, s větším rozdílem RMSE, produkujícím rizika několik notchů daleko od lidských odhadů.

Autoři poznamenávají:

‘[Tyto] výsledky neznamenají, že jedna metoda překonává druhou, pokud jde o externí metriku přesnosti, jako je objektivní defaultní pravděpodobnost. Je docela možné, že neuronová síť je například nejlepší pro tuto klasifikační úlohu.

‘Zde je cílem pouze replikovat výběr lidského manažera a pro tuto úlohu Random Forest vypadá, že překonává všechny ostatní metody napříč metrikami, které byly vyšetřeny.’

5% toho, co systém nemohl reprodukovat, je podle výzkumníků způsobeno heterogenitou odvětví. Autoři poznamenávají, že 5% manažerů představuje téměř všechny tyto rozdíly a věří, že komplexnější systémy by nakonec mohly pokrýt takové případy a uzavřít mezery.

Odpovědnost je obtížné automatizovat

Pokud budou výsledky potvrzeny v následujících souvisejících projektech, výzkum naznačuje, že role “bankovního manažera” by mohla být přidána k rostoucí skupině dříve mocných pozic autority a úsudku, které jsou redukovány na “dozorčí” status, zatímco se testuje přesnost srovnatelných strojových systémů na dlouhou dobu; a podkopává obecně přijímanou pozici, že určité kritické úkoly nelze automatizovat.

Jednak dobrá zpráva pro bankovní manažery by mohla být, že z politického hlediska je potřeba lidské odpovědnosti v kritických sociálních procesech, jako je hodnocení úvěrů, pravděpodobně zachová jejich současné role – i když by se akce rolí mohly stát zcela reprodukovatelnými systémy strojového učení.

Poprvé publikováno 18. února 2022.