„Једноставна“ вештачка интелигенција може да предвиди одлуке менаџера банака о кредитима са више од 95% тачности

Нови истраживачки пројекат је открио да дискреционе одлуке које доносе менаџери људских банака могу да се реплицирају системима машинског учења са тачношћу већом од 95%.

Користећи исте податке доступне менаџерима банака у привилегованом скупу података, алгоритам са најбољим учинком на тесту био је Случајна шума имплементација – прилично једноставан приступ који је двадесет година, али који је ипак био бољи од неуронске мреже када је покушао да опонаша понашање менаџера банака људи који формулишу коначне одлуке о кредитима.

Алгоритам Рандом Форест, један од четири која су коришћена током пројекта, постиже високу бодовање еквивалентно људском у односу на учинак менаџера банака, упркос релативној једноставности алгоритма. Извор: Менаџери против машина: Да ли алгоритми реплицирају људску интуицију у кредитном рејтингу?, хттпс://аркив.орг/пдф/2202.04218.пдф

Истраживачи, који су имали приступ власничком скупу података од 37,449 кредитних рејтинга за 4,414 јединствених клијената у 'великој комерцијалној банци', сугеришу на различитим тачкама у препринт папиру да је аутоматска анализа података коју менаџери добијају да донесу своје одлуке сада постала толико тачна да менаџери банака ретко одступају од тога, што потенцијално значи да се улога менаџера банака у процесу одобравања кредита углавном састоји од задржавања некога да отпусти у случају неиспуњења кредита.

У раду се наводи:

„Из практичне перспективе, вреди напоменути да наши резултати могу указивати на то да би банка могла да обрађује кредите брже и јефтиније у одсуству људских менаџера за кредите са веома упоредивим резултатима. Док менаџери природно обављају различите задатке, тешко је тврдити да су они од суштинског значаја за овај одређени задатак, а релативно једноставан алгоритам може да се изврши једнако добро.

„Такође је важно напоменути да се са додатним подацима и рачунарском снагом ови алгоритми такође могу додатно побољшати.“

папир је насловљен Менаџери против машина: Да ли алгоритми реплицирају људску интуицију у кредитном рејтингу?, а долази из Одељења за економију и Одељења за статистику УоЦ Ирвине и Банке комуникација ББМ у Бразилу.

Роботичко људско понашање у процени кредитног рејтинга

Резултати не значе да су системи машинског учења нужно бољи у доношењу одлука о зајмовима и кредитном рејтингу, већ пре да су чак и алгоритми који се сада сматрају прилично 'ниским' способнима да извуку исте закључке као и људи из истих података.

Извештај имплицитно карактерише банкарске менаџере као неку врсту 'меатваре фиревалл-а' чија је основна преостала функција да подиже оцене ризика које им представља статистички и аналитички систем са резултатима (пракса позната у банкарству као 'нотцхинг').

„Временом се чини да менаџери користе мање дискреције што би могло указивати на побољшане перформансе или ослањање на алгоритамска средства као што је картица са резултатима.“

Истраживачи су такође приметили:

„Резултати у овом раду показују да се овај конкретан задатак који обављају висококвалификовани менаџери банака у ствари може лако поновити релативно једноставним алгоритмима. Перформансе ових алгоритама би се могле побољшати финим подешавањем како би се узеле у обзир разлике у различитим индустријама и, наравно, могле би се лако проширити да би укључиле додатне циљеве као што су укључивање разматрања правичности у праксе позајмљивања или промовисање других друштвених циљева.'

Уочите разлику: процену ризика (аутоматских) рејтинга картице статистички повећавају („зарезују“) менаџери банака чије су одлуке проучаване у раду – поступак који се може поновити.

Пошто подаци сугеришу да менаџери банака то раде на скоро алгоритамски и предвидљив начин, њихова прилагођавања није тако тешко поновити. Процес једноставно 'друго погађа' оригиналне податке картице и прилагођава оцену ризика навише у оквиру предвидљивих маргина.

Метод и подаци

Наведена намера пројекта била је да предвиди које ће одлуке донети менаџери банака, на основу система бодовања и других варијабли које су им доступне, уместо да развију иновативне алтернативне системе дизајниране да замене постојеће оквире за подношење захтева за кредит.

Методе машинског учења које су тестиране за пројекат биле су Мултиномиал Логистиц ЛАССО (МНЛ-ЛАССО), неуронске мреже, и две имплементације Стабла класификације и регресије (КОШИЦА): Случајна шума и Градиент Боостинг.

Пројекат је узео у обзир и податке о резултатима за задатак кредитног рејтинга у стварном свету и његов исход, како је познато у подацима. Сцорецард рејтинг је једна од најстаријих алгоритамских пракси, где се кључне варијабле за предложени кредит израчунавају у матрицу ризика, често једноставним средствима као што су логистичка регресија.

Резултати

МНЛ-ЛАССО је показао најлошије резултате међу тестираним алгоритмима, успешно класификујући само 53% кредита, у поређењу са менаџером из стварног живота у процењеним случајевима.

Остале три методе (са ЦАРТ-ом који обухвата случајну шуму и повећање градијента) све су постигле најмање 90% у смислу тачности и средње квадратне грешке (РМСЕ).

Међутим, имплементација ЦАРТ-а Рандом Форест-а је постигла импресивних скоро 96%, а затим следи Градиент Боостинг.

Чак и када је рејтинг картице уклоњен из тестова током студија аблације (доњи део табеле), алгоритми постижу изванредне перформансе у реплицирању разликовања менаџера људских банака за кредитни рејтинг.

Изненађујуће, истраживачи су открили да је њихова имплементирана неуронска мрежа постигла само 93%, са ширим РМСЕ јазом, производећи вредности ризика неколико корака даље од процена које је направио човек.

Аутори примећују:

„[Ови] резултати не указују на то да је један метод бољи од другог што се тиче екстерне метрике тачности, као што је вероватноћа објективне подразумеване вредности. Сасвим је могуће да је неуронска мрежа, на пример, најбоља за тај задатак класификације.

„Овде је циљ само да се понови избор људског менаџера и за овај задатак Случајна шума изгледа да надмашује све друге методе у свим истраживаним метрикама.“

5% које систем није могао да репродукује је, према истраживачима, последица хетерогености обухваћених индустрија. Аутори примећују да 5% менаџера чини скоро све ове разлике, и верују да би разрађенији системи на крају могли да покрију такве случајеве употребе и покрију недостатак.

Одговорност је тешко аутоматизовати

Ако се потврди у наредним сродним пројектима, истраживање сугерише да би улога „менаџера банке“ могла да се дода растућем кадру некада моћних позиција ауторитета и разборитости које се своде на статус „надзорника“, док је тачност упоредивих машинских система тестира се на дужи рок; и поткопава заједнички став да се одређени критични задаци не могу аутоматизовати.

Међутим, чини се да је добра вест за менаџере банака да ће, са политичке тачке гледишта, потреба за људском одговорношћу у критичним друштвеним процесима, као што је процена кредитног рејтинга, вероватно сачувати њихове тренутне улоге – чак и ако радње улога требало би да постане потпуно репродуцибилан системима машинског учења.

Први пут објављено 18. фебруара 2022.