‘Проста’ система штучного інтелекту може передбачити рішення менеджерів банку щодо кредитів з точністю понад 95%

Новий дослідницький проект показав, що дискреційні рішення, прийняті людьми-менеджерами банку, можуть бути відтворені системами машинного навчання з точністю понад 95%.

За допомогою тих самих даних, доступних менеджерам банку в привілейованому наборі даних, найкращим алгоритмом у тесті був Random Forest – досить простий підхід, який вже двадцять років існує, але який все ж таки перевершив нейронну мережу у спробі відтворити поведінку людей-менеджерів банку при прийнятті остаточних рішень щодо кредитів.

Алгоритм Random Forest, один з чотирьох, які були протестовані в рамках проекту, досягає високої людської еквівалентності оцінок у порівнянні з результатами менеджерів банку, незважаючи на відносну простоту алгоритму. Джерело: Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?, https://arxiv.org/pdf/2202.04218.pdf

Дослідники, які мали доступ до пропріетарного набору даних з 37 449 оцінок кредитів по 4 414 унікальних клієнтів у великому комерційному банку, припускають на різних етапах препринтової статті, що автоматичний аналіз даних, який надається менеджерам для прийняття рішень, став настільки точним, що менеджери банку рідко відхиляються від нього, потенційно свідчачи про те, що роль менеджерів банку у процесі затвердження кредитів головним чином полягає у збереженні когось для звільнення у разі дефолту кредиту.

У статті зазначається:

‘З практичної точки зору варто зазначити, що наші результати можуть свідчити про те, що банк міг би обробляти кредити швидше і дешевше в відсутності людських менеджерів кредитів з досить порівняними результатами. Хоча менеджери природно виконують різноманітні завдання, важко доводити, що вони є необхідними для цього конкретного завдання, і досить простий алгоритм може виконувати так само добре.

‘Важливо також зазначити, що з додатковими даними та обчислювальною потужністю ці алгоритми можуть бути ще вдосконалені.’

Стаття названа Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings? і походить від кафедри економіки та кафедри статистики Університету Каліфорнії в Ірвайні та Банку комунікацій BBM у Бразилії.

Роботизована людська поведінка при оцінці кредитів

Результати не свідчать про те, що системи машинного навчання обов’язково кращі за людей у прийнятті рішень щодо кредитів і оцінок кредитів, а радше про те, що навіть алгоритми, які зараз вважаються досить низьким рівнем, здатні приймати ті самі висновки, що й люди, з тих самих даних.

У звіті неявно характеризуються менеджери банку як一种 “firewall” з людьми, чиєю основною функцією залишається підвищення ризикових оцінок, які система статистичної та аналітичної оцінки представляє їм (практика, відома в банківській справі як “notching”).

‘З часом здається, що менеджери використовують менше дискреції, що може свідчити про покращення результатів або залежність від алгоритмічних засобів, таких як система оцінки.’

Дослідники також зазначили:

‘Результати цієї статті показують, що це конкретне завдання, виконане висококваліфікованими менеджерами банку, може бути легко відтворено досить простими алгоритмами. Результати цих алгоритмів можна поліпшити шляхом налаштування для врахування відмінностей між галузями та, звичайно, можна легко розширити для включення додаткових цілей, таких як урахування питань справедливості при видачі кредитів або просування інших соціальних цілей.’

Порівняйте різницю: оцінка ризику системи оцінки (автоматична) підвищується статистично (“notching”) менеджерами банку, чиї рішення були вивчені в роботі – процедура, яку можна відтворити.

Оскільки дані свідчать про те, що менеджери банку роблять це майже алгоритмічним і передбачуваним чином, їхні коригування не є надто складними для відтворення. Процес просто “другий раз перевіряє” первинні дані системи оцінки та коригує оцінку ризику вгору в передбачуваних межах.

Метод і дані

Метою проекту було передбачити рішення, які менеджери банку будуть приймати на основі системи оцінки та інших змінних, доступних їм, а не розробити інноваційні альтернативні системи, призначені для заміни поточних процедур затвердження кредитів.

Методи машинного навчання, протестовані в рамках проекту, були Multinomial Logistic LASSO (MNL-LASSO), нейронні мережі та дві реалізації Classification and Regression Trees (CART): Random Forest і Gradient Boosting.

У проекті розглядалися як дані системи оцінки для реальної задачі оцінки кредитів, так і результати цих даних. Оцінка системи оцінки – одна з найдавніших алгоритмічних практик, при якій ключові змінні запропонованого кредиту обчислюються в матриці ризику, часто за допомогою засобів, таких як логістична регресія.

Результати

MNL-LASSO показав найгірші результати серед протестованих алгоритмів, успішно класифікувавши лише 53% кредитів порівняно з реальним менеджером у випадках, які були оцінені.

Інші три методи (з CART, який включає Random Forest і Gradient Boosting) усі показали не менше 90% точності та середньої квадратичної похибки (RMSE).

Однак, реалізація Random Forest алгоритму CART показала вражаючу майже 96% точності, за якою слідував Gradient Boosting.

Даже з видаленням оцінки системи оцінки з тестів під час абляційних досліджень (нижня частина таблиці), алгоритми досягають надзвичайної продуктивності при відтворенні людської дискреції менеджерів банку щодо оцінки кредитів.

Несподівано дослідники виявили, що їхня реалізована нейронна мережа показала лише 93% точності, з більш широким розривом середньої квадратичної похибки, виробляючи ризикові значення, які були декількома ступенями віддалені від людських оцінок.

Автори зазначають:

‘[Ці] результати не свідчать про те, що один метод перевершує інший щодо зовнішньої метрики точності, такої як об’єктивна ймовірність дефолту. Можливо, що нейронна мережа, наприклад, найкраще підходить для цієї класифікаційної задачі.

‘Тут мета полягає лише у відтворенні вибору людського менеджера, і для цього завдання Random Forest здається кращим за всі інші методи щодо метрик, які були досліджені.’

5% результатів, які система не змогла відтворити, пояснюються, згідно з дослідниками, гетерогенністю галузей, які були охоплені. Автори зазначають, що 5% менеджерів складають майже всі ці розбіжності, і вважають, що більш складні системи можуть в кінцевому підсумку охопити такі випадки та закрити прогалину.

Відповідальність важко автоматизувати

Якщо це буде підтверджено в подальших пов’язаних проектах, дослідження свідчать про те, що роль “менеджера банку” може бути додана до зростаючої групи колишніх потужних позицій влади та дискреції, які скорочуються до статусу “інспекторів”, тоді як точність порівняних машинних систем буде перевірена протягом тривалого періоду; і підважує поширену думку про те, що певні критичні завдання не можуть бути автоматизовані.

Однак, хороша новина для менеджерів банку полягає в тому, що, з політичної точки зору, необхідність людської відповідальності в критичних соціальних процесах, таких як оцінка кредитів, ймовірно, збереже їхні поточні ролі – навіть якщо дії цих ролей можуть стати повністю відтвореними системами машинного навчання.

Перша публікація 18 лютого 2022 року.