‘Проста’ система ІІ може передбачити рішення менеджерів банку щодо кредитування з точністю понад 95%

Новий дослідницький проєкт показав, що дискреційні рішення, прийняті людьми-менеджерами банку, можуть бути відтворені системами машинного навчання з точністю понад 95%.

Використовуючи ті самі дані, які доступні менеджерам банку в привілейованому наборі даних, найкращим алгоритмом у тесті була реалізація Random Forest – досить простий підхід, який вже двадцять років існує, але який все ж таки перевершив нейронну мережу при спробі відтворити поведінку людських менеджерів банку при прийнятті остаточного рішення щодо кредитування.

Алгоритм Random Forest, один з чотирьох, які були протестовані в проєкті, досягає високого рівня людської еквівалентності проти продуктивності менеджерів банку, незважаючи на відносну простоту алгоритму. Джерело: Менеджери проти машин: Чи відтворюють алгоритми людську інтуїцію в кредитних рейтингах?, https://arxiv.org/pdf/2202.04218.pdf

Дослідники, які мали доступ до привілейованого набору даних з 37 449 кредитних рейтингів по 4 414 унікальних клієнтів у “великому комерційному банку”, припускають на різних етапах попередньої статті, що автоматичний аналіз даних, який надається менеджерам для прийняття рішення, тепер став настільки точним, що менеджери банку рідко відхиляються від нього, потенційно означаючи, що роль менеджерів банку у процесі затвердження кредитування в основному складається з утримання когось для звільнення в разі дефолту кредиту.

У статті зазначається:

‘З практичної точки зору варто звернути увагу, що наші результати можуть вказувати на те, що банк може обробляти кредити швидше і дешевше в відсутності людських менеджерів з кредитуванням з дуже порівнянними результатами. Хоча менеджери природно виконують різноманітні завдання, важко доводити, що вони є необхідними для цього конкретного завдання, і відносно простий алгоритм може виконувати так само добре.

‘Також важливо звернути увагу, що з додатковими даними та обчислювальною потужністю ці алгоритми можуть бути ще вдосконалені.’

Стаття називається Менеджери проти машин: Чи відтворюють алгоритми людську інтуїцію в кредитних рейтингах? і походить від кафедри економіки та кафедри статистики Університету Каліфорнії в Ірвайні та Банку комунікацій BBM у Бразилії.

Роботизована людська поведінка в оцінках кредитного рейтингу

Результати не означають, що системи машинного навчання обов’язково кращі для прийняття рішень щодо кредитування та кредитних рейтингів, а радше те, що навіть алгоритми, які зараз вважаються досить “низьким рівнем”, здатні робити ті самі висновки, що й люди, з тих самих даних.

Звіт неявно характеризує менеджерів банку як一种 “firewall” з людьми, чиєю основною функцією залишається підвищення ризикових оцінок, які система статистичної та аналітичної оцінки представляє їм (практика, відома в банківській справі як “notching”).

‘З часом здається, що менеджери застосовують менше дискреції, що може вказувати на поліпшення продуктивності або залежність від алгоритмічних засобів, таких як система оцінки.’

Дослідники також зазначили:

‘Результати цієї статті показують, що це конкретне завдання, виконане висококваліфікованими менеджерами банку, насправді може бути легко відтворено відносно простими алгоритмами. Продуктивність цих алгоритмів могла б бути поліпшена шляхом налаштування для врахування відмінностей між галузями та, звичайно, могла б бути легко розширена для включення додаткових цілей, таких як забезпечення справедливості в кредитуванні або просування інших соціальних цілей.’

Порівняйте різницю: оцінка ризику системи оцінки (автоматична) статистично підвищується (‘notching’) менеджерами банку, чиї рішення були вивчені в роботі – процедура, яку можна відтворити.

Оскільки дані свідчать про те, що менеджери банку роблять це майже алгоритмічним і передбачуваним чином, їхнє коригування не є надто складним для відтворення. Процес просто “другий раз перевіряє” первинні дані системи оцінки та коригує оцінку ризику вгору в передбачуваних межах.

Метод і дані

Заявлена мета проєкту полягала в тому, щоб передбачити, які рішення прийматимуть менеджери банку, на основі системи оцінки та інших змінних, доступних їм, а не розробляти інноваційні альтернативні системи, призначені для заміни поточних рамок процедур подачі заявок на кредит.

Методи машинного навчання, які були протестовані для проєкту, включали Multinomial Logistic LASSO (MNL-LASSO), нейронні мережі та дві реалізації Класифікації та регресії дерев (CART): Random Forest і Gradient Boosting.

Проєкт розглянув як дані системи оцінки для реальної задачі кредитного рейтингу, так і її результат, відомий у даних. Оцінка системи оцінки – одна з найдавніших алгоритмічних практик, при якій ключові змінні для запропонованого кредиту обчислюються в матриці ризику, часто засобами, такими простими, як логістична регресія.

Результати

MNL-LASSO показав найгірші результати серед протестованих алгоритмів, успішно класифікуючи лише 53% кредитів порівняно з реальним менеджером у випадках, які були оцінені.

Інші три методи (з CART, який включає Random Forest і Gradient Boosting) усі досягли щонайменше 90% точності та середньої квадратичної похибки (RMSE).

Однак Random Forest реалізації CART досягли вражаючих майже 96%, за яких слідував Gradient Boosting.

Даже з видаленням оцінки системи оцінки з тестів під час абляційних досліджень (нижня частина таблиці), алгоритми досягають надзвичайної продуктивності в реплікації людської дискреції менеджерів банку щодо кредитного рейтингу.

Несподівано дослідники виявили, що їхня реалізована нейронна мережа досягла лише 93%, з більш широким розривом середньої квадратичної похибки, виробляючи ризикові значення на кілька нотчів від людських оцінок.

Автори відзначають:

‘Ці результати не вказують на те, що один метод перевершує інший щодо зовнішньої метрики точності, такої як об’єктивна ймовірність дефолту. Можливо, що Нейронна мережа, наприклад, найкраща для цієї класифікаційної задачі.

‘Тут мета полягає лише в тому, щоб відтворити вибір людського менеджера, і для цього завдання Random Forest здається кращим за всі інші методи за метриками, які були досліджені.’

5% системи, яку не вдалося відтворити, пояснюється, згідно з дослідниками, гетерогенністю галузей, які охоплюються. Автори відзначають, що 5% менеджерів складають майже всі ці розбіжності, і вважають, що більш складні системи могли б в кінцевому підсумку покрити такі випадки використання та ліквідувати недоліки.

Відповідальність важко автоматизувати

Якщо це буде підтверджено в подальших пов’язаних проєктах, дослідження свідчить про те, що роль “менеджера банку” могла б бути додана до зростаючої групи колись потужних позицій влади та дискреції, які скорочуються до статусу “інспектора”, тоді як точність порівнянних машинних систем буде перевірена в довгостроковій перспективі; і підкріплює поширену позицію, що певні критичні завдання не можуть бути автоматизовані.

Однак хороша новина для менеджерів банку полягає в тому, що, з політичної точки зору, необхідність людської відповідальності в критичних соціальних процесах, таких як оцінка кредитного рейтингу, ймовірно, збереже їхні поточні ролі – навіть якщо дії цих ролей стають повністю відтвореними системами машинного навчання.

Вперше опубліковано 18 лютого 2022 року.