«Простий» штучний інтелект може передбачати рішення банківських менеджерів про кредити з точністю понад 95%

Новий дослідницький проект виявив, що дискреційні рішення, прийняті менеджерами банку, можуть бути відтворені системами машинного навчання з точністю понад 95%.

Використовуючи ті самі дані, які доступні менеджерам банку в привілейованому наборі даних, найефективнішим алгоритмом у тесті був Випадковий ліс реалізація – досить простий підхід, який двадцять років, але який все одно перевершив нейронну мережу, намагаючись імітувати поведінку людських менеджерів банків, які формулюють остаточні рішення щодо позик.

Алгоритм Random Forest, один із чотирьох, використаних для цього проекту, забезпечує високу оцінку людського еквівалента порівняно з ефективністю банківських менеджерів, незважаючи на відносну простоту алгоритму. джерело: Менеджери проти машин: чи повторюють алгоритми людську інтуїцію в кредитних рейтингах?, https://arxiv.org/pdf/2202.04218.pdf

Дослідники, які мали доступ до власного набору даних із 37,449 4,414 кредитних рейтингів для XNUMX унікальних клієнтів у «великому комерційному банку», у різних місцях препринту стверджують, що автоматизований аналіз даних, який надається менеджерам для прийняття рішень, тепер став настільки точним, що керівники банків рідко відхиляються від нього, що потенційно означає, що роль керівників банків у процесі затвердження кредиту полягає головним чином у залученні когось для звільнення у разі дефолту за кредитом.

У папері зазначено:

«З практичної точки зору варто зазначити, що наші результати можуть свідчити про те, що банк міг би обробляти позики швидше та дешевше за відсутності менеджерів з кредитів із дуже порівнянними результатами. Хоча менеджери, природно, виконують різноманітні завдання, важко стверджувати, що вони важливі для цього конкретного завдання, і відносно простий алгоритм може працювати так само добре.

«Важливо також зазначити, що з додатковими даними та обчислювальною потужністю ці алгоритми також можна вдосконалити».

Команда папір має титул Менеджери проти машин: чи повторюють алгоритми людську інтуїцію в кредитних рейтингах?, і походить від Департаменту економіки та Департаменту статистики UoC Irvine та Bank of Communications BBM у Бразилії.

Поведінка роботизованої людини в оцінці кредитного рейтингу

Результати не означають, що системи машинного навчання обов'язково краще приймають рішення щодо позик та кредитних рейтингів, а радше те, що навіть алгоритми, які зараз вважаються досить «низькорівневими», здатні робити ті ж висновки, що й люди, з тих самих даних.

У звіті неявно описано керівників банків як своєрідний «м’ясний брандмауер», основною функцією якого залишається підвищення оцінок ризику, які їм надає статистична та аналітична система оцінок (практика, відома в банківській справі як «надріз»).

«З часом складається враження, що менеджери використовують менше свободи дій, що може свідчити про покращення продуктивності або залежність від алгоритмічних засобів, таких як система показників».

Дослідники також відзначили:

«Результати цієї статті показують, що це конкретне завдання, яке виконують висококваліфіковані банківські менеджери, насправді може бути легко відтворене за допомогою відносно простих алгоритмів. Продуктивність цих алгоритмів можна покращити шляхом точного налаштування, щоб врахувати відмінності між галузями, і, звичайно, їх можна легко розширити, включивши додаткові цілі, такі як врахування міркувань справедливості в практиці кредитування або сприяння іншим соціальним цілям».

Знайдіть різницю: оцінка ризику рейтингів за допомогою системи показників (автоматичних) статистично підвищується («підвищується») керівниками банків, чиї рішення вивчалися в роботі – процедура, яку можна повторити.

Оскільки дані свідчать про те, що керівники банків роблять це майже алгоритмічно та передбачувано, їхні коригування не так вже й важко відтворити. Процес просто «перевіряє» початкові дані системи оцінок та коригує рейтинг ризику вгору в передбачуваних межах.

Метод і дані

Заявленою метою проекту було передбачити, які рішення прийматимуть керівники банків, виходячи з системи оцінювання та інших доступних їм змінних, а не розробляти інноваційні альтернативні системи, призначені для заміни чинних процедур подання заявок на кредит.

Методами машинного навчання, протестованими для проекту, були Multinomial Logistic LASSO (МНЛ-ЛАСО), нейронні мережіі дві реалізації Дерева класифікації та регресії (CART): випадковий ліс і Підвищення градієнта.

У проекті розглядалися як дані системи показників для реального завдання кредитного рейтингу, так і його результат, як відомо в даних. Рейтинг системи показників є одним із найстаріших алгоритмічних методів, де ключові змінні для запропонованої позики обчислюються в матриці ризику, часто такими простими засобами, як логістична регресія.

Результати

MNL-LASSO спрацював найгірше серед протестованих алгоритмів, успішно класифікувавши лише 53% кредитів, порівняно з реальним менеджером у оцінюваних випадках.

Інші три методи (з CART, що охоплює випадковий ліс і посилення градієнта) отримали принаймні 90% з точки зору точності та середньоквадратичної помилки (RMSE).

Однак, реалізація CART у Random Forest набрала вражаючі майже 96%, а Gradient Boosting слідом за нею.

Навіть з урахуванням того, що рейтингова система була видалена з тестів під час досліджень абляції (нижня частина таблиці), алгоритми досягають надзвичайної продуктивності у відтворенні розбірливості банківських менеджерів-людей для визначення кредитного рейтингу.

Дивно, але дослідники виявили, що реалізована ними нейронна мережа набрала лише 93% результатів із ширшим розривом середньоквадратичних значень, створюючи значення ризику на кілька ступенів від оцінок, створених людиною.

Автори зауважують:

«[Ці] результати не вказують на те, що один метод перевершує інший щодо зовнішнього показника точності, такого як об’єктивна ймовірність замовчування. Цілком можливо, що, наприклад, нейронна мережа найкраще підходить для цього завдання класифікації.

«Тут метою є лише відтворити вибір менеджера-людини, і для цього завдання Випадковий ліс, здається, перевершує всі інші методи за досліджуваними показниками».

5%, які система не змогла відтворити, пояснюються, на думку дослідників, неоднорідністю охоплених галузей. Автори зазначають, що 5% менеджерів пояснюють майже всі ці розбіжності, і вважають, що більш складні системи могли б зрештою покрити такі випадки використання та ліквідувати недолік.

Підзвітність важко автоматизувати

Якщо це підтвердиться в наступних пов'язаних проектах, дослідження показує, що роль «керівника банку» може бути додана до зростаючого кадрового складу колись впливових посад влади та розсудливості, які зводяться до статусу «спостерігача», поки точність порівнянних машинних систем перевіряється в довгостроковій перспективі; і підриває загальноприйнята позиція що деякі важливі завдання не можуть бути автоматизовані.

Проте хороша новина для керівників банків, здається, полягає в тому, що з політичної точки зору потреба у підзвітності людини в критично важливих соціальних процесах, таких як оцінка кредитного рейтингу, ймовірно, збереже їхні поточні ролі – навіть якщо дії ролей повинні стати повністю відтворюваними системами машинного навчання.

Вперше опубліковано 18 лютого 2022 р.