«Простой» ИИ может предсказывать кредитные решения банковских менеджеров с точностью более 95%

Новый исследовательский проект показал, что дискреционные решения, принимаемые менеджерами банка, могут быть воспроизведены системами машинного обучения с точностью более 95%.

Используя те же данные, доступные банковским менеджерам в привилегированном наборе данных, наиболее эффективным алгоритмом в тесте был алгоритм. Случайный Лес Реализация – довольно простой подход, который двадцать лет, но все же превзошла нейронную сеть при попытке имитировать поведение менеджеров банка, формулирующих окончательные решения о кредитах.

Алгоритм Random Forest, один из четырех, опробованных в рамках проекта, достигает высокой оценки, эквивалентной человеческому, по сравнению с производительностью банковских менеджеров, несмотря на относительную простоту алгоритма. Источник: Менеджеры против машин: повторяют ли алгоритмы человеческую интуицию в кредитных рейтингах?, https://arxiv.org/pdf/2202.04218.pdf

Исследователи, имевшие доступ к собственному набору данных из 37,449 4,414 кредитных рейтингов XNUMX XNUMX уникальных клиентов «крупного коммерческого банка», в различных местах предварительной статьи предполагают, что автоматизированный анализ данных, предоставляемый менеджерам для принятия решений, теперь стал настолько точным, что менеджеры банка редко отклоняются от него, что потенциально означает, что роль менеджеров банка в процессе одобрения кредита в основном заключается в удержании сотрудника на случай увольнения в случае невыполнения обязательств по кредиту.

В документе говорится:

«С практической точки зрения стоит отметить, что наши результаты могут указывать на то, что банк мог бы обрабатывать кредиты быстрее и дешевле в отсутствие кредитных менеджеров-людей с очень сопоставимыми результатами. Хотя менеджеры, естественно, выполняют множество задач, трудно утверждать, что они необходимы для этой конкретной задачи, и относительно простой алгоритм может выполняться так же хорошо.

«Также важно отметить, что при наличии дополнительных данных и вычислительной мощности эти алгоритмы могут быть еще больше улучшены».

The статье называется Менеджеры против машин: повторяют ли алгоритмы человеческую интуицию в кредитных рейтингах?, и исходит от Департамента экономики и Департамента статистики UoC Irvine и Bank of Communications BBM в Бразилии.

Роботизированное человеческое поведение в оценках кредитного рейтинга

Результаты не означают, что системы машинного обучения обязательно лучше справляются с принятием решений о кредитах и ​​кредитных рейтингах, а скорее о том, что даже алгоритмы, которые сейчас считаются довольно «низкоуровневыми», способны делать те же выводы, что и люди, на основе тех же данных.

В отчете банковские менеджеры косвенно характеризуются как своего рода «мясной межсетевой экран», чьей основной оставшейся функцией является повышение оценок риска, которые им выставляет статистическая и аналитическая система показателей (практика, известная в банковской сфере как «зарубка»).

«Со временем становится ясно, что менеджеры стали действовать менее произвольно, что может свидетельствовать об улучшении эффективности алгоритмических средств, таких как система показателей, или об их использовании».

Исследователи также отметили:

Результаты, представленные в данной статье, показывают, что эта конкретная задача, выполняемая высококвалифицированными банковскими менеджерами, может быть легко воспроизведена с помощью относительно простых алгоритмов. Производительность этих алгоритмов может быть улучшена путём тонкой настройки с учётом различий между отраслями и, конечно, может быть легко расширена для включения дополнительных целей, таких как учёт принципов справедливости в практике кредитования или содействие достижению других социальных целей.

Найдите отличие: оценка риска по рейтингам (автоматическим) скоринговых карт статистически завышена («надрезана») банковскими менеджерами, чьи решения изучались в работе, — воспроизводимая процедура.

Поскольку данные свидетельствуют о том, что банковские менеджеры делают это практически алгоритмически и предсказуемо, их корректировки не так уж сложно воспроизвести. Процесс просто «пересматривает» исходные данные оценочной карты и корректирует рейтинг риска в сторону повышения в предсказуемых пределах.

Метод и данные

Заявленная цель проекта заключалась в том, чтобы предугадать, какие решения будут принимать руководители банков на основе системы оценки и других доступных им переменных, а не в разработке инновационных альтернативных систем, призванных заменить существующие структуры процедур подачи заявок на кредит.

Методы машинного обучения, протестированные для проекта, были Multinomial Logistic LASSO (MNL-ЛАССО), нейронные сетии две реализации Деревья классификации и регрессии (ТЕЛЕЖКА): Случайный лес и Повышение градиента.

В проекте учитывались как данные системы показателей для реальной задачи кредитного рейтинга, так и ее результат, известный из данных. Оценка по оценочной карте — это одна из старейших алгоритмических практик, когда ключевые переменные для предлагаемого кредита рассчитываются в матрицу риска, часто с помощью таких простых средств, как логистическая регрессия.

Результаты

MNL-LASSO показал самые низкие результаты среди протестированных алгоритмов, успешно классифицировав только 53% кредитов по сравнению с реальным менеджером в оцениваемых случаях.

Остальные три метода (с CART, включающим Random Forest и Gradient Boosting) набрали не менее 90% с точки зрения точности и среднеквадратичной ошибки (СКО).

Однако реализация CART в Random Forest набрала впечатляющие результаты, близкие к 96%, а за ней следует Gradient Boosting.

Даже если исключить оценку по шкале из тестов в ходе исследований абляции (нижняя часть таблицы), алгоритмы демонстрируют исключительную эффективность при воспроизведении различения кредитного рейтинга, свойственного банковским менеджерам-людям.

Удивительно, но исследователи обнаружили, что их реализованная нейронная сеть набрала всего 93%, с более широким разрывом RMSE, что дает значения риска на несколько делений от оценок, полученных человеком.

Авторы отмечают:

«[Эти] результаты не указывают на то, что один метод превосходит другой в том, что касается внешней метрики точности, такой как объективная вероятность невыполнения обязательств. Вполне возможно, что нейронная сеть, например, лучше всего подходит для этой задачи классификации.

«Здесь цель состоит только в том, чтобы воспроизвести выбор человека-менеджера, и для этой задачи случайный лес, по всей видимости, превосходит все другие методы по исследованным показателям».

Те 5%, которые система не смогла воспроизвести, объясняются, по мнению исследователей, неоднородностью охваченных отраслей. Авторы отмечают, что 5% менеджеров объясняют почти все эти расхождения, и считают, что более сложные системы могли бы в конечном итоге покрыть такие варианты использования и устранить дефицит.

Подотчетность сложно автоматизировать

Если это подтвердится в ходе последующих связанных проектов, исследование предполагает, что роль «управляющего банком» может быть добавлена ​​к растущему числу некогда влиятельных должностей власти и проницательности, которые низводятся до статуса «наблюдателя», в то время как точность сопоставимых машинных систем проверяется в течение длительного времени; и подрывает общепринятая позиция что некоторые критические задачи не могут быть автоматизированы.

Однако хорошей новостью для банковских менеджеров, похоже, является то, что с политической точки зрения потребность в подотчетности людей в критических социальных процессах, таких как оценка кредитного рейтинга, вероятно, сохранит их нынешние роли — даже если действия ролей должны стать полностью воспроизводимыми системами машинного обучения.

Впервые опубликовано 18 февраля 2022 г.