“简单”的人工智能可以预测银行经理的贷款决策，准确率超过 95%

一项新的研究项目发现，机器学习系统可以复制人类银行经理的酌情决策，准确率超过 95%。

使用特权数据集中银行经理可用的相同数据，测试中表现最好的算法是 随机森林 实施——一个相当简单的方法 二十岁，但在尝试模仿人类银行经理制定有关贷款的最终决策的行为时，其性能仍然优于神经网络。

随机森林算法是该项目中采用的四种算法之一，尽管该算法相对简单，但与银行经理的表现相比，该算法却取得了与人类相当的高分。 Sumber: 管理者与机器：算法在信用评级中是否复制了人类的直觉？，https://arxiv.org/pdf/2202.04218.pdf

研究人员可以访问“一家大型商业银行”的 37,449 个独特客户的 4,414 个贷款评级的专有数据集，他们在预印本论文中的多个地方表示，管理者用来做出决策的自动化数据分析现在已经成为如此准确以至于银行经理很少偏离它，这可能意味着银行经理在贷款审批过程中的作用主要包括保留某人以在发生贷款违约时解雇。

该文件指出：

“从实际角度来看，值得注意的是，我们的结果可能表明，在没有具有非常可比结果的人力贷款经理的情况下，银行可以更快、更便宜地处理贷款。 虽然管理者自然会执行各种任务，但很难说它们对于这项特定任务至关重要，并且相对简单的算法也可以执行同样的任务。

“还需要注意的是，通过额外的数据和计算能力，这些算法也可以得到进一步改进。”

纸 标题为 管理者与机器：算法在信用评级中是否复制了人类的直觉？，来自 UoC Irvine 经济系和统计系以及巴西交通银行 BBM。

信用评级评估中的机器人人类行为

结果并不意味着机器学习系统一定更擅长做出有关贷款和信用评级的决策，而是意味着即使现在被认为相当“低级”的算法也能够从相同的数据中得出与人类相同的结论。

该报告含蓄地将银行经理描述为一种“肉件防火墙”，其核心剩余功能是提高统计和分析记分卡系统向他们提供的风险评分（这种做法在银行业被称为“刻痕”）。

“随着时间的推移，管理者的自由裁量权似乎越来越少，这可能表明绩效的提高或对记分卡等算法手段的依赖。”

研究人员还指出：

“本文的结果表明，由高技能银行经理执行的这项特定任务实际上可以通过相对简单的算法轻松复制。 这些算法的性能可以通过微调来提高，以考虑不同行业的差异，当然也可以很容易地扩展到包括其他目标，例如在贷款实践中考虑公平性或促进其他社会目标。

找出差异：记分卡（自动）评级的风险评估由银行经理在统计上提高（“缺口”），他们的决策在工作中进行了研究——这是一个可复制的程序。

由于数据表明银行经理以几乎算法和可预测的方式做到这一点，因此他们的调整并不难复制。 该过程只是对原始记分卡数据进行“二次猜测”，并在可预测的范围内向上调整风险评级。

方法与数据

该项目的既定目的是根据评分系统和其他可用变量来预测银行经理将做出哪些决策，而不是开发旨在取代当前贷款申请程序框架的创新替代系统。

该项目测试的机器学习方法是多项式 Logistic LASSO (MNL套索), 神经网络，以及两个实现 分类和回归树 (CART)：随机森林和 梯度提升.

该项目考虑了现实世界信用评级任务的记分卡数据及其结果，如数据中所示。 记分卡评级是最古老的算法实践之一，其中拟议贷款的关键变量被计算到风险矩阵中，通常通过以下简单方法 逻辑回归.

成果

在测试的算法中，MNL-LASSO 的表现最差，与评估案例中的现实经理相比，仅成功分类了 53% 的贷款。

其他三种方法（CART 包含随机森林和梯度提升）在准确度和均方根误差方面均得分至少 90%（均方根误差).

然而，随机森林的 CART 实现得分接近 96%，令人印象深刻，紧随其后的是梯度提升。

即使在消融研究期间从测试中删除了记分卡评级（下表部分），算法在复制人类银行经理对信用评级的辨别力方面也取得了非凡的性能。

令人惊讶的是，研究人员发现他们实施的神经网络得分仅为 93%，RMSE 差距更大，产生的风险值与人类估计值相差几个等级。

作者观察到：

“[这些]结果并不表明就外部准确性指标（例如客观违约概率）而言，一种方法优于另一种方法。 例如，神经网络很可能最适合该分类任务。

“这里的目标只是复制人类管理者的选择，对于这项任务，随机森林似乎在所调查的指标中优于所有其他方法。”

研究人员表示，系统无法复制的 5% 是由所覆盖行业的异质性造成的。 作者指出，5% 的管理者负责几乎所有这些差异，并相信更复杂的系统最终可以覆盖此类用例并弥补不足。

问责制很难自动化

如果在后续的相关项目中得到证实，该研究表明，“银行经理”的角色可能会被添加到越来越多的干部中，这些曾经强大的权威和洞察力职位正在被降级为“监考员”地位，而可比机器系统的准确性经过长期测试； 并破坏了 共同持有的职位 某些关键任务无法自动化。

然而，对银行经理来说，好消息似乎是，从政治角度来看，在信用评级评估等关键社会过程中对人的责任的需要可能会保留他们目前的角色——即使这些角色的行为应该可以被机器学习系统完全重现。

首次发布于 18 年 2022 月 XNUMX 日。