简单的AI可以预测银行经理的贷款决策，准确率超过95%

一项新的研究项目发现，人类银行经理的酌情决定可以被机器学习系统复制，准确率超过95%。

使用与银行经理相同的数据，测试中表现最好的算法是随机森林实现 – 一种相当简单的方法，已经有二十年的历史，但它仍然比神经网络更好地模拟了人类银行经理对贷款和信用评级的决策。

随机森林算法，在四个算法中表现最佳，实现了高的人类等效评分，与银行经理的表现相比，尽管算法相对简单。 来源：经理与机器：算法是否复制人类的信用评级直觉？, https://arxiv.org/pdf/2202.04218.pdf

研究人员，他们有权访问一家大型商业银行的37,449个贷款评级数据，建议自动数据分析已经变得如此准确，以至于银行经理很少偏离它，这可能意味着银行经理在贷款审批过程中的作用主要是保留一个人来承担贷款违约的责任。

论文指出：

从实际角度来看，值得注意的是，我们的结果可能表明，银行可以在没有人类贷款经理的情况下更快、更便宜地处理贷款，结果非常相似。虽然经理自然执行各种任务，但很难认为他们对于这一特定任务是必不可少的，一个相对简单的算法可以同样有效地执行这一任务。

同时，值得注意的是，随着更多数据和计算能力的增加，这些算法可以进一步改进。

该论文题为经理与机器：算法是否复制人类的信用评级直觉？，来自加利福尼亚大学尔湾分校的经济学和统计学系，以及巴西的交通银行BBM。

机器人化的人类行为在信用评级评估中

结果并不意味着机器学习系统在做出贷款和信用评级决策方面一定更好，而是即使被认为是“低级”的算法，也能够得出与人类相同的结论。

报告暗示银行经理是一种“肉类防火墙”，其核心剩余功能是提高统计和分析评分系统呈现给他们的风险评分（银行业中称为“刻度”）。

随着时间的推移，经理似乎正在使用较少的酌情权，这可能表明算法手段（如评分卡）的性能或依赖性得到改善。 ‘

研究人员还指出：

本文的结果表明，高技能银行经理执行的这一特定任务实际上可以被相对简单的算法轻松复制。这些算法的性能可以通过微调来考虑行业差异，并且可以轻松扩展以纳入公平性和其他社会目标等额外目标。 ‘

区别：评分卡（自动）评级的风险评估由银行经理在研究中进行了统计“刻度”处理 – 一个可复制的过程。

由于数据表明银行经理以几乎算法化和可预测的方式执行此操作，因此他们的调整并不难以复制。该过程只是“二次猜测”原始评分卡数据，并在可预测的范围内调整风险评级。

方法和数据

该项目的明确意图是预测银行经理将做出什么决定，基于他们可以使用的评分系统和其他变量，而不是开发创新替代系统来取代当前的贷款申请程序框架。

测试的机器学习方法包括多项式逻辑LASSO（MNL-LASSO）、神经网络和两种分类和回归树（CART）实现：随机森林和梯度提升。

该项目同时考虑了真实世界信用评级任务的评分卡数据及其结果。

结果

MNL-LASSO在测试的算法中表现最差，只成功分类了53%的贷款，与现实生活中的经理在评估案例中相比。

其他三个方法（CART包括随机森林和梯度提升）在准确率和均方根误差（RMSE）方面至少达到90%。

然而，随机森林的CART实现取得了令人印象深刻的近96%的准确率，其次是梯度提升。

即使在去除评分卡评级的测试中（下表部分），算法仍然能够以非凡的性能复制人类银行经理的信用评级鉴别力。

令人惊讶的是，研究人员发现，他们实现的神经网络只获得了93%的准确率，RMSE差距更大，产生的风险值与人类产生的估计相差几个等级。

作者观察到：

这些结果并不表明一种方法在外部准确率指标（如目标违约概率）方面优于其他方法。可能神经网络对于这种分类任务是最好的。

在这里，目标只是复制人类经理的选择，对于这一任务，随机森林似乎在所有研究的指标中都优于其他方法。 ‘

5%的结果不能被复制，研究人员认为，这是由于所涉及行业的异质性。作者指出，5%的经理几乎占所有这些偏差，并认为更复杂的系统最终可以涵盖这些用例并弥补差距。

问责难以自动化

如果在随后的相关项目中得到证实，这项研究表明，“银行经理”的角色可能会被添加到越来越多的曾经强大的权威和鉴别力职位中，这些职位正在被降级为“监考员”状态，同时测试机器系统的准确性；并且削弱了这样一种观点，即某些关键任务不能被自动化。

然而，银行经理的好消息似乎是，从政治角度来看，在信用评级评估等关键社会过程中需要人类的问责制，这可能会保留他们当前的角色 – 即使这些角色的行为可以被机器学习系统完全复制。

首次发表于2022年2月18日。