L'IA « simple » peut anticiper les décisions de prêt des directeurs de banque avec une précision de plus de 95 %

Un nouveau projet de recherche a révélé que les décisions discrétionnaires prises par les gestionnaires humains de banques peuvent être reproduites par des systèmes d'apprentissage automatique avec une précision de plus de 95 %.

En utilisant les mêmes données disponibles pour les directeurs de banque dans un ensemble de données privilégiées, l'algorithme le plus performant du test était un Forêt aléatoire mise en œuvre - une approche assez simple qui est vingt ans, mais qui surpassait toujours un réseau de neurones lorsqu'il tentait d'imiter le comportement des directeurs de banque humains formulant des décisions finales concernant les prêts.

L'algorithme Random Forest, l'un des quatre mis à l'épreuve pour le projet, obtient un score élevé en équivalent humain par rapport à la performance des directeurs de banque, malgré la relative simplicité de l'algorithme. La source: Gestionnaires contre machines : les algorithmes reproduisent-ils l'intuition humaine dans les notations de crédit ?, https://arxiv.org/pdf/2202.04218.pdf

Les chercheurs, qui ont eu accès à un ensemble de données exclusif de 37,449 4,414 cotes de crédit auprès de XNUMX XNUMX clients uniques dans « une grande banque commerciale », suggèrent à divers moments dans le document préimprimé que l'analyse automatisée des données que les gestionnaires reçoivent pour prendre leur décision est maintenant devenue si précis que les directeurs de banque s'en écartent rarement, ce qui signifie potentiellement que le rôle des directeurs de banque dans le processus d'approbation des prêts consiste principalement à retenir quelqu'un pour licencier en cas de défaut de paiement.

Le papier déclare:

«D'un point de vue pratique, il convient de noter que nos résultats peuvent indiquer que la banque pourrait traiter les prêts plus rapidement et à moindre coût en l'absence de gestionnaires de prêts humains avec des résultats très comparables. Bien que les gestionnaires effectuent naturellement une variété de tâches, il est difficile d'affirmer qu'ils sont essentiels pour cette tâche particulière et un algorithme relativement simple peut tout aussi bien fonctionner.

"Il est également important de noter qu'avec des données et une puissance de calcul supplémentaires, ces algorithmes peuvent également être encore améliorés."

Les papier est intitulé Gestionnaires contre machines : les algorithmes reproduisent-ils l'intuition humaine dans les notations de crédit ?, et vient du Département d'économie et du Département de statistique de l'UoC Irvine et de la Banque des communications BBM au Brésil.

Comportement humain robotique dans les évaluations de cote de crédit

Les résultats ne signifient pas que les systèmes d'apprentissage automatique sont nécessairement meilleurs pour prendre des décisions concernant les prêts et les cotes de crédit, mais plutôt que même les algorithmes désormais considérés comme assez "de bas niveau" sont capables de tirer les mêmes conclusions que les humains à partir des mêmes données.

Le rapport caractérise implicitement les directeurs de banque comme une sorte de « pare-feu » dont la fonction principale restante est d'augmenter les scores de risque que le système de tableau de bord statistique et analytique leur présente (une pratique connue dans le secteur bancaire sous le nom de « notching »).

"Au fil du temps, il semble que les gestionnaires fassent preuve de moins de discrétion, ce qui pourrait indiquer une amélioration des performances ou une dépendance à l'égard de moyens algorithmiques tels que le tableau de bord."

Les chercheurs ont également noté :

«Les résultats de cet article montrent que cette tâche particulière exécutée par des directeurs de banque hautement qualifiés peut en fait être facilement reproduite par des algorithmes relativement simples. Les performances de ces algorithmes pourraient être améliorées par un réglage fin pour tenir compte des différences entre les industries et pourraient bien sûr être facilement étendues pour inclure des objectifs supplémentaires tels que l'intégration de considérations d'équité dans les pratiques de prêt ou pour promouvoir d'autres objectifs sociaux.

Repérez la différence : l'évaluation des risques des notations (automatiques) du tableau de bord est statistiquement augmentée ("encochée") par les directeurs de banque dont les décisions ont été étudiées dans le travail - une procédure reproductible.

Étant donné que les données suggèrent que les directeurs de banque le font de manière presque algorithmique et prévisible, leurs ajustements ne sont pas si difficiles à reproduire. Le processus se contente de « deviner » les données de la carte de pointage d'origine et ajuste la cote de risque à la hausse dans des marges prévisibles.

Méthode et données

L'intention déclarée du projet était d'anticiper les décisions que prendraient les directeurs de banque, sur la base du système de notation et d'autres variables à leur disposition, plutôt que de développer des systèmes alternatifs innovants conçus pour remplacer les cadres actuels de procédure de demande de prêt.

Les méthodes d'apprentissage automatique testées pour le projet étaient LASSO logistique multinomiale (MNL-LASSO), les réseaux de neurones, et deux implémentations de Arbres de classification et de régression (CART) : Forêt aléatoire et Rehaussement de dégradé.

Le projet a pris en compte à la fois les données de la carte de pointage pour une tâche de notation de crédit dans le monde réel et son résultat, tel qu'il est connu dans les données. La notation par tableau de bord est l'une des pratiques algorithmiques les plus anciennes, où les variables clés du prêt proposé sont calculées dans une matrice de risque, souvent par des moyens aussi simples que régression logistique.

Résultats

MNL-LASSO a obtenu les moins bons résultats parmi les algorithmes testés, classant avec succès seulement 53 % des prêts, par rapport au gestionnaire réel dans les cas évalués.

Les trois autres méthodes (avec CART englobant Random Forest et Gradient Boosting) ont toutes obtenu au moins 90 % en termes de précision et d'erreur quadratique moyenne (RMSE).

Cependant, la mise en œuvre de CART par Random Forest a obtenu un score impressionnant de près de 96 %, suivi de près par Gradient Boosting.

Même avec la notation de la carte de pointage retirée des tests lors des études d'ablation (section inférieure du tableau), les algorithmes atteignent des performances extraordinaires en reproduisant le discernement des directeurs de banque humains pour la notation de crédit.

Étonnamment, les chercheurs ont découvert que leur réseau neuronal mis en œuvre n'obtenait qu'un score de 93 %, avec un écart RMSE plus large, produisant des valeurs de risque à plusieurs crans des estimations produites par l'homme.

Les auteurs observent :

«[Ces] résultats n'indiquent pas qu'une méthode surpasse l'autre en ce qui concerne une métrique externe de précision telle que la probabilité de défaut objective. Il est tout à fait possible que le réseau de neurones, par exemple, soit le meilleur pour cette tâche de classification.

"Ici, l'objectif est uniquement de reproduire le choix du gestionnaire humain et pour cette tâche, la forêt aléatoire semble surpasser toutes les autres méthodes à travers les métriques étudiées."

Les 5 % que le système n'a pas pu reproduire s'expliquent, selon les chercheurs, par l'hétérogénéité des industries couvertes. Les auteurs notent que 5% des managers sont à l'origine de la quasi-totalité de ces divergences, et estiment que des systèmes plus élaborés pourraient à terme couvrir de tels cas d'usage et combler le manque à gagner.

La responsabilité est difficile à automatiser

Si cela est confirmé dans des projets connexes ultérieurs, la recherche suggère que le rôle de « directeur de banque » pourrait être ajouté à un cadre croissant de postes d'autorité et de discernement autrefois puissants qui sont réduits au statut de « surveillant » tandis que la précision de systèmes de machines comparables est testé sur le long terme ; et sape la position commune que certaines tâches critiques ne peuvent pas être automatisées.

Cependant, la bonne nouvelle pour les directeurs de banque semblerait être que, d'un point de vue politique, la nécessité d'une responsabilité humaine dans les processus sociaux critiques tels que l'évaluation de la notation de crédit est susceptible de préserver leurs rôles actuels - même si les actions des rôles devrait devenir complètement reproductible par les systèmes d'apprentissage automatique.

Première publication le 18 février 2022.