‘Simple’ IA Puede Predecir las Decisiones de los Gerentes de Banco sobre Préstamos con más del 95% de Precisión

Un nuevo proyecto de investigación ha encontrado que las decisiones discrecionales tomadas por los gerentes de banco humanos pueden ser replicadas por sistemas de aprendizaje automático con una precisión de más del 95%.

Utilizando los mismos datos disponibles para los gerentes de banco en un conjunto de datos privilegiado, el algoritmo con mejor rendimiento en la prueba fue una implementación de Random Forest – un enfoque bastante simple que tiene veinte años, pero que aún superó a una red neuronal al intentar imitar el comportamiento de los gerentes de banco humanos que formulan decisiones finales sobre préstamos.

El algoritmo Random Forest, uno de los cuatro que se sometieron a pruebas para el proyecto, logra una alta puntuación equivalente a la humana vs. el rendimiento de los gerentes de banco, a pesar de la relativa simplicidad del algoritmo. Fuente: Gerentes versus Máquinas: ¿Replican los Algoritmos la Intuición Humana en las Calificaciones de Crédito?, https://arxiv.org/pdf/2202.04218.pdf

Los investigadores, que tuvieron acceso a un conjunto de datos propietario de 37,449 calificaciones de préstamos en 4,414 clientes únicos en “un gran banco comercial”, sugieren en varios puntos del artículo preimpreso que el análisis de datos automatizado que se les proporciona a los gerentes para tomar su decisión se ha vuelto tan preciso que los gerentes de banco rara vez se desvían de él, lo que podría significar que la participación de los gerentes de banco en el proceso de aprobación de préstamos consiste principalmente en retener a alguien para despedir en caso de incumplimiento de un préstamo.

El artículo establece:

‘Desde una perspectiva práctica, es digno de destacar que nuestros resultados pueden indicar que el banco podría procesar préstamos más rápido y barato en ausencia de gerentes de préstamos humanos con resultados muy comparables. Si bien los gerentes naturalmente realizan una variedad de tareas, es difícil argumentar que sean esenciales para esta tarea particular y que un algoritmo relativamente simple pueda realizar el mismo trabajo.

‘También es importante destacar que con más datos y potencia computacional, estos algoritmos pueden mejorarse aún más.’

El artículo se titula Gerentes versus Máquinas: ¿Replican los Algoritmos la Intuición Humana en las Calificaciones de Crédito?, y proviene del Departamento de Economía y Departamento de Estadística de la UoC Irvine y el Bank of Communications BBM en Brasil.

Comportamiento Robótico Humano en las Evaluaciones de Calificación de Crédito

Los resultados no significan que los sistemas de aprendizaje automático sean necesariamente mejores para tomar decisiones sobre préstamos y calificaciones de crédito, sino que incluso los algoritmos ahora considerados bastante “de bajo nivel” son capaces de sacar las mismas conclusiones que los humanos a partir de los mismos datos.

El informe caracteriza implícitamente a los gerentes de banco como una especie de “cortafuegos de carne” cuya función principal restante es elevar las puntuaciones de riesgo que el sistema de puntuación estadística y analítica les presenta (una práctica conocida en el sector bancario como “notching”).

‘Con el tiempo, parece que los gerentes están empleando menos discreción, lo que podría indicar el mejor desempeño o la confianza en los medios algorítmicos, como la tarjeta de puntuación.’

Los investigadores también observaron:

‘Los resultados en este artículo muestran que esta tarea particular ejecutada por gerentes de banco altamente capacitados puede, de hecho, ser fácilmente replicada por algoritmos relativamente simples. El rendimiento de estos algoritmos podría mejorarse ajustándolos para tener en cuenta las diferencias entre industrias y, por supuesto, podría extenderse fácilmente para incluir objetivos adicionales, como incorporar consideraciones de equidad en las prácticas de préstamos o promover otros objetivos sociales.’

Descubra la diferencia: la evaluación de riesgo de las calificaciones de la tarjeta de puntuación (automáticas) se elevan estadísticamente (‘notch’) por los gerentes de banco cuyas decisiones se estudiaron en el trabajo – un procedimiento replicable.

Dado que los datos sugieren que los gerentes de banco lo hacen de una manera casi algorítmica y predecible, sus ajustes no son difíciles de replicar. El proceso simplemente “segunda suposición” de los datos originales de la tarjeta de puntuación y ajusta la calificación de riesgo hacia arriba dentro de márgenes predecibles.

Método y Datos

El objetivo declarado del proyecto era anticipar qué decisiones tomarían los gerentes de banco, en función del sistema de puntuación y otras variables disponibles para ellos, en lugar de desarrollar sistemas alternativos innovadores diseñados para reemplazar los marcos actuales de procedimientos de solicitudes de préstamos.

Los métodos de aprendizaje automático probados para el proyecto fueron Multinomial Logistic LASSO (MNL-LASSO), redes neuronales y dos implementaciones de Classification and Regression Trees (CART): Random Forest y Gradient Boosting.

El proyecto consideró tanto los datos de la tarjeta de puntuación para una tarea de calificación de crédito del mundo real, como su resultado, conocido en los datos. La calificación de la tarjeta de puntuación es una de las prácticas algorítmicas más antiguas, donde se calculan variables clave para el préstamo propuesto en una matriz de riesgo, a menudo por medios tan simples como regresión logística.

Resultados

MNL-LASSO se desempeñó peor entre los algoritmos probados, clasificando con éxito solo el 53% de los préstamos, en comparación con el gerente de la vida real en los casos evaluados.

Los otros tres métodos (con CART que abarca Random Forest y Gradient Boosting) todos obtuvieron al menos un 90% en términos de precisión y Error Cuadrático Medio (RMSE).

Sin embargo, la implementación de Random Forest de CART obtuvo un impresionante casi 96%, seguido de cerca por Gradient Boosting.

Incluso con la calificación de la tarjeta de puntuación eliminada de las pruebas durante los estudios de ablación (sección inferior de la tabla), los algoritmos logran un rendimiento extraordinario al replicar el discernimiento de los gerentes de banco humanos para la calificación de crédito.

Sorprendentemente, los investigadores encontraron que su red neuronal implementada solo obtuvo un 93%, con una brecha de RMSE más amplia, produciendo valores de riesgo varios puntos por debajo de las estimaciones producidas por humanos.

Los autores observan:

‘[Estos] resultados no indican que un método supere al otro en lo que respecta a una métrica externa de precisión, como la probabilidad de incumplimiento objetivo. Es posible que la Red Neuronal, por ejemplo, sea la mejor para esa tarea de clasificación.

‘Aquí el objetivo es solo replicar la elección del gerente humano y, para esta tarea, Random Forest parece superar a todos los demás métodos en las métricas investigadas.’

El 5% que el sistema no pudo reproducir se debe, según los investigadores, a la heterogeneidad de las industrias cubiertas. Los autores señalan que el 5% de los gerentes cuenta con casi todas estas divergencias y creen que sistemas más elaborados podrían cubrir finalmente estos casos de uso y cerrar la brecha.

La Responsabilidad Es Difícil de Automatizar

Si se confirma en proyectos relacionados posteriores, la investigación sugiere que el papel de “gerente de banco” podría agregarse a un grupo creciente de posiciones de autoridad y discernimiento que una vez fueron poderosas y que se están reduciendo a un estatus de “supervisión” mientras se prueba la precisión de los sistemas de máquina comparables a largo plazo; y socava la posición comúnmente aceptada de que ciertas tareas críticas no pueden ser automatizadas.

Sin embargo, la buena noticia para los gerentes de banco parece ser que, desde un punto de vista político, la necesidad de responsabilidad humana en procesos sociales críticos, como la evaluación de la calificación de crédito, probablemente preserve sus roles actuales – incluso si las acciones de los roles se vuelven completamente reproducibles por sistemas de aprendizaje automático.

Publicado por primera vez el 18 de febrero de 2022.