IA 'simples' pode antecipar as decisões de empréstimo dos gerentes de banco com mais de 95% de precisão

Um novo projeto de pesquisa descobriu que as decisões discricionárias tomadas por gestores bancários humanos podem ser replicadas por sistemas de aprendizagem automática com uma precisão de mais de 95%.

Usando os mesmos dados disponíveis para gerentes de banco em um conjunto de dados privilegiado, o algoritmo de melhor desempenho no teste foi um Floresta Aleatória implementação – uma abordagem bastante simples que é vinte anos de idade, mas que ainda superou uma rede neural ao tentar imitar o comportamento de gerentes de banco humanos formulando decisões finais sobre empréstimos.

O algoritmo Random Forest, um dos quatro testados para o projeto, alcança uma alta pontuação equivalente à humana em relação ao desempenho dos gerentes de banco, apesar da relativa simplicidade do algoritmo. Fonte: Gerentes versus máquinas: os algoritmos replicam a intuição humana nas classificações de crédito?, https://arxiv.org/pdf/2202.04218.pdf

Os pesquisadores, que tiveram acesso a um conjunto de dados proprietários de 37,449 classificações de empréstimos de 4,414 clientes únicos em "um grande banco comercial", sugerem em vários pontos do artigo pré-impresso que a análise automatizada de dados que os gerentes recebem para tomar suas decisões se tornou tão precisa que os gerentes de banco raramente se desviam dela, o que pode significar que a parte dos gerentes de banco no processo de aprovação de empréstimos consiste principalmente em contratar alguém para demitir em caso de inadimplência.

O artigo afirma:

'De uma perspectiva prática, vale a pena notar que nossos resultados podem indicar que o banco poderia processar empréstimos de forma mais rápida e barata na ausência de gerentes de empréstimos humanos com resultados muito comparáveis. Embora os gerentes executem naturalmente uma variedade de tarefas, é difícil argumentar que eles são essenciais para essa tarefa específica e um algoritmo relativamente simples pode funcionar tão bem.

'Também é importante observar que, com dados adicionais e poder computacional, esses algoritmos podem ser ainda mais aprimorados.'

O papel é intitulado Gerentes versus máquinas: os algoritmos replicam a intuição humana nas classificações de crédito?, e vem do Departamento de Economia e Departamento de Estatística da UoC Irvine e do Banco de Comunicações BBM no Brasil.

Comportamento humano robótico em avaliações de classificação de crédito

Os resultados não significam que os sistemas de aprendizado de máquina sejam necessariamente melhores na tomada de decisões sobre empréstimos e classificações de crédito, mas sim que até mesmo algoritmos agora considerados de "baixo nível" são capazes de tirar as mesmas conclusões que os humanos a partir dos mesmos dados.

O relatório caracteriza implicitamente os gestores bancários como uma espécie de "firewall de meatware" cuja principal função restante é aumentar as pontuações de risco que o sistema de scorecard estatístico e analítico apresenta a eles (uma prática conhecida no setor bancário como "notching").

'Com o tempo, parece que os gestores estão empregando menos discrição, o que pode indicar melhor desempenho ou dependência de meios algorítmicos, como o scorecard.'

Os pesquisadores também observaram:

Os resultados deste artigo mostram que essa tarefa específica, executada por gestores bancários altamente qualificados, pode, de fato, ser facilmente replicada por algoritmos relativamente simples. O desempenho desses algoritmos poderia ser aprimorado por meio de ajustes finos para levar em conta as diferenças entre os setores e, claro, poderia ser facilmente estendido para incluir objetivos adicionais, como incorporar considerações de justiça nas práticas de empréstimo ou promover outros objetivos sociais.

Descubra a diferença: a avaliação de risco das classificações do scorecard (automáticas) é estatisticamente aumentada ('notched') pelos gerentes de banco cujas decisões foram estudadas no trabalho — um procedimento replicável.

Como os dados sugerem que os gestores bancários fazem isso de forma quase algorítmica e previsível, seus ajustes não são tão difíceis de replicar. O processo simplesmente "questiona" os dados originais do scorecard e ajusta a classificação de risco para cima, dentro de margens previsíveis.

Método e dados

A intenção declarada do projeto era antecipar quais decisões os gerentes bancários tomariam, com base no sistema de pontuação e outras variáveis ​​disponíveis para eles, em vez de desenvolver sistemas alternativos inovadores projetados para substituir as atuais estruturas de procedimentos de solicitação de empréstimos.

Os métodos de aprendizado de máquina testados para o projeto foram Multinomial Logistic LASSO (MNL-LASSO), redes neurais, e duas implementações de Árvores de Classificação e Regressão (CARRINHO): Floresta Aleatória e Intensificação de Gradiente.

O projeto considerou os dados do scorecard para uma tarefa de classificação de crédito do mundo real e seu resultado, conforme conhecido nos dados. A classificação do Scorecard é uma das práticas algorítmicas mais antigas, em que variáveis-chave para o empréstimo proposto são calculadas em uma matriz de risco, muitas vezes por meios tão simples quanto regressão logística.

Resultados

O MNL-LASSO teve o pior desempenho entre os algoritmos testados, classificando com sucesso apenas 53% dos empréstimos, em comparação com o gerente da vida real nos casos avaliados.

Os outros três métodos (com CART abrangendo Random Forest e Gradient Boosting) pontuaram pelo menos 90% em termos de precisão e Root Mean Square Error (REQM).

No entanto, a implementação do CART pela Random Forest obteve uma impressionante pontuação de quase 96%, seguida de perto pelo Gradient Boosting.

Mesmo com a classificação do scorecard removida dos testes durante os estudos de ablação (seção inferior da tabela), os algoritmos alcançam um desempenho extraordinário ao replicar o discernimento dos gerentes de banco humanos para classificação de crédito.

Surpreendentemente, os pesquisadores descobriram que sua rede neural implementada obteve apenas 93%, com uma lacuna de RMSE mais ampla, produzindo valores de risco vários degraus distantes das estimativas produzidas por humanos.

Os autores observam:

'[Estes] resultados não indicam que um método supera o outro no que diz respeito a uma métrica externa de precisão, como a probabilidade objetiva de inadimplência. É bem possível que a Rede Neural por exemplo seja a melhor para essa tarefa de classificação.

'Aqui, o objetivo é apenas replicar a escolha do gerente humano e, para essa tarefa, a Random Forest parece superar todos os outros métodos em todas as métricas investigadas.'

Os 5% que o sistema não conseguiu reproduzir se devem, segundo os pesquisadores, à heterogeneidade dos setores abrangidos. Os autores observam que 5% dos gerentes respondem por quase todas essas divergências e acreditam que sistemas mais elaborados poderiam cobrir esses casos de uso e fechar o déficit.

A responsabilidade é difícil de automatizar

Se confirmada em projetos relacionados subsequentes, a pesquisa sugere que a função de "gerente de banco" poderia ser adicionada a um quadro crescente de posições de autoridade e discernimento, outrora poderosas, que estão sendo reduzidas ao status de "fiscalizador", enquanto a precisão de sistemas de máquinas comparáveis ​​é testada a longo prazo; e prejudica a posição comumente mantida que certas tarefas críticas não podem ser automatizadas.

No entanto, a boa notícia para os gerentes de banco parece ser que, do ponto de vista político, a necessidade de responsabilidade humana em processos sociais críticos, como avaliação de classificação de crédito, provavelmente preservará seus papéis atuais – mesmo que as ações dos papéis deve se tornar completamente reproduzível por sistemas de aprendizado de máquina.

Publicado pela primeira vez em 18 de fevereiro de 2022.