‘Inteligência Artificial Simples’ Pode Antecipar Decisões de Gerentes de Banco com Mais de 95% de Precisão

Um novo projeto de pesquisa descobriu que as decisões discricionárias tomadas por gerentes de banco humanos podem ser replicadas por sistemas de aprendizado de máquina com precisão de mais de 95%.

Usando os mesmos dados disponíveis aos gerentes de banco em um conjunto de dados privilegiados, o algoritmo de melhor desempenho no teste foi uma implementação de Random Forest – uma abordagem bastante simples que é vinte anos, mas que ainda superou uma rede neural ao tentar imitar o comportamento de gerentes de banco humanos que formulam decisões finais sobre empréstimos.

O algoritmo Random Forest, um dos quatro testados no projeto, alcança alta pontuação humana equivalente vs. desempenho de gerentes de banco, apesar da relativa simplicidade do algoritmo. Fonte: Gerentes versus Máquinas: Os Algoritmos Replicam a Intuição Humana nas Avaliações de Crédito?, https://arxiv.org/pdf/2202.04218.pdf

Os pesquisadores, que tiveram acesso a um conjunto de dados proprietário de 37.449 classificações de empréstimos em 4.414 clientes únicos em um “grande banco comercial”, sugerem em vários pontos do pré-impresso que a análise de dados automatizada que os gerentes recebem para tomar sua decisão se tornou tão precisa que os gerentes de banco raramente se desviam dela, potencialmente significando que a parte dos gerentes de banco no processo de aprovação de empréstimos consiste principalmente em reter alguém para demitir no caso de inadimplência.

O artigo afirma:

‘Do ponto de vista prático, é worth notar que nossos resultados podem indicar que o banco poderia processar empréstimos mais rápido e mais barato na ausência de gerentes de empréstimos humanos com resultados muito semelhantes. Embora os gerentes naturalmente realizem uma variedade de tarefas, é difícil argumentar que eles são essenciais para essa tarefa específica e um algoritmo relativamente simples pode realizar tão bem.

‘Também é importante notar que, com mais dados e poder computacional, esses algoritmos podem ser aprimorados ainda mais.’

O artigo é intitulado Gerentes versus Máquinas: Os Algoritmos Replicam a Intuição Humana nas Avaliações de Crédito?, e vem do Departamento de Economia e Departamento de Estatística da UoC Irvine e do Bank of Communications BBM no Brasil.

Comportamento Humano Robótico nas Avaliações de Crédito

Os resultados não significam que os sistemas de aprendizado de máquina sejam necessariamente melhores em tomar decisões sobre empréstimos e classificações de crédito, mas sim que até algoritmos agora considerados bastante “baixo nível” são capazes de tirar as mesmas conclusões que os humanos a partir dos mesmos dados.

O relatório caracteriza implicitamente os gerentes de banco como uma espécie de “firewall de carne” cuja função principal é aumentar as pontuações de risco que o sistema de scorecard apresenta a eles (uma prática conhecida no setor bancário como “notching”).

‘Ao longo do tempo, parece que os gerentes estão empregando menos discrição, o que pode indicar o desempenho melhorado ou a dependência de meios algorítmicos, como o scorecard.’

Os pesquisadores também observaram:

‘Os resultados neste artigo mostram que essa tarefa específica executada por gerentes de banco altamente qualificados pode, de fato, ser facilmente replicada por algoritmos relativamente simples. O desempenho desses algoritmos poderia ser aprimorado por ajustes para contabilizar diferenças entre setores e, claro, poderia ser facilmente estendido para incluir objetivos adicionais, como incorporar considerações de justiça nas práticas de empréstimo ou promover outros objetivos sociais.’

Encontre a diferença: a avaliação de risco das classificações do scorecard (automáticas) são estatisticamente aumentadas (‘notchadas’) pelos gerentes de banco, cujas decisões foram estudadas no trabalho – um procedimento replicável.

Como os dados sugerem que os gerentes de banco fazem isso de uma maneira quase algorítmica e previsível, suas ajustes não são difíceis de replicar. O processo simplesmente “segunda-guia” os dados originais do scorecard e ajusta a classificação de risco para cima dentro de margens previsíveis.

Método e Dados

A intenção declarada do projeto era antecipar quais decisões os gerentes de banco tomariam, com base no sistema de pontuação e outras variáveis disponíveis a eles, em vez de desenvolver sistemas alternativos inovadores projetados para substituir os atuais quadros de procedimento de solicitação de empréstimo.

Os métodos de aprendizado de máquina testados para o projeto foram Multinomial Logistic LASSO (MNL-LASSO), redes neurais e duas implementações de Árvores de Classificação e Regressão (CART): Random Forest e Gradient Boosting.

O projeto considerou tanto os dados do scorecard para uma tarefa de classificação de crédito real quanto seu resultado, como conhecido nos dados. A classificação do scorecard é uma das práticas algorítmicas mais antigas, onde variáveis-chave para o empréstimo proposto são calculadas em uma matriz de risco, frequentemente por meios tão simples quanto regressão logística.

Resultados

O MNL-LASSO teve o pior desempenho entre os algoritmos testados, classificando com sucesso apenas 53% dos empréstimos, em comparação com o gerente de banco real nos casos avaliados.

Os outros três métodos (com CART abrangendo Random Forest e Gradient Boosting) todos pontuaram pelo menos 90% em termos de precisão e Erro Quadrático Médio (RMSE).

No entanto, a implementação do Random Forest do CART pontuou um impressionante quase 96%, seguido de perto pelo Gradient Boosting.

Mesmo com a classificação do scorecard removida dos testes durante estudos de ablação (seção inferior da tabela), os algoritmos alcançam desempenho extraordinário em replicar a discernimento dos gerentes de banco humanos para classificação de crédito.

Surpreendentemente, os pesquisadores descobriram que sua rede neural implementada pontuou apenas 93%, com uma lacuna de RMSE mais ampla, produzindo valores de risco várias notas longe das estimativas humanas.

Os autores observam:

‘[Esses] resultados não indicam que um método supere o outro em termos de métrica externa de precisão, como a probabilidade de inadimplência objetiva. É possível que a Rede Neural, por exemplo, seja a melhor para essa tarefa de classificação.

‘Aqui, o objetivo é apenas replicar a escolha do gerente humano e, para essa tarefa, o Random Forest parece superar todos os outros métodos nas métricas investigadas.’

Os 5% que o sistema não pôde reproduzir são contabilizados, de acordo com os pesquisadores, pela heterogeneidade dos setores abrangidos. Os autores notam que 5% dos gerentes respondem por quase todas essas divergências e acreditam que sistemas mais elaborados poderiam eventualmente cobrir esses casos de uso e fechar a lacuna.

A Responsabilidade é Difícil de Automatizar

Se comprovado em projetos relacionados subsequentes, a pesquisa sugere que o papel de “gerente de banco” poderia ser adicionado a um grupo crescente de posições de autoridade e discernimento que estão sendo reduzidas a “status de invigilador” enquanto a precisão dos sistemas de máquina comparáveis é testada a longo prazo; e subverte a posição comumente mantida de que certas tarefas críticas não podem ser automatizadas.

No entanto, as boas notícias para os gerentes de banco parecem ser que, do ponto de vista político, a necessidade de responsabilidade humana em processos sociais críticos, como a avaliação de crédito, é provável que preserve seus papéis atuais – mesmo que as ações desses papéis se tornem completamente reproduzíveis por sistemas de aprendizado de máquina.

Publicado pela primeira vez em 18 de fevereiro de 2022.