Pesquisadores Desafiam uma Suposição de Longa Data sobre Aprendizado de Máquina

Pesquisadores da Universidade Carnegie Mellon estão desafiando uma suposição de longa data sobre aprendizado de máquina de que há um compromisso entre precisão e equidade em algoritmos usados para tomar decisões de política pública.

O uso de aprendizado de máquina está aumentando em muitas áreas, como justiça criminal, contratação, entrega de cuidados de saúde e intervenções de serviços sociais. Com esse crescimento, também vêm preocupações crescentes sobre se essas novas aplicações podem piorar as desigualdades existentes. Elas podem ser particularmente prejudiciais a minorias raciais ou indivíduos com desvantagens econômicas.

Ajustando um Sistema

Há ajustes constantes nos dados, rótulos, treinamento de modelos, sistemas de pontuação e outros aspectos do sistema para proteger contra viés. No entanto, a suposição teórica tem sido de que o sistema se torna menos preciso quando há mais desses ajustes.

A equipe da CMU se propôs a desafiar essa teoria em um novo estudo publicado em Nature Machine Intelligence.

Rayid Ghani é professor no Departamento de Aprendizado de Máquina da Escola de Ciência da Computação e no Colégio Heinz de Sistemas de Informação e Política Pública. Ele foi acompanhado por Kit Rodolfa, um cientista de pesquisa no MLD; e Hemank Lamba, um pesquisador pós-doutorado no SCS.

Testando Aplicações no Mundo Real

Os pesquisadores testaram essa suposição em aplicações do mundo real, e o que eles encontraram foi que o compromisso é negligenciável em muitos domínios de política.

“Você realmente pode obter ambos. Você não precisa sacrificar a precisão para construir sistemas que sejam justos e equitativos”, disse Ghani. “Mas isso exige que você projete deliberadamente sistemas para serem justos e equitativos. Sistemas prontos para uso não funcionarão.”

A equipe se concentrou em situações em que os recursos demandados são limitados. A alocação desses recursos é ajudada pelo aprendizado de máquina.

Eles se concentraram em sistemas em quatro áreas:

• priorizando a atenção limitada de saúde mental com base no risco de uma pessoa retornar à prisão para reduzir a reincidência;
• prevendo violações graves de segurança para melhor implantar os inspetores de habitação limitados de uma cidade;
• modelando o risco de que os alunos não se formem no ensino médio no prazo para identificar aqueles que mais precisam de apoio adicional;
• e ajudando os professores a atingir metas de financiamento coletivo para necessidades de sala de aula.

Os pesquisadores encontraram que os modelos otimizados para precisão podiam prever efetivamente os resultados de interesse. No entanto, eles também demonstraram disparidades consideráveis nas recomendações para intervenções.

Os resultados importantes vieram quando os pesquisadores aplicaram os ajustes às saídas dos modelos que visavam melhorar a equidade. Eles descobriram que não houve perda de precisão quando as disparidades baseadas em raça, idade ou renda foram removidas.

“Queremos que as comunidades de inteligência artificial, ciência da computação e aprendizado de máquina parem de aceitar essa suposição de um compromisso entre precisão e equidade e comecem a projetar deliberadamente sistemas que maximizem ambos”, disse Rodolfa. “Esperamos que os formuladores de políticas adotem o aprendizado de máquina como uma ferramenta em sua tomada de decisão para ajudá-los a alcançar resultados equitativos.”