Coligação de Ética em Inteligência Artificial Condena Algoritmos de Previsão de Criminalidade

Na terça-feira, um número de pesquisadores de inteligência artificial, éticos, cientistas de dados e cientistas sociais publicaram um post de blog argumentando que os pesquisadores acadêmicos devem parar de perseguir pesquisas que visam prever a probabilidade de que um indivíduo cometa um ato criminoso, com base em variáveis como estatísticas de crime e digitalizações faciais.

O post de blog foi autorado pela Coligação para Tecnologia Crítica, que argumentou que a utilização de tais algoritmos perpetua um ciclo de preconceito contra minorias. Muitos estudos sobre a eficácia de algoritmos de reconhecimento facial e policiamento preditivo encontram que os algoritmos tendem a julgar minorias de forma mais dura, o que os autores do post de blog argumentam ser devido às desigualdades no sistema de justiça criminal. O sistema de justiça produz dados tendenciosos, e portanto os algoritmos treinados nesses dados propagam esses preconceitos, argumenta a Coligação para Tecnologia Crítica. A coligação argumenta que a própria noção de “criminalidade” é frequentemente baseada na raça, e portanto a pesquisa realizada sobre essas tecnologias assume a neutralidade dos algoritmos quando, na verdade, não existe tal neutralidade.

Como relata o The Verge, um grande editor de obras acadêmicas, Springer, planejava publicar um estudo intitulado “Um Modelo de Rede Neural Profunda para Prever Criminalidade usando Processamento de Imagem”. Os autores do estudo alegaram ter desenvolvido um algoritmo de reconhecimento facial capaz de prever a chance de que um indivíduo cometa um crime sem preconceito e com aproximadamente 80% de precisão. No entanto, a Coligação para Tecnologia Crítica redigiu uma carta aberta à Springer, solicitando que o editor se abstivesse de publicar o estudo ou futuras pesquisas envolvendo pesquisas semelhantes.

“A circulação deste trabalho por um editor importante como a Springer representaria um passo significativo em direção à legitimação e aplicação de pesquisas repetidamente desacreditadas e socialmente prejudiciais no mundo real”, argumenta a coligação.

A Springer declarou que não publicaria o artigo, conforme relatado pela MIT Technology Review. A Springer afirmou que o artigo havia sido submetido para uma conferência futura, mas após o processo de revisão por pares, o artigo foi rejeitado para publicação.

A Coligação para Tecnologia Crítica argumenta que o artigo de previsão de criminalidade é apenas um exemplo de uma tendência maior e prejudicial, na qual engenheiros e pesquisadores de inteligência artificial tentam prever comportamentos com base em dados compostos por variáveis socialmente construídas e sensíveis. A coligação também argumenta que grande parte da pesquisa é baseada em ideias e teorias cientificamente questionáveis, que não são apoiadas pelas evidências disponíveis em biologia e psicologia. Como exemplo, pesquisadores da Princeton e do Google (GOOGL ) publicaram um artigo advertindo que algoritmos que alegam ser capazes de prever criminalidade com base em características faciais são baseados em pseudociências desacreditadas e perigosas, como a fisiognomia. Os pesquisadores alertaram contra permitir que o aprendizado de máquina seja usado para reavivar teorias desacreditadas usadas para apoiar sistemas racistas.

O recente impulso do movimento Black Lives Matter levou muitas empresas que utilizam algoritmos de reconhecimento facial a reavaliar o uso desses sistemas. Pesquisas encontraram que esses algoritmos frequentemente são tendenciosos, baseados em dados de treinamento não representativos e tendenciosos.

Os signatários da carta, além de argumentar que os pesquisadores de inteligência artificial devem abandonar a pesquisa sobre algoritmos de previsão de criminalidade, também recomendaram que os pesquisadores reavaliem como o sucesso dos modelos de inteligência artificial é julgado. Os membros da coligação recomendam que o impacto social dos algoritmos deve ser uma métrica de sucesso, além de métricas como precisão, recall e exatidão. Como os autores do artigo escrevem:

“Se a inteligência artificial for trazer o ‘bem social’ divulgado em propostas de subvenção e releases de imprensa, os pesquisadores nesse espaço devem refletir ativamente sobre as estruturas de poder (e as opressões correspondentes) que tornam seu trabalho possível”.