Coalition d’éthique de l’IA condamne les algorithmes de prédiction de la criminalité

Mardi, un certain nombre de chercheurs en IA, d’éthiciens, de scientifiques de données et de sociologues ont publié un billet de blog argumentant que les chercheurs universitaires devraient cesser de poursuivre des recherches visant à prédire la probabilité qu’un individu commette un acte criminel, en fonction de variables telles que les statistiques de criminalité et les analyses de visage.

Le billet de blog a été rédigé par la Coalition pour la technologie critique, qui a soutenu que l’utilisation de tels algorithmes perpétue un cycle de préjugés contre les minorités. De nombreuses études sur l’efficacité des algorithmes de reconnaissance faciale et de police prédictive constatent que les algorithmes jugent souvent plus sévèrement les minorités, ce que les auteurs du billet de blog attribuent aux inégalités du système de justice pénale. Le système de justice produit des données biaisées, et les algorithmes formés sur ces données propagent ces biais, selon la Coalition pour la technologie critique. La coalition soutient que la notion même de « criminalité » est souvent basée sur la race, et que les recherches menées sur ces technologies supposent la neutralité des algorithmes, alors qu’en réalité, cette neutralité n’existe pas.

Selon The Verge, un grand éditeur d’œuvres universitaires, Springer, prévoyait de publier une étude intitulée « Un modèle de réseau neuronal profond pour prédire la criminalité à l’aide du traitement d’images ». Les auteurs de l’étude affirmaient avoir conçu un algorithme de reconnaissance faciale capable de prédire la probabilité qu’un individu commette un crime sans biais et avec une précision d’environ 80 %. Cependant, la Coalition pour la technologie critique a rédigé une lettre ouverte à Springer, l’exhortant à ne pas publier l’étude ou d’autres recherches similaires.

« La diffusion de ce travail par un éditeur important comme Springer représenterait un pas important vers la légitimation et l’application de recherches répétées, discréditées et nuisibles dans le monde réel », soutient la coalition.

Springer a déclaré qu’il ne publierait pas l’article, comme le rapporte MIT Technology Review. Springer a déclaré que l’article avait été soumis pour une conférence à venir, mais qu’après le processus d’examen par les pairs, l’article avait été rejeté pour publication.

La Coalition pour la technologie critique soutient que l’article de prédiction de la criminalité n’est qu’un exemple d’une tendance plus large et nuisible, dans laquelle les ingénieurs et les chercheurs en IA tentent de prédire le comportement en fonction de données sensibles et de variables sociales. La coalition soutient également que beaucoup de ces recherches sont basées sur des idées et des théories scientifiquement douteuses, qui ne sont pas étayées par les preuves disponibles en biologie et en psychologie. Par exemple, des chercheurs de Princeton et de Google (GOOGL ) ont publié un article avertissant que les algorithmes qui prétendent prédire la criminalité en fonction des caractéristiques faciales sont basés sur des pseudosciences discréditées et dangereuses comme la physiognomonie. Les chercheurs ont mis en garde contre le fait de laisser l’apprentissage automatique réhabiliter des théories dépassées utilisées pour soutenir des systèmes racistes.

Le mouvement récent Black Lives Matter a incité de nombreuses entreprises utilisant des algorithmes de reconnaissance faciale à réévaluer leur utilisation de ces systèmes. Les recherches ont montré que ces algorithmes sont souvent biaisés, basés sur des données de formation non représentatives et biaisées.

Les signataires de la lettre, outre leur argumentation selon laquelle les chercheurs en IA devraient renoncer à la recherche sur les algorithmes de prédiction de la criminalité, ont également recommandé que les chercheurs réévaluent la manière dont le succès des modèles d’IA est jugé. Les membres de la coalition recommandent que l’impact sociétal des algorithmes devrait être un indicateur de réussite, en plus d’indicateurs tels que la précision, la rappel et l’exactitude. Comme l’écrivent les auteurs de l’article :

« Si l’apprentissage automatique doit apporter le ‘bien social’ vanté dans les propositions de subvention et les communiqués de presse, les chercheurs dans ce domaine doivent réfléchir activement aux structures de pouvoir (et aux oppressions qui les accompagnent) qui rendent leur travail possible. »