Coalición de Ética de la Inteligencia Artificial Condena Algoritmos de Predicción de Criminalidad

El martes, un número de investigadores de inteligencia artificial, éticos, científicos de datos y científicos sociales publicaron un artículo de blog argumentando que los investigadores académicos deben dejar de realizar investigaciones que intentan predecir la probabilidad de que un individuo cometa un acto criminal, basándose en variables como estadísticas de delincuencia y escaneos faciales.

El artículo de blog fue escrito por la Coalición para la Tecnología Crítica, que argumentó que la utilización de dichos algoritmos perpetúa un ciclo de prejuicios contra las minorías. Muchos estudios sobre la eficacia de los algoritmos de reconocimiento facial y predicción policial encuentran que los algoritmos tienden a juzgar a las minorías con más dureza, lo que los autores del artículo de blog argumentan que se debe a las inequidades en el sistema de justicia penal. El sistema de justicia produce datos sesgados, y por lo tanto los algoritmos entrenados con estos datos propagan esos sesgos, argumenta la Coalición para la Tecnología Crítica. La coalición argumenta que la propia noción de “criminalidad” a menudo se basa en la raza, y por lo tanto la investigación realizada sobre estas tecnologías asume la neutralidad de los algoritmos cuando en realidad no existe tal neutralidad.

Según informa The Verge, un gran editor de obras académicas, Springer, planeaba publicar un estudio titulado “Un modelo de red neuronal profunda para predecir la criminalidad utilizando el procesamiento de imágenes”. Los autores del estudio afirmaban haber diseñado un algoritmo de reconocimiento facial capaz de predecir la probabilidad de que un individuo cometiera un delito con aproximadamente un 80% de precisión y sin sesgos. Sin embargo, la Coalición para la Tecnología Crítica escribió una carta abierta a Springer, instando al editor a que no publicara el estudio o futuras investigaciones similares.

“La circulación de este trabajo por un editor importante como Springer representaría un paso significativo hacia la legitimación y aplicación de investigaciones repetidamente desacreditadas y socialmente perjudiciales en el mundo real”, argumenta la coalición.

Springer declaró que no publicaría el artículo, según informa MIT Technology Review. Springer declaró que el artículo se había presentado para una conferencia upcoming, pero después del proceso de revisión por pares, el artículo fue rechazado para su publicación.

La Coalición para la Tecnología Crítica argumenta que el artículo de predicción de criminalidad es solo un ejemplo de una tendencia más amplia y perjudicial en la que los ingenieros y investigadores de inteligencia artificial intentan predecir el comportamiento basándose en datos que incluyen variables sociales y culturalmente construidas. La coalición también argumenta que gran parte de la investigación se basa en ideas y teorías científicamente cuestionables que no están respaldadas por la evidencia disponible en biología y psicología. Como ejemplo, investigadores de Princeton y Google (GOOGL ) publicaron un artículo advirtiendo que los algoritmos que afirman poder predecir la criminalidad basándose en características faciales se basan en pseudociencias desacreditadas y peligrosas como la fisiognomía. Los investigadores advirtieron contra permitir que el aprendizaje automático se utilice para revitalizar teorías desacreditadas que se utilizan para apoyar sistemas racistas.

El reciente impulso del movimiento Black Lives Matter ha llevado a muchas empresas que utilizan algoritmos de reconocimiento facial a reevaluar el uso de estos sistemas. La investigación ha encontrado que estos algoritmos a menudo están sesgados, basados en datos de entrenamiento no representativos y sesgados.

Los firmantes de la carta, además de argumentar que los investigadores de inteligencia artificial deben abandonar la investigación sobre algoritmos de predicción de criminalidad, también han recomendado que los investigadores reevalúen cómo se juzga el éxito de los modelos de inteligencia artificial. Los miembros de la coalición recomiendan que el impacto social de los algoritmos debe ser una métrica de éxito, además de métricas como la precisión, la recall y la exactitud. Como escriben los autores del artículo:

“Si el aprendizaje automático ha de traer el ‘bien social’ que se anuncia en las propuestas de subvención y los comunicados de prensa, los investigadores en este espacio deben reflexionar activamente sobre las estructuras de poder (y las opresiones concomitantes) que hacen posible su trabajo”.