Investigadores desafían una suposición largamente aceptada sobre el aprendizaje automático

Los investigadores de la Universidad Carnegie Mellon están desafiando una suposición largamente aceptada sobre el aprendizaje automático, según la cual existe un compromiso entre la precisión y la equidad en los algoritmos utilizados para tomar decisiones de política pública.

El uso del aprendizaje automático está aumentando en muchas áreas, como la justicia penal, la contratación, la prestación de atención médica y las intervenciones de servicios sociales. Con este crecimiento también aumentan las preocupaciones sobre si estas nuevas aplicaciones pueden empeorar las desigualdades existentes. Podrían ser particularmente perjudiciales para las minorías raciales o las personas con desventajas económicas.

Ajustando un sistema

Se realizan ajustes constantes en los datos, las etiquetas, el entrenamiento del modelo, los sistemas de puntuación y otros aspectos del sistema para protegerse contra los sesgos. Sin embargo, la suposición teórica ha sido que el sistema se vuelve menos preciso cuando se realizan más de estos ajustes.

El equipo de CMU se propuso desafiar esta teoría en un nuevo estudio publicado en Nature Machine Intelligence.

Rayid Ghani es profesor en el Departamento de Aprendizaje Automático de la Escuela de Ciencias de la Computación y del Colegio Heinz de Sistemas de Información y Política Pública. Estuvo acompañado por Kit Rodolfa, científico de investigación en el Departamento de Aprendizaje Automático; y Hemank Lamba, investigador posdoctoral en la Escuela de Ciencias de la Computación.

Probando aplicaciones en el mundo real

Los investigadores probaron esta suposición en aplicaciones del mundo real, y lo que encontraron fue que el compromiso es negligible en muchos dominios de política.

“En realidad, puedes obtener ambas cosas. No tienes que sacrificar la precisión para construir sistemas que sean justos y equitativos”, dijo Ghani. “Pero requiere que diseñes intencionalmente sistemas que sean justos y equitativos. Los sistemas de venta no funcionarán”.

El equipo se centró en situaciones en las que los recursos demandados son limitados. La asignación de estos recursos es ayudada por el aprendizaje automático.

Se centraron en sistemas en cuatro áreas:

• priorizando la atención de salud mental limitada en función del riesgo de una persona de regresar a la cárcel para reducir la reincarceración;
• prediciendo violaciones graves de seguridad para desplegar mejor a los inspectores de vivienda limitados de una ciudad;
• modelando el riesgo de que los estudiantes no se gradúen de la escuela secundaria a tiempo para identificar a aquellos que más necesitan apoyo adicional;
• y ayudando a los maestros a alcanzar las metas de financiación colectiva para las necesidades del aula.

Los investigadores encontraron que los modelos optimizados para la precisión podían predecir efectivamente los resultados de interés. Sin embargo, también demostraron disparidades considerables en las recomendaciones para intervenciones.

Los resultados importantes vinieron cuando los investigadores aplicaron los ajustes a las salidas de los modelos que se centraban en mejorar su equidad. Descubrieron que no hubo pérdida de precisión cuando se eliminaron las disparidades basadas en la raza, la edad o la renta.

“Queremos que las comunidades de inteligencia artificial, ciencias de la computación y aprendizaje automático dejen de aceptar esta suposición de un compromiso entre la precisión y la equidad y comiencen a diseñar intencionalmente sistemas que maximicen ambas”, dijo Rodolfa. “Esperamos que los responsables de las políticas públicas adopten el aprendizaje automático como una herramienta en su toma de decisiones para ayudarles a lograr resultados equitativos”.