El informe de GEPI sobre cómo la IA perjudica a las mujeres analiza cómo los algoritmos amplifican el sesgo de género

Una puntuación de contratación, una evaluación crediticia o una recomendación clínica pueden parecer imparciales y, aun así, perpetuar las desigualdades presentes en los datos que las sustentan. Esa es la advertencia central del nuevo informe del Gender Equity Policy Institute, Cómo perjudica la IA a las mujeres: cuando se amplifica el sesgo, que reúne investigaciones sobre cómo los sistemas automatizados pueden reproducir —y, en ocasiones, intensificar— la discriminación de género.

El informe, escrito por Myriam Shiran, doctora en Filosofía, científica especializada en aprendizaje automático e investigadora sénior de GEPI, examina literatura académica y gris sobre oportunidades económicas, atención sanitaria, justicia penal, contenido generado, diseño de IA para consumidores y abuso sexual mediante imágenes facilitado por IA. Es una síntesis de la evidencia existente, no un nuevo experimento que mida todos los sistemas de IA con un único criterio de referencia.

Su argumento más trascendental se refiere a lo que ocurre después de que un resultado sesgado sale del modelo. Las recomendaciones influyen en las decisiones, el contenido generado moldea las expectativas y algunos resultados se convierten en material para futuros entrenamientos. Por tanto, puede resultar más difícil detectar un patrón injusto a medida que pasa por sistemas sucesivos.

Excluir el género de los datos de entrada no garantiza resultados justos

Eliminar el campo del género parece una respuesta intuitiva a la discriminación. El análisis de GEPI explica por qué esa medida, por sí sola, no basta: los nombres, la educación, el historial laboral y otros datos aún pueden transmitir señales relacionadas con el género. Los resultados históricos también pueden reflejar un trato desigual antes incluso de que un modelo los procese.

Una auditoría de contratación citada en el informe, realizada por Wilson y Caliskan en 2024, incluyó más de tres millones de comparaciones simuladas de currículos en nueve ocupaciones. Los modelos de selección evaluados favorecieron significativamente los nombres asociados a hombres en el 51,9 % de las comparaciones y los asociados a mujeres en el 11,1 %. En el 37 % restante no se observó una preferencia significativa. Estos son resultados de pruebas controladas de modelos, no porcentajes de solicitantes reales a quienes se les denegó un empleo.

La evidencia también varía según el diseño de la prueba. El informe describe otra auditoría, realizada en 2025, en la que varios modelos lingüísticos no mostraron diferencias de género cuando los investigadores cambiaron únicamente los nombres, mientras que los cambios en los datos sobre educación sí afectaron las puntuaciones. Una prueba demasiado acotada puede pasar por alto información relevante en otras partes del mismo proceso.

En el ámbito de los préstamos, el análisis señala una investigación sobre aproximadamente 80.000 préstamos personales sin garantía de una importante empresa estadounidense de tecnología financiera. Los préstamos concedidos a mujeres generaron mayores rendimientos para la entidad; el estudio relacionó este hallazgo con un modelo que sobrestimaba el riesgo de impago de las mujeres y fijaba los precios de los préstamos en consecuencia. En este caso, la cuestión es la relación entre el riesgo previsto, el reembolso efectivo y el precio que paga quien solicita el préstamo, no simplemente si el género figura en la solicitud.

La IA médica necesita algo más que una puntuación general alta

La atención sanitaria ofrece un ejemplo particularmente claro de cómo el rendimiento general de un modelo puede ocultar diferencias importantes. Un modelo puede funcionar bien en conjunto y, al mismo tiempo, cometer más errores con personas infrarrepresentadas en sus datos de entrenamiento o validación.

GEPI cita un estudio de 2024 de Zack y sus colaboradores, en el que se presentaron a GPT-4 casos de dolor torácico idénticos en todo lo demás, pero descritos como correspondientes a un hombre o a una mujer. En 200 ejecuciones por cada descripción, el modelo consideró muy importante realizar una prueba de esfuerzo cardíaco en el 71 % de los casos masculinos y en el 58 % de los femeninos: una diferencia de 13 puntos porcentuales.

Ese hallazgo se refiere a las recomendaciones del modelo en una evaluación controlada, no a decisiones de tratamiento observadas ni a resultados de pacientes. Esta distinción es importante, sobre todo porque el informe incluye estudios exploratorios de distintos modelos, enfermedades y tareas clínicas, realizados en diferentes momentos.

El análisis también plantea una salvedad fundamental: no se deben eliminar sin más las diferencias entre sexos clínicamente relevantes. El reto consiste en determinar si una diferencia en las recomendaciones de un modelo refleja aspectos biológicos pertinentes o una suposición sin fundamento. Para ello se necesitan datos de evaluación representativos y un examen cuidadoso de los errores, no exigir que todas las recomendaciones sean idénticas.

El sesgo puede moldear tanto las representaciones como las decisiones

El informe distingue entre el perjuicio que sufre una persona al acceder a recursos —como un préstamo o atención médica— y el perjuicio derivado de la forma en que se representa a los grupos. Las cartas de recomendación, los artículos periodísticos y las imágenes de ocupaciones generados pueden reforzar estereotipos, incluso cuando no se produce de inmediato ninguna decisión de asignación.

Las investigaciones resumidas por GEPI encontraron que los modelos lingüísticos describían a las mujeres más en función de sus cualidades interpersonales y a los hombres más en función de su capacidad de liderazgo o competencia. Los estudios sobre generadores de imágenes detectaron una marcada segregación por género en las ocupaciones. Estos resultados corresponden a los modelos y las versiones examinados; no deben interpretarse como una nueva auditoría de todos los sistemas disponibles actualmente.

Los asistentes y compañeros virtuales de consumo plantean otra cuestión. Sus voces, personalidades y respuestas al acoso son decisiones deliberadas de producto. Evaluar únicamente el equilibrio estadístico de sus respuestas puede dejar de lado las suposiciones incorporadas en el diseño mismo del producto.

El análisis también examina las imágenes sexuales sintéticas no consentidas, en cuya producción y difusión la IA puede facilitar los abusos. No se trata solo de una representación inexacta: el uso de la imagen de una persona real sin su consentimiento puede causar un daño directo. Esto exige una respuesta distinta a la corrección de un estereotipo ocupacional en una imagen generada.

Por qué son importantes las pruebas independientes

GEPI describe cuatro mecanismos recurrentes: aprender de registros históricos desiguales, reproducir estereotipos, presentar juicios como mediciones objetivas y permitir que los resultados sesgados alimenten decisiones o modelos posteriores.

Las auditorías independientes ayudan a hacer visibles esos mecanismos. Los investigadores pueden variar un atributo en datos de entrada que, por lo demás, sean comparables y examinar cómo cambian los resultados, incluso sin acceso a la arquitectura interna de un modelo propietario. Sin embargo, que una prueba dé buenos resultados con una instrucción o un referente de evaluación no demuestra que todo un sistema implementado sea justo.

Para las organizaciones que adoptan la IA, la implicación práctica es probar el caso de uso real. Un equipo de selección de personal debe examinar el proceso que va de las puntuaciones de preselección a la elección de candidatos para entrevistas. Una entidad crediticia debe comparar las estimaciones de riesgo con los resultados de los reembolsos. Una organización sanitaria debe entender qué pacientes están representados en los datos de validación y dónde se concentran los errores. Estas comprobaciones responden a preguntas distintas de si un modelo se expresa con fluidez o es preciso en promedio.

Qué demuestra el informe y qué sigue sin saberse

El informe se basa principalmente en datos de Estados Unidos y señala estudios internacionales cuando son pertinentes. Sus fuentes abarcan distintas tecnologías, años y métodos. Algunas documentan resultados; otras revelan comportamientos preocupantes en simulaciones. El análisis no establece una tasa universal de discriminación ni demuestra que todos los sistemas produzcan el mismo sesgo.

También señala un problema de medición: a menudo, los investigadores no pueden acceder a los datos institucionales necesarios para relacionar un resultado con sus consecuencias. Detectar una disparidad es importante, pero comprender su costo en el mundo real puede requerir registros que poseen empleadores, proveedores, entidades crediticias o prestadores de servicios sanitarios.

La contribución de GEPI consiste en vincular hallazgos que suelen abordarse por separado y preguntarse si las pruebas y la rendición de cuentas acompañan a la IA hasta las decisiones en las que influye. El informe completo, Cómo falla la IA a las mujeres: cuando se amplifica el sesgo, incluye la metodología, las referencias de los estudios y las pruebas por sector que sustentan ese argumento.