La IA no elimina los sesgos humanos. Los amplifica.

A menudo se presenta la IA como una forma de tomar decisiones más objetivas: según esta lógica, basta con eliminar el juicio humano para eliminar los sesgos humanos. Cada vez más estudios refutan esta idea.

Los sistemas de IA aprenden de la historia humana. Se entrenan con nuestras decisiones, nuestro lenguaje, nuestras instituciones y, como es inevitable, nuestros puntos ciegos. Cuando estos sistemas seleccionan candidatos, asignan recursos sanitarios o evalúan a empleados, pueden reproducir esos sesgos a una escala y con una rapidez que ningún ser humano podría igualar.

El problema más grave es que las decisiones parecen neutrales. Aparece una puntuación. Se muestra una clasificación. Se genera una recomendación. No hay huellas visibles de las suposiciones que las sustentan, y nadie en la sala necesariamente se siente responsable del resultado.

Por eso, el sesgo de la IA no es principalmente un problema del modelo, sino de gobernanza. Un modelo se puede volver a entrenar, pero las preguntas más difíciles son de carácter organizativo: quién es responsable de cada decisión, qué busca optimizar el sistema y quién tiene autoridad para cuestionarlo.

Los sesgos humanos entran en la IA y vuelven a salir a velocidad de máquina

El mecanismo no es ningún misterio. Los modelos se ajustan a patrones estadísticos presentes en sus datos de entrenamiento y, cuando los resultados históricos (quién consiguió un empleo, quién recibió atención médica) ya reflejan la discriminación, el objetivo que el modelo aprende a predecir parte de una inclinación inicial. Estudios recientes muestran lo fácilmente que esto ocurre con distintos proveedores y tareas:

• Contratación a gran escala. Un análisis de Stanford de 4 millones de solicitudes de empleo reales reveló que el 26 % de los solicitantes negros y el 15 % de los solicitantes asiáticos se postularon a puestos en los que el sistema de IA discriminaba a su grupo racial. Los modelos habían aprendido de décadas de decisiones humanas de contratación.
• Clasificación de currículos. Investigadores de la University of Washington evaluaron más de 550 currículos reales con modelos de lenguaje actuales y descubrieron que los nombres asociados a personas blancas recibían preferencia el 85 % de las veces, mientras que rara vez se preferían los nombres de hombres negros.
• Comunicación en el lugar de trabajo. Un estudio de Johns Hopkins publicado a principios de este año reveló que GPT-4, Llama, Gemma y Mistral generaban correos electrónicos laborales menos sofisticados y menos formales cuando las instrucciones incluían patrones lingüísticos más habituales entre las mujeres.

Cuando se implementa un sistema de este tipo, esos patrones dejan de ser una característica de los datos de entrenamiento y pasan a formar parte de las decisiones cotidianas.

El verdadero peligro está en la escala y el silencio

Un reclutador sesgado podría revisar cientos de currículos en un año. Un sistema de selección sesgado puede procesar millones de solicitudes de la noche a la mañana y aplicar la misma lógica defectuosa a cada una. Una decisión sesgada de una persona suele ser un hecho aislado; las decisiones sesgadas de un modelo pueden convertirse rápidamente en política.

La atención médica ofrece uno de los ejemplos más claros. Un algoritmo de uso extendido, que afectó a millones de pacientes, se diseñó para identificar a las personas que se beneficiarían de recibir atención adicional. El algoritmo puntuaba a los pacientes negros como más sanos que a los pacientes blancos igual de enfermos. Nadie había escrito una regla racista. El algoritmo utilizaba el gasto sanitario como indicador indirecto de la necesidad médica y, como históricamente los pacientes negros habían recibido menos atención y, por tanto, generado menos gastos, interpretaba un menor gasto como señal de mejor salud. Según el análisis de los investigadores publicado en Science, corregir esa única decisión de diseño habría elevado del 17,7 % al 46,5 % la proporción de pacientes negros identificados como necesitados de ayuda adicional.

Los sistemas de IA no se limitan a reflejar las métricas que les damos: también reflejan las suposiciones que hay detrás de ellas. Los sesgos humanos son igual de reales; simplemente son más difíciles de detectar y analizar. Por eso, la respuesta está en una mejor gobernanza, no en abandonar la automatización.

Incorporar la rendición de cuentas a la decisión

El enfoque habitual para implementar la IA consiste en elegir un modelo, integrarlo en el flujo de trabajo, supervisar su rendimiento y mejorarlo con el tiempo. Cuando los resultados del sistema afectan a las personas, eso no basta.

A esta alternativa la llamo integración en lugar de despliegue: la persona responsable debe participar en la decisión y tener autoridad real para cambiarla, en vez de revisar paneles de control una vez por trimestre, cuando ya es demasiado tarde. Se empieza con tres pasos:

1. Identificar todas las decisiones que la IA ahora selecciona, puntúa o aprueba, y asignar a cada una una persona responsable por nombre.
2. Auditar los antecedentes que se introducen en el modelo antes de que se conviertan en política.
3. Permitir que sea seguro contradecir al modelo y hacer un seguimiento de la tasa de anulaciones.

El tercer paso es el más importante. Si los empleados aprenden que discrepar de la máquina se considerará un error, dejarán de hacerlo, y la IA se convertirá en quien toma las decisiones de facto, aunque técnicamente siga habiendo una persona «en el circuito». La pregunta no es si una persona tiene la última palabra, sino si tiene la autoridad, la información y la seguridad psicológica necesarias para decir: «La máquina se equivoca».

Volver a entrenar el modelo ayuda, pero los sesgos se introducen a través de las decisiones: qué busca optimizar el modelo, qué datos se tienen en cuenta y quién revisa los resultados. Ahí es donde hay que buscar. También hacen falta líderes de IA capaces de preguntar por qué un sistema clasificó algo de determinada manera y con autoridad para actuar en función de la respuesta.

La tasa de anulaciones es útil porque puede interpretarse de distintas maneras. Si la gente casi nunca anula el sistema, quizá simplemente sea preciso. O quizá haya aprendido que no es seguro discrepar. Si solo lo anulan personas de alto rango, es posible que el personal júnior haya aprendido a guardar silencio, aunque a menudo es quien está más cerca de los resultados y de las personas afectadas. El objetivo no es que no haya ninguna anulación. Se trata de fomentar una cultura en la que una anulación bien fundamentada se considere una señal de que el sistema funciona. Cuando alguien invalide el modelo y resulte tener razón, cuenten ese caso ampliamente. Puede que sea el mejor material de formación en IA que produzca jamás su empresa.

Evaluar los resultados, no las intenciones

Las organizaciones no necesitan esperar a que se produzca un fallo grave para empezar a detectar sesgos. Ya pueden realizar tres pruebas:

1. Una comparación controlada. Realicen la misma tarea modificando únicamente la señal demográfica, como el nombre en un currículum o el dialecto de una instrucción. Mantengan todo lo demás constante, incluida la plantilla de la instrucción y el orden de las entradas. Como los resultados del modelo varían de una ejecución a otra, repitan cada par varias veces y utilicen suficientes pares para que no pueda descartarse una diferencia como mero ruido. Así es, en esencia, como los investigadores detectaron las disparidades en la clasificación de currículums y en las comunicaciones laborales generadas; un equipo interno puede poner a prueba una primera versión en una tarde.
2. Una auditoría de indicadores indirectos. Para cada métrica que optimice el sistema, háganse dos preguntas: ¿qué mide realmente esta cifra y a quién podría dejar de contabilizar? El algoritmo sanitario no era malo prediciendo la métrica que había elegido. Era bueno prediciendo los costos. El problema era que los costos se utilizaban como sustituto de la necesidad médica. Un sistema puede ser preciso según su propia métrica y, aun así, equivocarse gravemente con las personas a las que afecta.
3. Una comparación de resultados. Comparen las tasas de selección o aprobación entre grupos en condiciones reales de uso. La regla de los cuatro quintos, utilizada en las prácticas laborales de Estados Unidos y que señala a un grupo cuya tasa es inferior al 80 % de la tasa más alta, es una prueba inicial habitual. Combínenla con el seguimiento de las anulaciones descrito anteriormente.

Estas pruebas tienen limitaciones. Cambiar un nombre permite detectar señales demográficas explícitas, pero no indicadores indirectos como el código postal, el centro educativo o las lagunas laborales; por eso es importante comparar los resultados. Las medidas técnicas de mitigación (reponderar los datos de entrenamiento, añadir restricciones de equidad y ajustar los umbrales de decisión) pueden reducir las disparidades, pero obligan a elegir. Kleinberg, Mullainathan y Raghavan, así como Chouldechova por separado, demostraron que cuando los grupos tienen tasas base distintas, un modelo generalmente no puede satisfacer al mismo tiempo la calibración y la igualdad de las tasas de error. Un modelo no puede decidir qué definición de equidad debe priorizarse. Esa decisión debe asumirla y documentarla una persona, lo que devuelve el problema a la gobernanza.

Evaluar la equidad junto con la precisión

Con demasiada frecuencia, la equidad se trata como una iniciativa aparte, algo que Recursos Humanos o el departamento jurídico revisan después de que el equipo técnico haya evaluado la precisión, la eficiencia y los costos. Esa separación forma parte del problema. La equidad debe revisarse en la misma reunión que la precisión y los costos, con la misma rendición de cuentas y una persona responsable identificada.

En esa conversación deben participar Recursos Humanos y el departamento jurídico, así como personas a las que sistemas de este tipo hayan juzgado injustamente. Quienes han sido infravalorados suelen ser los primeros en darse cuenta de lo que el sistema no detecta. Esta es una idea central de mi libro, The Bias Advantage: las perspectivas que las organizaciones han pasado por alto históricamente se convierten en una poderosa fuente de conocimiento cuando se incorporan al proceso de toma de decisiones.

El objetivo no es contar con un sistema de IA que nunca cometa errores, algo poco realista. Se trata de que la organización pueda reconocer cuándo la IA se equivoca, entender por qué e intervenir antes de que el error se convierta en la realidad de otra persona.