Los investigadores de inteligencia artificial descubren que los currículos de los solicitantes de empleo son efectivamente imposibles de desgenerar

Investigadores de la Universidad de Nueva York han descubierto que incluso los modelos de Procesamiento de Lenguaje Natural (NLP) más simples son capaces de determinar el género de un solicitante de empleo a partir de un currículum “desprovisto de género” – incluso en casos en los que se han utilizado métodos de aprendizaje automático para eliminar todos los indicadores de género del documento.

Siguiendo un estudio que involucró el procesamiento de 348,000 currículums de hombres y mujeres bien emparejados, los investigadores concluyen:

‘[Hay] una cantidad significativa de información de género en los currículums. Incluso después de intentos significativos para ocultar el género de los currículums, un modelo simple de Tf-Idf puede aprender a discriminar entre [géneros]. Esto valida empíricamente las preocupaciones sobre los modelos que aprenden a discriminar el género y propagan sesgo en los datos de entrenamiento hacia abajo.’

El hallazgo tiene importancia no porque sea realista ocultar el género durante el proceso de selección y entrevista (lo cual claramente no es posible), sino porque llegar a esa etapa puede involucrar una crítica de currículum basada en inteligencia artificial sin intervención humana – y la inteligencia artificial de recursos humanos ha obtenido una reputación manchada por el sesgo de género en los últimos años.

Los resultados del estudio de los investigadores demuestran cuán resistente es el género a los intentos de ocultación:

Resultados del papel de NYU. Fuente: https://arxiv.org/pdf/2112.08910.pdf

Los hallazgos anteriores utilizan una métrica de 0-1 Área bajo la Curva de la Característica del Receptor Operativo (AUROC), donde ‘1’ representa una certeza del 100% de identificación de género. La tabla cubre una serie de ocho experimentos.

Incluso en los peores resultados (experimentos #7 y #8), donde un currículum ha sido tan severamente desprovisto de información que identifica el género como para ser inutilizable, un modelo de NLP simple como Word2Vec todavía es capaz de una identificación de género precisa que se acerca al 70%.

Los investigadores comentan:

‘Dentro del contexto de contratación algorítmica, estos resultados implican que a menos que los datos de entrenamiento sean perfectamente imparciales, incluso los modelos de NLP simples aprenderán a discriminar el género de los currículums y propagarán sesgo hacia abajo.’

Los autores implican que no hay una solución legítima basada en inteligencia artificial para “desgenerar” los currículums en una tubería de contratación practicable, y que las técnicas de aprendizaje automático que hacen cumplir activamente un trato justo son un mejor enfoque para el problema del sesgo de género en el mercado laboral.

En términos de inteligencia artificial, esto es equivalente a “discriminación positiva”, donde los currículums que revelan el género se aceptan como inevitables, pero se aplica un reordenamiento como medida egalitaria. Enfoques de esta naturaleza han sido propuestos por LinkedIn en 2019, y investigadores de Alemania, Italia y España en 2018.

El documento se titula Lenguaje de género en currículums y sus implicaciones para el sesgo algorítmico en la contratación, y está escrito por Prasanna Parasurama, del departamento de Tecnología, Operaciones y Estadísticas de la Escuela de Negocios Stern de NYU, y João Sedoc, profesor asistente de Tecnología, Operaciones y Estadísticas en Stern.

Sesgo de género en la contratación

Los autores enfatizan la escala a la que el sesgo de género en los procedimientos de contratación se está convirtiendo en un sistema literal, con gerentes de recursos humanos que utilizan procesos de “selección” avanzados y basados en algoritmos y aprendizaje automático que equivalen a una rejecting basada en género habilitada por inteligencia artificial.

Los autores citan el caso de un algoritmo de contratación de Amazon que se reveló en 2018 que rechazaba a las candidatas femeninas de manera rutinaria porque había aprendido que históricamente, los hombres eran más propensos a ser contratados

‘El modelo había aprendido a través de los datos históricos de contratación que los hombres eran más propensos a ser contratados, y por lo tanto calificaba los currículums de los hombres más alto que los de las mujeres.

‘Aunque el género del candidato no se incluyó explícitamente en el modelo, aprendió a discriminar entre currículums de hombres y mujeres basándose en la información de género en los currículums – por ejemplo, los hombres eran más propensos a usar palabras como “ejecutado” y “capturado”.’

Además, una investigación de 2011 encontró que los anuncios de trabajo que implícitamente buscan hombres atraen explícitamente a ellos, y desalientan a las mujeres a postular para el puesto. La digitalización y los esquemas de datos grandes prometen enshrinar estas prácticas en sistemas automatizados, si el síndrome no se aborda activamente.

Datos

Los investigadores de NYU entrenaron una serie de modelos para clasificar el género utilizando modelado predictivo. También buscaron establecer cuán bien la capacidad de los modelos para predecir el género podría sobrevivir a la eliminación de cantidades cada vez mayores de información potencialmente reveladora de género, mientras intentaban preservar el contenido relevante para la solicitud.

El conjunto de datos se extrajo de un cuerpo de currículums de solicitantes de ocho empresas de tecnología con sede en EE. UU., con cada currículum acompañado de detalles de nombre, género, años de experiencia, campo de experticia o estudio, y el puesto de trabajo objetivo para el que se envió el currículum.

Para extraer información contextual más profunda de estos datos en forma de representación vectorial, los autores entrenaron un modelo Word2Vec. Esto se parseó en tokens y se filtró, finalmente resolviendo en una representación incrustada para cada currículum.

Las muestras masculinas y femeninas se emparejaron 1-1, y se obtuvo un subconjunto emparejando a los mejores candidatos masculinos y femeninos objetivamente adecuados para el trabajo, con un margen de error de 2 años, en términos de experiencia en su campo. Así, el conjunto de datos consiste en 174,000 currículums masculinos y 174,000 currículums femeninos.

Arquitectura y bibliotecas

Los tres modelos utilizados para la tarea de clasificación fueron Frecuencia del Término-Inversa de la Frecuencia del Documento (TF-IDF) + Logístico, Incrustaciones de palabras + Logístico, y Longformer.

El primer modelo ofrece una línea de base de “bolso de palabras” que discrimina el género basándose en diferencias léxicas. El segundo enfoque se empleó tanto con un sistema de incrustaciones de palabras fuera de la estantería como con incrustaciones de palabras desprovistas de género.

Los datos se dividieron 80/10/10 entre entrenamiento, evaluación y prueba,

Como se ve en los resultados que se muestran arriba, la biblioteca Longformer basada en transformadores, notablemente más sofisticada que los enfoques anteriores, estuvo casi a punto de igualar a un currículum completamente “desprotegido” en términos de su capacidad para detectar el género a partir de documentos que habían sido activamente desprovistos de identificadores de género conocidos.

Los experimentos realizados incluyeron estudios de ablación de datos, donde se eliminó una cantidad creciente de información que revelaba el género de los currículums, y se probaron los modelos contra estos documentos más taciturnos.

La información eliminada incluyó pasatiempos (un criterio derivado de la definición de Wikipedia de “pasatiempos”), identificadores de LinkedIn y URL que podrían revelar el género. Además, se eliminaron términos como “fraternidad”, “camarera” y “vendedor” en estas versiones más escuetas.

Resultados adicionales

Además de los resultados discutidos anteriormente, los investigadores de NYU encontraron que las incrustaciones de palabras desprovistas de género no redujeron la capacidad de los modelos para predecir el género. En el documento, los autores sugieren la medida en que el género permea el lenguaje escrito, observando que estos mecanismos y signos aún no son bien entendidos.