Inteligencia artificial
Los currículos de los solicitantes de empleo son efectivamente imposibles de eliminar el género, según los investigadores de IA
Investigadores de la Universidad de Nueva York han descubierto que incluso modelos muy simples de procesamiento del lenguaje natural (PNL) son bastante capaces de determinar el género de un solicitante de empleo a partir de un currículum "desprovisto de género", incluso en casos en los que se han utilizado métodos de aprendizaje automático para eliminar todos los indicadores de género del documento.
Después de un estudio que involucró el procesamiento de 348,000 currículos masculinos y femeninos bien emparejados, los investigadores concluyen:
'[Hay] una cantidad significativa de información de género en los currículos. Incluso después de intentos significativos de ocultar el género de los currículos, un modelo simple Tf-Idf puede aprender a discriminar entre [géneros]. Esto valida empíricamente las preocupaciones sobre los modelos que aprenden a discriminar el género y propagar sesgos en los datos de entrenamiento aguas abajo”.
El hallazgo tiene importancia no porque sea realmente posible ocultar el género durante el proceso de selección y entrevista (que claramente no lo es), sino porque solo llegar a esa etapa puede implicar una crítica basada en IA del currículum sin humanos en- the-loop, y HR AI ha obtenido una reputación mancillada por el sesgo de género en los últimos años.
Los resultados del estudio de los investigadores demuestran cuán resistente es el género a los intentos de ofuscación:
Resultados del artículo de la NYU. Fuente: https://arxiv.org/pdf/2112.08910.pdf
Los resultados anteriores utilizan un 0-1 Área bajo la característica de funcionamiento del receptor (AUROC) métrica, donde '1' representa un 100% de certeza de identificación de género. La tabla cubre un rango de ocho experimentos.
Incluso en los resultados de peor desempeño (experimentos n.° 7 y n.° 8), donde un currículum ha sido despojado tan severamente de la información de identificación de género que no se puede utilizar, un modelo simple de PNL como Palabra2Vec todavía es capaz de una identificación de género precisa que se acerca al 70%.
Los investigadores comentan:
"Dentro del contexto de contratación algorítmica, estos resultados implican que, a menos que los datos de capacitación sean perfectamente imparciales, incluso los modelos simples de PNL aprenderán a discriminar el género de los currículos y propagar el sesgo en sentido descendente".
Los autores insinúan que no existe una solución legítima basada en IA para currículums "sin género" en una tubería de contratación practicable, y que las técnicas de aprendizaje automático que imponen activamente un trato justo son un mejor enfoque para el problema del sesgo de género en el mercado laboral.
En términos de IA, esto es equivalente a la 'discriminación positiva', donde los currículums que revelan el género se aceptan como inevitables, pero la reclasificación se aplica activamente como una medida igualitaria. Se han propuesto enfoques de esta naturaleza por LinkedIn en 2019, e investigadores de Alemania, Italia y España en 2018.
El se titula Lenguaje de género en los currículos y sus implicaciones para el sesgo algorítmico en la contratación, y está escrito por Prasanna Parasurama, del departamento de Tecnología, Operaciones y Estadística de la Escuela de Negocios Stern de la NYU, y João Sedoc, Profesor Asistente de Tecnología, Operaciones y Estadística de la Stern.
Sesgo de género en la contratación
Los autores enfatizan la escala en la que el sesgo de género en los procedimientos de contratación se está sistematizando literalmente, con los gerentes de recursos humanos que utilizan procesos avanzados de 'selección' impulsados por el aprendizaje automático y algorítmicos que equivalen al rechazo basado en el género habilitado por IA.
Los autores citan el caso de un algoritmo de contratación en Amazon que fue revelado en 2018 haber rechazado candidatas de manera rutinaria porque había aprendido que, históricamente, era más probable que se contratara a hombres
“El modelo había aprendido a través de los datos históricos de contratación que los hombres tenían más probabilidades de ser contratados y, por lo tanto, calificaron los currículums masculinos más altos que los currículums femeninos.
"Aunque el género del candidato no se incluyó explícitamente en el modelo, aprendió a discriminar entre currículums masculinos y femeninos en función de la información de género en los currículums; por ejemplo, era más probable que los hombres usaran palabras como "ejecutado" y "capturado".
Además, una investigación de 2011 encontró que los anuncios de trabajo que implícitamente buscan hombres atraerlos explícitamente, y asimismo disuadir a las mujeres de postularse para el puesto. Los esquemas de digitalización y big data prometen consagrar aún más estas prácticas en sistemas automatizados, si el síndrome no se corrige activamente.
Datos
Los investigadores de la NYU entrenaron una serie de modelos para clasificar el género utilizando modelos predictivos. Además, buscaron establecer qué tan bien la capacidad de los modelos para predecir el género podría sobrevivir a la eliminación de cantidades cada vez mayores de información potencialmente reveladora de género, mientras intentaban preservar el contenido relevante para la aplicación.
El conjunto de datos se extrajo de un conjunto de currículos de candidatos de ocho empresas de TI con sede en los EE. UU., con cada currículo acompañado de detalles de nombre, género, años de experiencia, campo de especialización o estudio, y el puesto de trabajo objetivo para el cual se envió el currículo. .
Para extraer información contextual más profunda de estos datos en forma de representación vectorial, los autores entrenaron un modelo Word2Vec. Luego, esto se analizó en tokens y se filtró, y finalmente se resolvió en una representación incrustada para cada currículum.
Las muestras de hombres y mujeres se emparejaron 1-1, y se obtuvo un subconjunto emparejando a los mejores candidatos masculinos y femeninos objetivamente apropiados para el trabajo, con un margen de error de 2 años, en términos de experiencia en su campo. Por lo tanto, el conjunto de datos consta de 174,000 currículos masculinos y 174,000 femeninos.
Arquitectura y Bibliotecas
Los tres modelos utilizados para la tarea de clasificación fueron Frecuencia de término-Frecuencia de documento inversa (TF-FDI) + Logístico, Word Embeddings + Logística, y De larga duración.
El primer modelo ofrece una línea de base de bolsa de palabras que discrimina el género en función de las diferencias léxicas. El segundo enfoque se empleó tanto con un sistema de incrustaciones de palabras listo para usar como con incrustaciones de palabras con sesgo de género.
Los datos se dividieron 80/10/10 entre entrenamiento, evaluación y prueba,
Como se ve en los resultados que se muestran arriba, la biblioteca Longformer basada en transformadores, notablemente más sofisticada que los enfoques anteriores, fue casi capaz de igualar un currículum completamente "desprotegido" en términos de su capacidad para detectar el género de los documentos que habían sido despojados activamente de identificadores de género conocidos.
Los experimentos realizados incluyeron estudios de ablación de datos, donde se eliminó una cantidad cada vez mayor de información reveladora de género de los currículos, y los modelos se probaron con estos documentos más taciturnos.
La información eliminada incluía pasatiempos (un criterio derivado de la definición de "pasatiempos" de Wikipedia), ID de LinkedIn y URL que podrían revelar el género. Además, términos como 'fraternidad', 'camarera' y 'vendedor' se eliminaron en estas versiones más dispersas.
Resultados adicionales
Además de los resultados discutidos anteriormente, los investigadores de la NYU encontraron que las incrustaciones de palabras sin sesgo no redujeron la capacidad de los modelos para predecir el género. En el artículo, los autores insinúan hasta qué punto el género impregna el lenguaje escrito, y señalan que estos mecanismos y significantes aún no se comprenden bien.
