Les CV des candidats à un emploi sont pratiquement impossibles à dégender, constatent les chercheurs en IA

Les chercheurs de l’Université de New York ont découvert que même les modèles de traitement du langage naturel (NLP) les plus simples sont capables de déterminer le sexe d’un candidat à un emploi à partir d’un CV “dégendérisé” – même dans les cas où des méthodes d’apprentissage automatique ont été utilisées pour supprimer tous les indicateurs de sexe du document.

Suite à une étude qui a impliqué le traitement de 348 000 CV de candidats masculins et féminins bien appariés, les chercheurs concluent:

‘Il y a une quantité significative d’informations genrées dans les CV. Même après des tentatives importantes pour obscurcir le sexe des CV, un modèle Tf-Idf simple peut apprendre à discriminer entre les sexes. Cela valide empiriquement les préoccupations concernant les modèles qui apprennent à discriminer le sexe et propagent les préjugés dans les données de formation en aval.’

La découverte est importante non parce qu’il est réaliste de cacher le sexe pendant le processus de sélection et d’entretien (ce qui est clairement impossible), mais plutôt parce que simplement arriver à ce stade peut impliquer une critique de CV basée sur l’IA sans intervention humaine – et l’IA RH a acquis une réputation entachée de biais de sexe ces dernières années.

Les résultats de l’étude des chercheurs montrent à quel point le sexe est résistant aux tentatives d’obscurcissement:

Résultats de l’article de l’Université de New York. Source: https://arxiv.org/pdf/2112.08910.pdf

Les résultats ci-dessus utilisent une métrique de 0-1 Zone sous la courbe ROC (AUROC), où ‘1’ représente une certitude de 100 % d’identification du sexe. Le tableau couvre une gamme de huit expériences.

Même dans les résultats les moins performants (expériences n° 7 et 8), où un CV a été tellement dépouillé d’informations d’identification de sexe qu’il est devenu inutilisable, un modèle NLP simple tel que Word2Vec est toujours capable d’une identification précise du sexe approchant 70 %.

Les chercheurs commentent:

‘Dans le contexte de l’embauche algorithmique, ces résultats impliquent que, à moins que les données de formation ne soient parfaitement impartiales, même les modèles NLP simples apprendront à discriminer le sexe à partir des CV et propageront les préjugés en aval.’

Les auteurs impliquent qu’il n’y a pas de solution basée sur l’IA pour “dégendrer” les CV dans un processus d’embauche pratique, et que les techniques d’apprentissage automatique qui appliquent activement un traitement équitable sont une meilleure approche du problème du biais de sexe sur le marché du travail.

En termes d’IA, cela équivaut à une “discrimination positive”, où les CV révélant le sexe sont acceptés comme inévitables, mais un re classement est appliqué activement comme mesure égalitaire. Des approches de ce type ont été proposées par LinkedIn en 2019, et des chercheurs allemands, italiens et espagnols en 2018.

L’article intitulé Langage genré dans les CV et ses implications pour les préjugés algorithmiques dans l’embauche, est écrit par Prasanna Parasurama, du département Technologie, opérations et statistiques de l’École de commerce Stern de l’Université de New York, et João Sedoc, professeur adjoint de technologie, opérations et statistiques à Stern.

Biais de sexe dans l’embauche

Les auteurs soulignent l’ampleur à laquelle le biais de sexe dans les procédures d’embauche devient littéralement systématique, avec des gestionnaires des ressources humaines utilisant des processus de “sélection” algorithmiques et basés sur l’apprentissage automatique qui équivalent à un rejet basé sur le sexe activé par l’IA.

Les auteurs citent le cas d’un algorithme d’embauche d’Amazon qui a été révélé en 2018 pour avoir rejeté les candidates féminines de manière routinière parce qu’il avait appris que, historiquement, les hommes étaient plus susceptibles d’être embauchés

‘Le modèle avait appris à partir des données historiques d’embauche que les hommes étaient plus susceptibles d’être embauchés, et il a donc classé les CV masculins plus haut que les CV féminins.

‘Bien que le sexe du candidat n’ait pas été explicitement inclus dans le modèle, il a appris à discriminer entre les CV masculins et féminins en fonction des informations genrées contenues dans les CV – par exemple, les hommes étaient plus susceptibles d’utiliser des mots tels que “exécuté” et “capturé”.’

En outre, des recherches menées en 2011 ont montré que les annonces d’emploi qui recherchent implicitement des hommes attirent explicitement les hommes et découragent les femmes de postuler pour le poste. La numérisation et les schémas de données promettent d’inscrire ces pratiques dans des systèmes automatisés, si le syndrome n’est pas activement corrigé.

Données

Les chercheurs de l’Université de New York ont formé une série de modèles pour classer le sexe en utilisant la modélisation prédictive. Ils ont également cherché à établir à quel point la capacité des modèles à prédire le sexe pourrait survivre à la suppression de plus en plus grande d’informations potentiellement révélant le sexe, tout en essayant de préserver le contenu pertinent pour la candidature.

Le jeu de données a été extrait d’un ensemble de CV de candidats de huit sociétés américaines de technologie, chaque CV étant accompagné de détails sur le nom, le sexe, les années d’expérience, le domaine d’expertise ou d’étude, et le poste pour lequel le CV a été envoyé.

Pour extraire des informations contextuelles plus approfondies à partir de ces données sous forme de représentation vectorielle, les auteurs ont formé un modèle Word2Vec. Celui-ci a ensuite été analysé en jetons et filtré, aboutissant finalement à une représentation intégrée pour chaque CV.

Les échantillons masculins et féminins ont été appariés 1-1, et un sous-ensemble a été obtenu en appariant les meilleurs candidats masculins et féminins objectivement les plus adaptés au poste, avec une marge d’erreur de 2 ans, en termes d’expérience dans leur domaine. Ainsi, le jeu de données se compose de 174 000 CV masculins et 174 000 CV féminins.

Architecture et bibliothèques

Les trois modèles utilisés pour la tâche de classification étaient Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word Embeddings + Logistic, et Longformer.

Le premier modèle offre une référence de base de sac de mots qui discrimine le sexe en fonction de différences lexicales. La deuxième approche a été employée à la fois avec un système d’incrustations de mots hors étagère et avec des incrustations de mots dégenrées.

Les données ont été divisées 80/10/10 entre formation, évaluation et test,

Comme le montrent les résultats affichés ci-dessus, la bibliothèque Longformer basée sur les transformateurs, nettement plus sophistiquée que les approches précédentes, a presque réussi à égaler un CV complètement “non protégé” en termes de capacité à détecter le sexe à partir de documents qui avaient été activement dépouillés d’identificateurs de sexe connus.

Les expériences menées comprenaient des études d’ablation de données, où une quantité croissante d’informations révélant le sexe a été supprimée des CV, et les modèles ont été testés contre ces documents plus taciturnes.

Les informations supprimées comprenaient les loisirs (un critère dérivé de la définition de “loisirs” de Wikipedia), les identifiants LinkedIn et les URL qui pourraient révéler le sexe. De plus, des termes tels que “fraternité”, “serveuse” et “vendeur” ont été supprimés dans ces versions plus dépouillées.

Résultats supplémentaires

En plus des résultats discutés ci-dessus, les chercheurs de l’Université de New York ont constaté que les incrustations de mots dégenrées n’ont pas réduit la capacité des modèles à prédire le sexe. Dans l’article, les auteurs font allusion à l’étendue à laquelle le sexe imprègne le langage écrit, notant que ces mécanismes et signifiants ne sont pas encore bien compris.