Els investigadors de l'IA troben que els currículums dels sol·licitants de feina són efectivament impossibles d'eliminar el gènere

Els investigadors de la Universitat de Nova York han descobert que fins i tot models de processament del llenguatge natural (PNL) molt senzills són bastant capaços de determinar el gènere d'un sol·licitant de feina a partir d'un currículum "exempt de gènere", fins i tot en els casos en què s'han utilitzat mètodes d'aprenentatge automàtic per eliminar-los. tots els indicadors de gènere del document.

Després d'un estudi que va implicar el processament de 348,000 currículums masculins i femenins ben combinats, els investigadors conclouen:

"[Hi ha] una quantitat important d'informació de gènere als currículums. Fins i tot després d'intents significatius d'ofuscar el gènere dels currículums, un model Tf-Idf senzill pot aprendre a discriminar entre [gèneres]. Això valida empíricament les preocupacions sobre els models que aprenen a discriminar el gènere i propagar el biaix a les dades d'entrenament aigües avall".

La troballa té importància no perquè sigui realista possible ocultar el gènere durant el procés de cribratge i entrevista (que és evident que no ho és), sinó perquè només arribar a aquesta etapa pot implicar una crítica basada en IA del currículum sense humans en- the-loop, i HR AI ha obtingut una reputació embrutada pel biaix de gènere en els últims anys.

Els resultats de l'estudi dels investigadors demostren com és de resistent el gènere als intents d'ofuscament:

Resultats del document de la NYU. Font: https://arxiv.org/pdf/2112.08910.pdf

Els resultats anteriors utilitzen un 0-1 Zona sota la característica de funcionament del receptor (AUROC), on "1" representa una certesa del 100% de la identificació de gènere. La taula cobreix un ventall de vuit experiments.

Fins i tot en els resultats de pitjor rendiment (experiments núm. 7 i núm. 8), on un currículum ha estat tan severament despullat de la informació d'identificació de gènere que no es pot utilitzar, un model de PNL senzill com ara Word2Old encara és capaç d'una identificació de gènere precisa que s'aproxima al 70%.

Els investigadors comenten:

"Dins del context de contractació algorítmica, aquests resultats impliquen que tret que les dades de formació siguin perfectament imparcials, fins i tot els models simples de PNL aprendran a discriminar el gènere dels currículums i a propagar el biaix aigües avall".

Els autors impliquen que no hi ha cap solució legítima basada en IA per als currículums de "des-gènere" en un canal de contractació viable, i que les tècniques d'aprenentatge automàtic que imposen activament un tracte just són un millor enfocament per al problema del biaix de gènere al mercat laboral.

En termes d'IA, això equival a "discriminació positiva", on els currículums que revelen el gènere s'accepten com a inevitables, però el reclassificació s'aplica activament com a mesura igualitària. S'han proposat plantejaments d'aquestes característiques per LinkedIn el 2019, i investigadors d'Alemanya, Itàlia i Espanya en 2018.

El paper es titula El llenguatge de gènere als currículums i les seves implicacions per al biaix algorítmic en la contractació, i està escrit per Prasanna Parasurama, del departament de Tecnologia, Operacions i Estadístiques de la NYU Stern Business School, i João Sedoc, professor adjunt de Tecnologia, Operacions i Estadístiques de Stern.

Biaix de gènere en la contractació

Els autors subratllen l'escala en què el biaix de gènere en els procediments de contractació s'està sistematitzant literalment, amb els gestors de recursos humans que utilitzen processos de "detecció" avançats d'algoritmes i aprenentatge automàtic que equivalen a un rebuig basat en el gènere activat per l'IA.

Els autors citen el cas d'un algorisme de contractació a Amazon revelat el 2018 per haver rebutjat candidatures femenines de manera memoritzada perquè s'havia assabentat que històricament, els homes tenien més probabilitats de ser contractats.

"El model havia après a través de dades històriques de contractació que els homes tenien més probabilitats de ser contractats i, per tant, valorava els currículums masculins més alts que els femenins.

"Tot i que el gènere candidat no es va incloure explícitament al model, va aprendre a discriminar entre currículums masculins i femenins en funció de la informació de gènere dels currículums; per exemple, els homes eren més propensos a utilitzar paraules com "executat" i "capturat".'

A més, una investigació del 2011 va trobar que els anuncis de feina que implícitament busquen homes atreure-los explícitament, i de la mateixa manera desanimar les dones de sol·licitar el lloc. La digitalització i els esquemes de grans dades prometen consagrar encara més aquestes pràctiques en sistemes automatitzats, si la síndrome no es corregeix activament.

dades

Els investigadors de la NYU van entrenar una sèrie de models per classificar el gènere mitjançant el modelatge predictiu. A més, van intentar establir fins a quin punt la capacitat dels models de predir el gènere podria sobreviure a l'eliminació de quantitats cada cop més grans d'informació potencialment reveladora de gènere, alhora que intentaven preservar el contingut rellevant per a l'aplicació.

El conjunt de dades es va extreure d'un conjunt de currículums de sol·licitants de vuit empreses de TI amb seu als Estats Units, amb cada currículum acompanyat de detalls del nom, sexe, anys d'experiència, camp d'especialització o estudi i l'oferta de treball objectiu per a la qual es va enviar el currículum. .

Per extreure informació contextual més profunda d'aquestes dades en forma de representació vectorial, els autors van entrenar un model Word2Vec. A continuació, es va analitzar en fitxes i es va filtrar, i finalment es va resoldre en una representació incrustada per a cada currículum.

Les mostres masculines i femenines es van emparellar 1-1 i es va obtenir un subconjunt emparellant els millors candidats homes i dones objectivament adequats per a la feina, amb un marge d'error de 2 anys, en termes d'experiència en el seu camp. Així, el conjunt de dades consta de 174,000 currículums masculins i 174,000 femenins.

Arquitectura i Biblioteques

Els tres models utilitzats per a la tasca de classificació van ser Freqüència de termes-Freqüència inversa del document (TF-IDF) + Logística, Word Embeddings + Logística i Longformer.

El primer model ofereix un conjunt de paraules que discrimina el gènere en funció de les diferències lèxiques. El segon enfocament es va utilitzar tant amb un sistema d'inserció de paraules disponible com amb incrustacions de paraules amb desbiaixament de gènere.

Les dades es van dividir el 80/10/10 entre formació, avaluació i proves,

Com es veu als resultats que es mostren anteriorment, la biblioteca Longformer basada en transformadors, notablement més sofisticada que els enfocaments anteriors, gairebé va ser capaç d'equivaler a un currículum completament "desprotegit" pel que fa a la seva capacitat per detectar el gènere a partir de documents que s'havien retirat activament. identificadors de gènere coneguts.

Els experiments realitzats van incloure estudis d'ablació de dades, on es va eliminar una quantitat creixent d'informació que revelava el gènere dels currículums, i els models es van provar amb aquests documents més taciturns.

La informació eliminada incloïa aficions (un criteri derivat de la definició de "aficions" de la Viquipèdia), identificadors de LinkedIn i URL que podrien revelar el gènere. A més, termes com "fraternitat", "cambrera" i "venedor" es van eliminar en aquestes versions més disperses.

Resultats addicionals

A més dels resultats comentats anteriorment, els investigadors de la NYU van trobar que les incrustacions de paraules esbiaixades no van reduir la capacitat dels models per predir el gènere. En el document, els autors insinuen fins a quin punt el gènere impregna el llenguatge escrit, assenyalant que aquests mecanismes i significants encara no s'entenen bé.