CV-er for jobbsøkere er faktisk umulige å avkjønne, finner AI-forskere

Forskere fra New York University har funnet ut at selv svært enkle Natural Language Processing (NLP)-modeller er ganske i stand til å bestemme kjønnet til en jobbsøker fra en "kjønnsstripet" CV - selv i tilfeller der maskinlæringsmetoder har blitt brukt for å fjerne alle kjønnsindikatorer fra dokumentet.

Etter en studie som involverte behandling av 348,000 XNUMX velmatchede CV-er for menn og kvinner, konkluderer forskerne:

«[Det] er en betydelig mengde kjønnsbasert informasjon i CV-er. Selv etter betydelige forsøk på å skjule kjønn fra CV-er, kan en enkel Tf-Idf-modell lære å skille mellom [kjønn]. Dette validerer empirisk bekymringene rundt modeller som lærer å diskriminere kjønn og sprer skjevheter i treningsdataene nedstrøms.'

Funnet har ikke betydning fordi det er realistisk mulig å skjule kjønn under screenings- og intervjuprosessen (noe det tydeligvis ikke er), men snarere fordi det å komme til det stadiet kan innebære en AI-basert kritikk av CV-en uten mennesker i- the-loop – og HR AI har fått et tilsmusset rykte for kjønnsskjevhet de siste årene.

Resultater fra forskernes studie viser hvor motstandsdyktig kjønn er overfor forsøk på tilsløring:

Resultater fra NYU-avisen. Kilde: https://arxiv.org/pdf/2112.08910.pdf

Funnene ovenfor bruker en 0-1 Område under mottakerens driftskarakteristikk (AUROC) metrisk, der '1' representerer en 100 % sikkerhet for kjønnsidentifikasjon. Tabellen dekker en rekke av åtte eksperimenter.

Selv i de dårligste resultatene (eksperiment #7 og #8), der en CV har blitt så alvorlig fratatt kjønnsidentifiserende informasjon at den ikke kan brukes, er en enkel NLP-modell som f.eks. Word2Old er fortsatt i stand til en nøyaktig kjønnsidentifikasjon som nærmer seg 70 %.

Forskerne kommenterer:

"Innenfor den algoritmiske ansettelseskonteksten, antyder disse resultatene at med mindre treningsdataene er helt objektive, vil selv enkle NLP-modeller lære å skille kjønn fra CV og spre skjevhet nedstrøms."

Forfatterne antyder at det ikke finnes noen legitim AI-basert løsning for å "avkjønne" CV i en praktisk ansettelsespipeline, og at maskinlæringsteknikker som aktivt håndhever rettferdig behandling er en bedre tilnærming til problemet med kjønnsskjevhet på arbeidsmarkedet.

I AI-termer tilsvarer dette "positiv diskriminering", der kjønnsavslørende CV er akseptert som uunngåelig, men omrangering brukes aktivt som et egalitært tiltak. Tilnærminger av denne art er foreslått av LinkedIn i 2019, og forskere fra Tyskland, Italia og Spania i 2018.

De papir har tittelen Kjønnsdelt språk i CV og dets implikasjoner for algoritmisk skjevhet ved ansettelse, og er skrevet av Prasanna Parasurama, fra Technology, Operations and Statistics-avdelingen ved NYU Stern Business School, og João Sedoc, assisterende professor i teknologi, operasjoner og statistikk ved Stern.

Kjønnsskjevhet ved ansettelse

Forfatterne understreker omfanget der kjønnsskjevhet i ansettelsesprosedyrer blir bokstavelig talt systematisert, med HR-ledere som bruker avanserte algoritmiske og maskinlæringsdrevne "screening"-prosesser som utgjør AI-aktivert avvisning basert på kjønn.

Forfatterne siterer tilfellet med en ansettelsesalgoritme hos Amazon som var avslørt i 2018 å ha avvist kvinnelige kandidater på en utenatlig måte fordi den hadde lært at historisk sett var det mer sannsynlig at menn ble ansatt

«Modellen hadde lært gjennom historiske ansettelsesdata at menn var mer sannsynlige for å bli ansatt, og rangerte derfor mannlige CVer høyere enn kvinnelige CVer.

"Selv om kandidatens kjønn ikke var eksplisitt inkludert i modellen, lærte den å skille mellom mannlige og kvinnelige CVer basert på kjønnsinformasjonen i CV-en - for eksempel var det mer sannsynlig at menn brukte ord som "henrettet" og "fanget".'

I tillegg fant forskning fra 2011 at stillingsannonser som implisitt søker menn eksplisitt tiltrekke dem, og på samme måte fraråde kvinner å søke på stillingen. Digitalisering og big data-skjemaer lover å ytterligere forankre denne praksisen i automatiserte systemer, hvis syndromet ikke aktivt rettes opp.

Data

NYU-forskerne trente en serie modeller for å klassifisere kjønn ved hjelp av prediktiv modellering. De forsøkte i tillegg å fastslå hvor godt modellenes evne til å forutsi kjønn kunne overleve fjerning av større og større mengder potensielt kjønnsavslørende informasjon, samtidig som de forsøkte å bevare innhold som er relevant for applikasjonen.

Datasettet ble hentet fra en samling søkere fra åtte USA-baserte IT-selskaper, med hver CV ledsaget av detaljer om navn, kjønn, års erfaring, fagfelt eller studie, og måljobboppslaget som CVen ble sendt for. .

For å trekke ut dypere kontekstuell informasjon fra disse dataene i form av en vektorrepresentasjon, trente forfatterne en Word2Vec-modell. Dette ble deretter analysert til tokens og filtrert, og til slutt løst til en innebygd representasjon for hver CV.

Mannlige og kvinnelige prøver ble matchet 1-1, og en undergruppe oppnådd ved å pare de beste objektivt jobbtilpassede mannlige og kvinnelige kandidatene, med en feilmargin på 2 år, når det gjelder erfaring innen sitt felt. Dermed består datasettet av 174,000 174,000 mannlige og XNUMX XNUMX kvinnelige CVer.

Arkitektur og biblioteker

De tre modellene som ble brukt for klassifiseringsoppgaven var Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word Embeddings + Logistic, og Langformer.

Den første modellen tilbyr en bag-of-word-grunnlinje som diskriminerer kjønn basert på leksikale forskjeller. Den andre tilnærmingen ble brukt både med et hyllevareinnbyggingssystem og med kjønnsforstyrrede ordinnbygginger.

Data ble delt 80/10/10 mellom trening, evaluering og testing,

Som vist i resultatene som vises ovenfor, var det transformatorbaserte Longformer-biblioteket, spesielt mer sofistikert enn de tidligere tilnærmingene, nesten i stand til å være lik en fullstendig "ubeskyttet" CV når det gjelder evnen til å oppdage kjønn fra dokumenter som aktivt var blitt strippet for kjente kjønnsidentifikatorer.

Eksperimentene som ble utført inkluderte dataablasjonsstudier, der en økende mengde kjønnsavslørende informasjon ble fjernet fra CV-ene, og modellene testet mot disse mer fåmælte dokumentene.

Informasjonen som ble fjernet inkluderer hobbyer (et kriterium avledet fra Wikipedias definisjon av "hobbyer"), LinkedIn-IDer og URL-er som kan avsløre kjønn. I tillegg ble begreper som 'brorskap', 'servitør' og 'selger' fjernet i disse sparsommere versjonene.

Ytterligere resultater

I tillegg til resultatene som er diskutert ovenfor, fant NYU-forskerne at forutinntatte ordinnbygginger ikke reduserte modellenes evne til å forutsi kjønn. I artikkelen antyder forfatterne i hvilken grad kjønn gjennomsyrer skriftspråket, og bemerker at disse mekanismene og betegnelsene ennå ikke er godt forstått.