Jobbsøkeres CV-er er effektivt umulige å kjønnsneutralisere, AI-forskere finner

Forskere fra New York University har funnet ut at selv enkle Natural Language Processing (NLP)-modeller er svært dyktige til å bestemme kjønnet til en jobbsøker fra et “kjønnsstrippet” CV – selv i tilfeller hvor maskinlæringsteknikker har blitt brukt til å fjerne alle kjønnsindikatorer fra dokumentet.

Etter en studie som involverte behandling av 348 000 godt matchede manns- og kvinnelige CV-er, konkluderer forskerne med:

‘[Det] finnes en betydelig mengde kjønnsinformasjon i CV-er. Selv etter betydelige forsøk på å kamuflere kjønn fra CV-er, kan en enkel Tf-Idf-modell lære å diskriminere mellom [kjønn]. Dette validerer empirisk bekymringene om modeller som lærer å diskriminere kjønn og videreformidler bias i treningsdata nedover.’

Funnet har betydning ikke fordi det er realistisk mulig å skjule kjønn under screenings- og intervjuprosessen (hvilket det åpenbart ikke er), men fordi å komme til denne fasen kan involvere en AI-basert vurdering av CV-et uten mennesker i løkken – og HR AI har fått en dårlig rykte for kjønnsbias i løpet av de siste årene.

Resultatene fra forskernes studie viser hvor motstandsdyktig kjønn er mot forsøk på å kamuflere:

Resultater fra NYU-papiret. Kilde: https://arxiv.org/pdf/2112.08910.pdf

Funnet ovenfor bruker en 0-1 Area Under the Receiver Operating Characteristic (AUROC)-metrik, hvor ‘1’ representerer 100 % sikkerhet for kjønnsidentifikasjon. Tabellen dekker en rekke på åtte eksperimenter.

Even i de dårligste resultater (eksperimenter #7 og #8), hvor et CV har blitt så alvorlig strippet for kjønnsidentifiserende informasjon at det ikke lenger er brukbart, er en enkel NLP-modell som Word2Vec likevel i stand til å identifisere kjønn med en nøyaktighet på nærmere 70 %.

Forskere kommenterer:

‘Innenfor den algoritmiske rekrutteringskonteksten, impliserer disse resultater at med mindre treningsdataene er fullstendig ubiasert, vil selv enkle NLP-modeller lære å diskriminere kjønn fra CV-er, og videreformidler bias nedover.’

Forfatterne antyder at det ikke finnes noen legitim AI-basert løsning for å “kjønnsneutralisere” CV-er i en praktisk rekrutteringsprosess, og at maskinlæringsteknikker som aktivt tvinger gjennom rettferdig behandling, er en bedre tilnærming til problemet med kjønnsbias på arbeidsmarkedet.

I AI-termer, er dette ekvivalent med ‘positiv diskriminering’, hvor kjønnsavslørende CV-er aksepteres som uunngåelige, men om-rangering aktivt brukes som en egalitær måte. Tilnærminger av denne typen har blitt foreslått av LinkedIn i 2019, og forskere fra Tyskland, Italia og Spania i 2018.

Papiret het Kjønnsbasert språk i CV-er og dens implikasjoner for algoritmisk bias i rekruttering, og er skrevet av Prasanna Parasurama, fra Technology, Operations and Statistics-avdelingen ved NYU Stern Business School, og João Sedoc, assistentprofessor i Technology, Operations and Statistics ved Stern.

Kjønnsbias i rekruttering

Forfatterne betoner omfanget av kjønnsbias i rekrutteringsprosesser som blir systematisert, med HR-mestre som bruker avanserte algoritmiske og maskinlæring-drevne “screening”-prosesser som tilsvarer AI-aktivt avvisning basert på kjønn.

Forfatterne nevner tilfellet med en rekrutteringsalgoritme hos Amazon som ble avdekket i 2018 til å ha avvist kvinnelige kandidater på en rotete måte fordi den hadde lært at historisk sett var menn mer sannsynlig å bli ansatt

‘Modellen hadde lært gjennom historiske rekrutteringsdata at menn var mer sannsynlig å bli ansatt, og derfor vurderte manns-CV-er høyere enn kvinnelige CV-er.

‘Selv om kandidat-kjønn ikke var eksplisitt inkludert i modellen, hadde den lært å diskriminere mellom manns- og kvinnelige CV-er basert på kjønnsinformasjonen i CV-ene – for eksempel var menn mer sannsynlig å bruke ord som “utført” og “fanget”.’

I tillegg fant en studie fra 2011 ut at jobbannonser som implisitt søker etter menn eksplisitt tiltrekker seg dem, og likeledes avskrekker kvinner fra å søke på stillingen. Digitalisering og store datasystemer lover å videre innføre disse praksisene i automatiserte systemer, hvis ikke syndromet aktivt rettes.

Data

NYU-forskerne trente en rekke modeller for å klassifisere kjønn ved hjelp av prediktiv modellering. De søkte også å etablere hvor godt modellens evne til å forutsi kjønn kunne overleve fjerning av stadig mer og mer potensielt kjønnsavslørende informasjon, samtidig som de forsøkte å bevare innhold relevant for søknaden.

Datasettet ble hentet fra en samling av søker-CV-er fra åtte amerikanske IT-selskaper, med hver CV ledsaget av detaljer om navn, kjønn, år med erfaring, fagområde eller studie, og målstillingsannoncen som CV-et var sendt for.

For å trekke ut dypere kontekstuell informasjon fra denne dataen i form av en vektorrepresentasjon, trente forfatterne en Word2Vec-modell. Denne ble deretter parsert til tokens og filtrert, og endte med en innlemmet representasjon for hver CV.

Manns- og kvinnelige eksempler ble matchet 1-1, og en undergruppe ble oppnådd ved å pare opp de beste objektivt jobb-egnede manns- og kvinnelige kandidatene, med en feilmargin på 2 år, i forhold til erfaring i deres fagområde. Derfor består datasettet av 174 000 manns- og 174 000 kvinnelige CV-er.

Arkitektur og biblioteker

De tre modellene som ble brukt til klassifiseringsoppgaven var Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word Embeddings + Logistic, og Longformer.

Den første modellen tilbyr en “bag-of-words”-baselinje som diskriminerer kjønn basert på leksikalske forskjeller. Den andre tilnærmingen ble brukt både med et ferdig utviklet ord-embeddings-system og med kjønns-debias-ord-embeddings.

Data ble delt 80/10/10 mellom trening, evaluering og testing,

Som vist i resultater ovenfor, var transformer-baserte Longformer-biblioteket, mer sofistikert enn de tidligere tilnærminger, nesten i stand til å like en fullstendig “ubeskyttet” CV i forhold til dens evne til å detektere kjønn fra dokumenter som hadde blitt aktivt strippet for kjente kjønnsindikatorer.

Eksemplene inkluderte data-ablasjonsstudier, hvor en økende mengde kjønnsavslørende informasjon ble fjernet fra CV-ene, og modellene testet mot disse mer diskrete dokumentene.

Informasjon som ble fjernet inkluderte hobbyer (et kriterium avledet fra Wikipedias definisjon av “hobbyer”), LinkedIn-ID-er og URL-er som kunne avsløre kjønn. I tillegg ble termer som “fraternity”, “waitress” og “salesman” fjernet i disse mer sparsomme versjonene.

Tilleggsresultater

I tillegg til resultater ovenfor, fant NYU-forskerne ut at debias-ord-embeddings ikke reduserte modellens evne til å forutsi kjønn. I papiret antyder forfatterne omfanget av hvor mye kjønn gjennomsyrer skrevet språk, og bemerker at disse mekanismene og signifikatorene ikke ennå er godt forstått.