Jobansøgeres CV’er er effektivt umulige at fratage køn, AI-forskere finder

Forskere fra New York University har fundet, at selv meget simple Natural Language Processing (NLP)-modeller er ret dygtige til at bestemme kønnet på en jobansøger fra et ‘kønsstriberet’ CV – selv i tilfælde, hvor maskinlæringsmetoder er blevet brugt til at fjerne alle kønsindikatorer fra dokumentet.

Efter en undersøgelse, der involverede behandlingen af 348.000 velmatchede mand/kvinde-CV’er, konkluderer forskerne:

‘[Der] er en betydelig mængde kønsbestemt information i CV’er. Selv efter betydelige forsøg på at kamuflere køn fra CV’er, kan en simpel Tf-Idf-model lære at diskriminere mellem [køn]. Dette validerer empirisk bekymringen om, at modellerne lærer at diskriminere køn og videregive bias i træningsdataene.’

Fundet har betydning, ikke fordi det er realistisk muligt at skjule køn under screenings- og interviewsprocessen (hvilket det åbenbart ikke er), men fordi det at nå til den fase kan indebære en AI-baseret vurdering af CV’et med ingen mennesker i løkken – og HR-AI har fået en beskæmmet rygte for kønsbias i de seneste år.

Resultaterne fra forskernes studie viser, hvor robust køn er over for forsøg på at kamuflere:

Resultater fra NYU-papiret. Kilde: https://arxiv.org/pdf/2112.08910.pdf

Fundene ovenfor bruger en 0-1 Area Under the Receiver Operating Characteristic (AUROC)-måling, hvor ‘1’ repræsenterer en 100% sikkerhed på kønsidentifikation. Tabellen dækker en række af otte eksperimenter.

Selv i de dårligst præsterende resultater (eksperimenter #7 og #8), hvor et CV er blevet så kraftigt frataget kønsidentificerende information, at det er blevet ubrugeligt, kan en simpel NLP-model som Word2Vec stadig opnå en præcis kønsidentifikation på næsten 70%.

Forskere kommenterer:

‘Inden for den algorithmiske ansættelseskontekst indebærer disse resultater, at medmindre træningsdataene er fuldstændigt upartiske, vil selv simple NLP-modeller lære at diskriminere køn fra CV’er og videregive bias nedad.’

Forfatterne antyder, at der ikke findes en legitim AI-baseret løsning til at ‘kønsfrit’ CV’er i en praktisk ansættelsesproces, og at maskinlæringsmetoder, der aktivt tvinger fair behandling, er en bedre tilgang til problemet med kønsbias på arbejdsmarkedet.

I AI-termer svarer dette til ‘positiv diskrimination’, hvor kønsafslørende CV’er accepteres som uundgåelige, men omrangering anvendes aktivt som en ligestillingsmæssig foranstaltning. Tilgange af denne art er blevet foreslået af LinkedIn i 2019 og forskere fra Tyskland, Italien og Spanien i 2018.

Den artikel er titlen Kønsbestemt sprog i CV’er og dets implikationer for algorithmisk bias i ansættelse og er skrevet af Prasanna Parasurama, fra Technology, Operations and Statistics-afdelingen på NYU Stern Business School, og João Sedoc, lektor i Technology, Operations and Statistics på Stern.

Kønsbias i ansættelse

Forfatterne understreger, hvor stort omfang kønsbias i ansættelsesprocedurer er blevet systematiseret, med HR-chefer, der bruger avancerede algorithmiske og maskinlæringsdrevne ‘screening’-processer, der svarende til AI-aktiveret afvisning baseret på køn.

Forfatterne citerer tilfældet af en ansættelsesalgoritme på Amazon, der blev afsløret i 2018 til at have afvist kvindelige kandidater på en rutine-måde, fordi den havde lært, at mænd historisk set var mere sandsynlige for at blive ansat

‘Modellen havde lært gennem historiske ansættelsesdata, at mænd var mere sandsynlige for at blive ansat, og derfor vurderede mandlige CV’er højere end kvindelige CV’er. ‘

‘Selv om kandidatkøn ikke var eksplicit inkluderet i modellen, lærte den at diskriminere mellem mandlige og kvindelige CV’er baseret på den kønsbestemte information i CV’er – for eksempel var mænd mere sandsynlige for at bruge ord som “gennemført” og “fanget”.’

Derudover fandt forskning fra 2011, at jobannoncer, der implicit søger mænd eksplicit tiltrækker dem, og lignende fraråder kvinder fra at ansøge om stillingen. Digitalisering og big data-skemaer lover at yderligere indskrive disse praksisser i automatiserede systemer, hvis syndromet ikke aktivt rettes.

Data

NYU-forskerne trænede en række modeller til at klassificere køn ved hjælp af prædictiv modellering. De søgte desuden at etablere, hvor godt modellernes evne til at forudsige køn kunne overleve fjernelsen af stadig større mængder af potentiel kønsafslørende information, samtidig med at de forsøgte at bevare indhold, der var relevant for ansøgningen.

Datasættet blev hentet fra en samling af ansøger-CV’er fra otte amerikanske IT-virksomheder, hvor hvert CV var ledsaget af oplysninger om navn, køn, år med erfaring, fagområde eller studie, og den målrettede jobannonce, som CV’et var sendt til.

For at udtrække dybere kontekstuel information fra denne data i form af en vektorrepræsentation trænede forfatterne en Word2Vec-model. Dette blev derefter parseret til tokens og filtreret, hvorefter det omsider blev til en indlejret repræsentation for hvert CV.

Mandlige og kvindelige prøver blev matchet 1-1, og en undermængde blev erhvervet ved at parre op de bedst objektive job-relevante mandlige og kvindelige kandidater, med en fejlmargin på 2 år, i forhold til erfaring i deres fag. Derfor består datasættet af 174.000 mandlige og 174.000 kvindelige CV’er.

Arkitektur og biblioteker

De tre modeller, der blev brugt til klassificeringstasken, var Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word Embeddings + Logistic og Longformer.

Den første model tilbyder en bag-of-words-baseline, der diskriminerer køn baseret på leksikalske forskelle. Den anden tilgang blev anvendt både med et standard word embeddings-system og med køns-debierede word embeddings.

Data blev delt 80/10/10 mellem træning, evaluering og test,

Som vist i resultaterne ovenfor var den transformer-baserede Longformer-bibliotek, bemærkelsesværdigt mere avanceret end de tidligere tilgange, næsten i stand til at matche en fuldstændigt ‘uprotected’ CV i forhold til dens evne til at detektere køn fra dokumenter, der var blevet aktivt frataget kendte kønsidentifikatorer.

Eksperimenterne omfattede data-ablationsstudier, hvor en øgende mængde kønsafslørende information blev fjernet fra CV’erne, og modellerne testet mod disse mere tavse dokumenter.

Information, der blev fjernet, omfattede fritidsinteresser (et kriterium, der er afledt fra Wikipedias definition af ‘fritidsinteresser’), LinkedIn-ID’er og URL’er, der kunne afsløre køn. Derudover blev termer som ‘fraternitet’, ‘værtinde’ og ‘salesmand’ fjernet i disse sparsere versioner.

Yderligere resultater

Tilføjet til resultaterne ovenfor fandt NYU-forskerne, at debiased word embeddings ikke reducerede modellernes evne til at forudsige køn. I artiklen antyder forfatterne, hvor meget køn gennemsyrer skrevet sprog, og bemærker, at disse mekanismer og signifikationer endnu ikke er godt forstået.