Jobbsökandes CV är i princip omöjliga att könsneutralisera, AI-forskare finner

Forskare från New York University har funnit att även mycket enkla Natural Language Processing (NLP)-modeller är ganska kapabla att bestämma könet på en jobbsökande från ett “könsstrippat” CV – även i fall där maskinlärningsmetoder har använts för att ta bort alla könsindikatorer från dokumentet.

Efter en studie som involverade bearbetning av 348 000 välmatchade manliga/kvinnliga CV, drar forskarna slutsatsen:

‘[Det] finns en betydande mängd könsrelaterad information i CV. Även efter betydande försök att dölja kön från CV, kan en enkel Tf-Idf-modell lära sig att diskriminera mellan [kön]. Detta validerar empiriskt bekymren om modeller som lär sig att diskriminera kön och sprida bias i träningsdata nedströms.’

Fynden har betydelse inte för att det är realistiskt möjligt att dölja kön under urvals- och intervjuförfarandet (vilket det tydligtvis inte är), utan snarare för att att bara komma till den punkten kan innebära en AI-baserad granskning av CV:t utan några människor i kedjan – och HR AI har fått ett dåligt rykte för könsbias under de senaste åren.

Resultat från forskarnas studie visar hur motståndskraftigt kön är mot försök att dölja:

Resultat från NYU-pappret. Källa: https://arxiv.org/pdf/2112.08910.pdf

Fynden ovan använder en 0-1 Area Under the Receiver Operating Characteristic (AUROC)-mått, där ‘1’ representerar 100% säkerhet vid könstillhörighet. Tabellen täcker ett område med åtta experiment.

Även i de sämst presterande resultaten (experiment #7 och #8), där ett CV har blivit så kraftigt stripat på könsspecifik information att det inte längre är användbart, kan en enkel NLP-modell som Word2Vec fortfarande uppnå en korrekt könstillhörighetsbestämning på nära 70%.

Forskarna kommenterar:

‘Inom den algoritmiska rekryteringskontexten, implicerar dessa resultat att såvida inte träningsdata är perfekt obiaserat, kommer även enkla NLP-modeller att lära sig att diskriminera kön från CV, och sprida bias nedströms.’

Författarna antyder att det inte finns någon legitim AI-baserad lösning för att “könsneutralisera” CV i en praktisk rekryteringsprocess, och att maskinlärningstekniker som aktivt främjar rättvis behandling är en bättre tillvägagångssätt för problemet med könsbias på arbetsmarknaden.

I AI-termer, är detta ekvivalent med “positiv diskriminering”, där könsspecifika CV accepteras som oundvikliga, men omrangordning tillämpas aktivt som en egalitär åtgärd. Tillvägagångssätt av detta slag har föreslagits av LinkedIn 2019, och forskare från Tyskland, Italien och Spanien 2018.

Den artikeln heter Könsrelaterad språk i CV och dess implikationer för algoritmisk bias i rekrytering, och är skriven av Prasanna Parasurama, från avdelningen för teknik, drift och statistik vid NYU Stern Business School, och João Sedoc, biträdande professor i teknik, drift och statistik vid Stern.

Könsbias i rekrytering

Författarna betonar den skala i vilken könsbias i rekryteringsförfaranden blir alltmer systematiserad, med HR-chefer som använder avancerade algoritmiska och maskinlärningsdrivna “screening”-processer som motsvarar AI-aktiverad avvisning baserat på kön.

Författarna citerar fallet med en rekryteringsalgoritm på Amazon som avslöjades 2018 ha avvisat kvinnliga kandidater på ett rutinmässigt sätt eftersom den hade lärt sig att män historiskt sett var mer benägna att bli anställda

‘Modellen hade lärt sig genom historiska anställningsdata att män var mer benägna att bli anställda, och därför gav den högre betyg till manliga CV än till kvinnliga CV.

‘Även om kandidatens kön inte uttryckligen ingick i modellen, lärde den sig att diskriminera mellan manliga och kvinnliga CV baserat på den könsspecifika informationen i CV – till exempel var män mer benägna att använda ord som “utfört” och “erövrat”. ‘

Dessutom fann forskning från 2011 att jobbannonser som implicit söker män explicit lockar till sig män och likaså avskräcker kvinnor från att söka jobbet. Digitalisering och stora datascheman lovar att ytterligare befästa dessa metoder i automatiserade system, om inte syndromet aktivt åtgärdas.

Data

NYU-forskarna tränade en serie modeller för att klassificera kön med hjälp av prediktiv modellering. De försökte också fastställa hur väl modellernas förmåga att förutsäga kön kunde överleva borttagandet av alltmer och mer könsspecifik information, samtidigt som de försökte bevara innehåll som var relevant för ansökan.

Datamängden togs från en samling av jobbsökandes CV från åtta USA-baserade IT-företag, med varje CV åtföljt av uppgifter om namn, kön, år av erfarenhet, expertisområde eller studie, och det måljobb som CV:t skickades för.

För att extrahera djupare kontextuell information från denna data i form av en vektorrepresentation, tränade författarna en Word2Vec-modell. Denna modell parsades sedan till token och filtrerades, vilket slutligen resulterade i en inbäddad representation för varje CV.

Manliga och kvinnliga prover matchades 1-1, och en undermängd erhölls genom att para ihop de bästa objektivt lämpliga manliga och kvinnliga kandidaterna, med en felmarginal på 2 år, i termer av erfarenhet inom sitt område. Således består datamängden av 174 000 manliga och 174 000 kvinnliga CV.

Arkitektur och bibliotek

De tre modellerna som användes för klassificeringen var Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word Embeddings + Logistic, och Longformer.

Den första modellen erbjuder en “bag-of-words”-baslinje som diskriminerar kön baserat på lexikala skillnader. Den andra ansatsen användes både med ett färdigt word embeddings-system och med könsneutrala word embeddings.

Data delades upp i 80/10/10 mellan tränings-, utvärderings- och testdata,

Som visas i resultaten ovan, var den transformer-baserade Longformer-biblioteket, som är betydligt mer sofistikerat än de tidigare ansatserna, nästan i stånd att nå en fullständigt “oskyddad” CV i termer av dess förmåga att upptäcka kön från dokument som hade aktivt stripats på kända könsspecifika indikatorer.

Experimenten som genomfördes inkluderade data-ablationsstudier, där alltmer och mer könsspecifik information togs bort från CV, och modellerna testades mot dessa mer återhållsamma dokument.

Information som togs bort inkluderade fritidsaktiviteter (ett kriterium som härstammar från Wikipedias definition av “fritidsaktiviteter”), LinkedIn-ID och URL som kunde avslöja kön. Dessutom togs termer som “fraternity”, “värdinna” och “försäljare” bort i dessa mer återhållsamma versioner.

Ytterligare resultat

Förutom resultaten som diskuterats ovan, fann NYU-forskarna att könsneutrala word embeddings inte minskade modellernas förmåga att förutsäga kön. I artikeln antyder författarna omfattningen av hur kön genomsyrar skriven språk, och noterar att dessa mekanismer och signaler ännu inte är väl förstådda.