I curricula dei candidati al lavoro sono effettivamente impossibili da privare di genere, scoprono i ricercatori di intelligenza artificiale

I ricercatori della New York University hanno scoperto che anche i modelli di elaborazione del linguaggio naturale (NLP) più semplici sono in grado di determinare il genere di un candidato al lavoro da un curriculum “privato di genere” – anche nei casi in cui i metodi di apprendimento automatico sono stati utilizzati per rimuovere tutti gli indicatori di genere dal documento.

In seguito a uno studio che ha coinvolto l’elaborazione di 348.000 curricula ben abbinati maschili/femminili, i ricercatori concludono:

‘[C’è] una quantità significativa di informazioni di genere nei curricula. Anche dopo tentativi significativi di oscurare il genere dai curricula, un modello Tf-Idf semplice può imparare a discriminare tra [generi]. Ciò valida empiricamente le preoccupazioni sui modelli che imparano a discriminare il genere e propagare pregiudizi nei dati di formazione a valle.’

La scoperta ha importanza non perché è realisticamente possibile nascondere il genere durante il processo di selezione e intervista (il che chiaramente non è possibile), ma piuttosto perché arrivare a quel stadio può coinvolgere una critica del curriculum basata sull’intelligenza artificiale senza esseri umani coinvolti – e l’HR AI ha ottenuto una reputazione macchiata per il pregiudizio di genere negli ultimi anni.

I risultati dello studio dei ricercatori dimostrano quanto sia resistente il genere ai tentativi di oscuramento:

Risultati dal paper dell’NYU. Fonte: https://arxiv.org/pdf/2112.08910.pdf

I risultati sopra utilizzano una metrica 0-1 Area Under the Receiver Operating Characteristic (AUROC), dove ‘1’ rappresenta una certezza del 100% di identificazione del genere. La tabella copre una gamma di otto esperimenti.

Anche nei risultati peggiori (esperimenti #7 e #8), dove un curriculum è stato così gravemente privato di informazioni che identificano il genere da essere non utilizzabile, un modello NLP semplice come Word2Vec è ancora in grado di un’identificazione del genere precisa che si avvicina al 70%.

I ricercatori commentano:

‘Nel contesto di assunzione algoritmico, questi risultati implicano che a meno che i dati di formazione non siano perfettamente imparziali, anche i modelli NLP semplici impareranno a discriminare il genere dai curricula e propagare pregiudizi a valle.’

Gli autori implicano che non esiste una soluzione basata sull’intelligenza artificiale legittima per “privare di genere” i curricula in una pipeline di assunzione praticabile, e che le tecniche di apprendimento automatico che attivamente applicano un trattamento equo sono un approccio migliore al problema del pregiudizio di genere nel mercato del lavoro.

In termini di intelligenza artificiale, ciò equivale a “discriminazione positiva”, dove i curricula che rivelano il genere sono accettati come inevitabili, ma il re-ranking è applicato attivamente come misura egualitaria. Approcci di questo tipo sono stati proposti da LinkedIn nel 2019, e ricercatori da Germania, Italia e Spagna nel 2018.

Il paper è intitolato Lingua di genere nei curricula e le sue implicazioni per il pregiudizio algoritmico nell’assunzione, e è scritto da Prasanna Parasurama, del dipartimento di Tecnologia, Operazioni e Statistiche alla NYU Stern Business School, e João Sedoc, professore assistente di Tecnologia, Operazioni e Statistiche alla Stern.

Pregiudizio di genere nell’assunzione

Gli autori sottolineano la scala a cui il pregiudizio di genere nelle procedure di assunzione sta diventando letteralmente sistematizzato, con i responsabili delle risorse umane che utilizzano processi di “screening” algoritmici e basati sull’apprendimento automatico che equivalgono a un rifiuto basato sull’intelligenza artificiale e sul genere.

Gli autori citano il caso di un algoritmo di assunzione di Amazon che è stato rivelato nel 2018 per aver rifiutato candidate femminili in modo routinario perché aveva imparato che storicamente gli uomini erano più probabili di essere assunti

‘Il modello aveva imparato dai dati storici di assunzione che gli uomini erano più probabili di essere assunti, e quindi valutava i curricula maschili più alti di quelli femminili.

‘Anche se il genere del candidato non era stato esplicitamente incluso nel modello, aveva imparato a discriminare tra curricula maschili e femminili in base alle informazioni di genere presenti nei curricula – ad esempio, gli uomini erano più probabili di utilizzare parole come “eseguito” e “catturato”.’

Inoltre, una ricerca del 2011 ha scoperto che gli annunci di lavoro che implicitamente cercano uomini li attirano esplicitamente, e allo stesso modo scoraggiano le donne dal candidarsi per il posto. La digitalizzazione e gli schemi di big data promettono di ulteriormente consacrare queste pratiche in sistemi automatizzati, se il problema non viene attivamente affrontato.

Dati

I ricercatori della NYU hanno addestrato una serie di modelli per classificare il genere utilizzando la modellazione predittiva. Hanno inoltre cercato di stabilire quanto bene la capacità dei modelli di prevedere il genere potesse sopravvivere alla rimozione di quantità sempre maggiori di informazioni potenzialmente rivelatrici del genere, cercando di preservare il contenuto rilevante per la domanda.

I dati sono stati tratti da un corpo di curricula di candidati di otto aziende di tecnologia con sede negli Stati Uniti, con ogni curriculum accompagnato da dettagli di nome, genere, anni di esperienza, campo di esperto o di studio, e il posto di lavoro per cui il curriculum era stato inviato.

Per estrarre informazioni contestuali più profonde da questi dati sotto forma di rappresentazione vettoriale, gli autori hanno addestrato un modello Word2Vec. Questo è stato quindi analizzato in token e filtrato, risolvendosi infine in una rappresentazione incorporata per ogni curriculum.

I campioni maschili e femminili sono stati abbinati 1-1, e un subset è stato ottenuto accoppiando i migliori candidati maschili e femminili obiettivamente più adatti al lavoro, con un margine di errore di 2 anni, in termini di esperienza nel loro campo. Pertanto, il set di dati consiste in 174.000 curricula maschili e 174.000 curricula femminili.

Architettura e librerie

I tre modelli utilizzati per il compito di classificazione sono stati Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word Embeddings + Logistic, e Longformer.

Il primo modello offre una baseline di “sacchetto di parole” che discrimina il genere in base a differenze lessicali. L’approccio è stato utilizzato sia con un sistema di word embeddings pronto all’uso, sia con word embeddings privati di genere.

I dati sono stati divisi 80/10/10 tra formazione, valutazione e testing,

Come si vede nei risultati visualizzati sopra, la libreria Longformer basata su trasformatori, notevolmente più sofisticata degli approcci precedenti, è stata quasi in grado di eguagliare un curriculum “non protetto” in termini di capacità di rilevare il genere da documenti che erano stati attivamente privati di identificatori di genere noti.

Gli esperimenti condotti includevano studi di ablazione dei dati, in cui è stata rimossa una quantità crescente di informazioni che rivelavano il genere dai curricula, e i modelli sono stati testati contro questi documenti più taciturni.

Le informazioni rimosse includevano hobby (un criterio derivato dalla definizione di “hobby” di Wikipedia), ID di LinkedIn e URL che potevano rivelare il genere. Inoltre, termini come “fratellanza”, “cameriera” e “commesso” sono stati rimossi in queste versioni più scarne.

Risultati aggiuntivi

In aggiunta ai risultati discussi sopra, i ricercatori della NYU hanno scoperto che le word embeddings private di genere non hanno ridotto la capacità dei modelli di prevedere il genere. Nel paper, gli autori accennano alla portata in cui il genere permea il linguaggio scritto, notando che questi meccanismi e indicatori non sono ancora ben compresi.