I curriculum dei candidati di lavoro sono effettivamente impossibili da de-gender, scoprono i ricercatori di intelligenza artificiale

I ricercatori della New York University hanno scoperto che anche modelli molto semplici di elaborazione del linguaggio naturale (NLP) sono perfettamente in grado di determinare il genere di un candidato a un posto di lavoro da un curriculum “separato dal genere”, anche nei casi in cui metodi di apprendimento automatico sono stati utilizzati per rimuovere tutti gli indicatori di genere dal documento.

A seguito di uno studio che ha coinvolto l'elaborazione di 348,000 curriculum uomo/donna ben assortiti, i ricercatori concludono:

'[C'è] una quantità significativa di informazioni di genere nei curriculum. Anche dopo significativi tentativi di offuscare il genere dai curriculum, un semplice modello Tf-Idf può imparare a discriminare tra [i sessi]. Questo convalida empiricamente le preoccupazioni sui modelli che imparano a discriminare il genere ea propagare pregiudizi nei dati di addestramento a valle.'

La scoperta ha un significato non perché sia ​​realisticamente possibile nascondere il genere durante il processo di selezione e intervista (cosa che chiaramente non è), ma piuttosto perché il solo fatto di arrivare a quella fase può comportare una critica del curriculum basata sull'intelligenza artificiale senza umani-in- the-loop – e negli ultimi anni HR AI si è guadagnata una reputazione infangata per il pregiudizio di genere.

I risultati dello studio dei ricercatori dimostrano quanto sia resistente il genere ai tentativi di offuscamento:

Risultati dal giornale della NYU. Fonte: https://arxiv.org/pdf/2112.08910.pdf

I risultati sopra utilizzano uno 0-1 Area sotto la caratteristica operativa del ricevitore (AUROC) metrica, dove '1' rappresenta una certezza al 100% dell'identificazione del genere. La tabella copre una gamma di otto esperimenti.

Anche nei risultati peggiori (esperimenti n. 7 e n. 8), in cui un curriculum è stato così gravemente privato delle informazioni di identificazione del genere da non essere utilizzabile, un semplice modello di PNL come Parola2Vec è ancora in grado di un'identificazione di genere accurata che si avvicina al 70%.

I ricercatori commentano:

"Nel contesto delle assunzioni algoritmiche, questi risultati implicano che, a meno che i dati di addestramento non siano perfettamente imparziali, anche i semplici modelli di PNL impareranno a discriminare il genere dai curriculum ea propagare i pregiudizi a valle."

Gli autori sottintendono che non esiste una soluzione legittima basata sull'intelligenza artificiale per riprendere il "de-gendering" in una pipeline di assunzioni praticabile e che le tecniche di apprendimento automatico che impongono attivamente un trattamento equo sono un approccio migliore al problema del pregiudizio di genere nel mercato del lavoro.

In termini di intelligenza artificiale, ciò equivale a una "discriminazione positiva", in cui i curriculum che rivelano il genere sono accettati come inevitabili, ma la riclassificazione viene applicata attivamente come misura egualitaria. Sono stati proposti approcci di questa natura da Linkedin nel 2019 e ricercatori provenienti da Germania, Italia e Spagna in 2018.

I carta è intitolato Linguaggio di genere nei curriculum e sue implicazioni per il pregiudizio algoritmico nelle assunzioni, ed è scritto da Prasanna Parasurama, del dipartimento di Tecnologia, Operazioni e Statistica della NYU Stern Business School, e João Sedoc, Assistente Professore di Tecnologia, Operazioni e Statistica presso Stern.

Pregiudizio di genere nelle assunzioni

Gli autori sottolineano la scala in cui il pregiudizio di genere nelle procedure di assunzione sta diventando letteralmente sistematizzato, con i responsabili delle risorse umane che utilizzano processi avanzati di "screening" algoritmici e basati sull'apprendimento automatico che equivalgono a un rifiuto abilitato dall'IA basato sul genere.

Gli autori citano il caso di un algoritmo di assunzione in Amazon che era rivelato nel 2018 per aver rifiutato le candidature in modo meccanico perché aveva appreso che storicamente gli uomini avevano maggiori probabilità di essere assunti

'Il modello aveva appreso attraverso i dati storici sulle assunzioni che gli uomini avevano maggiori probabilità di essere assunti, e quindi valutava i curriculum maschili più alti dei curriculum femminili.

"Sebbene il genere del candidato non fosse esplicitamente incluso nel modello, ha imparato a discriminare tra curriculum maschili e femminili in base alle informazioni di genere nei curriculum – ad esempio, gli uomini erano più propensi a usare parole come "giustiziato" e "catturato"."

Inoltre, una ricerca del 2011 ha rilevato che gli annunci di lavoro che cercano implicitamente uomini attirarli esplicitamente, e allo stesso modo scoraggiare le donne dal fare domanda per il posto. La digitalizzazione e gli schemi di big data promettono di consacrare ulteriormente queste pratiche in sistemi automatizzati, se la sindrome non verrà risolta attivamente.

Dati

I ricercatori della NYU hanno addestrato una serie di modelli per classificare il genere utilizzando modelli predittivi. Hanno inoltre cercato di stabilire in che misura la capacità dei modelli di prevedere il genere potesse sopravvivere alla rimozione di quantità sempre maggiori di informazioni potenzialmente rivelatrici di genere, tentando nel contempo di preservare i contenuti rilevanti per l'applicazione.

Il set di dati è stato tratto da un corpus di curriculum di candidati di otto società IT con sede negli Stati Uniti, con ciascun curriculum accompagnato da dettagli su nome, sesso, anni di esperienza, campo di competenza o studio e l'annuncio di lavoro target per il quale è stato inviato il curriculum .

Per estrarre informazioni contestuali più approfondite da questi dati sotto forma di una rappresentazione vettoriale, gli autori hanno addestrato un modello Word2Vec. Questo è stato quindi analizzato in token e filtrato, risolvendosi infine in una rappresentazione incorporata per ogni curriculum.

I campioni maschili e femminili sono stati abbinati 1-1 e un sottoinsieme è stato ottenuto accoppiando i migliori candidati maschi e femmine oggettivamente adatti al lavoro, con un margine di errore di 2 anni, in termini di esperienza nel loro campo. Pertanto il set di dati è composto da 174,000 curriculum maschili e 174,000 femminili.

Architettura e biblioteche

I tre modelli utilizzati per l'attività di classificazione erano la frequenza del termine-frequenza inversa del documento (TF-IDF) + logistica, Word Embedding + Logistica e Più lungo.

Il primo modello offre una linea di base di poche parole che discrimina il genere in base alle differenze lessicali. Il secondo approccio è stato impiegato sia con un sistema di incorporamento di parole disponibile in commercio, sia con incorporamenti di parole con debias di genere.

I dati sono stati suddivisi 80/10/10 tra formazione, valutazione e test,

Come visto nei risultati visualizzati sopra, la libreria Longformer basata su trasformatore, notevolmente più sofisticata rispetto agli approcci precedenti, era quasi in grado di eguagliare un curriculum completamente "non protetto" in termini di capacità di rilevare il genere da documenti che erano stati attivamente privati ​​di identificatori di genere noti.

Gli esperimenti condotti includevano studi di ablazione dei dati, in cui una quantità crescente di informazioni rivelatrici di genere è stata rimossa dai curriculum e i modelli sono stati testati rispetto a questi documenti più taciturni.

Le informazioni rimosse includevano hobby (un criterio derivato dalla definizione di "hobby" di Wikipedia), ID di LinkedIn e URL che potrebbero rivelare il genere. Inoltre, termini come "fraternità", "cameriera" e "venditore" sono stati eliminati in queste versioni più scarne.

Risultati aggiuntivi

Oltre ai risultati discussi in precedenza, i ricercatori della NYU hanno scoperto che l'incorporamento di parole distorte non riduceva la capacità dei modelli di prevedere il genere. Nel documento, gli autori accennano alla misura in cui il genere permea il linguaggio scritto, osservando che questi meccanismi e significanti non sono ancora ben compresi.