Os currículos dos candidatos a emprego são efetivamente impossíveis de desgenitalizar, descobrem pesquisadores de IA

Pesquisadores da New York University descobriram que mesmo modelos de Processamento de Linguagem Natural (NLP) muito simples são capazes de determinar o gênero de um candidato a emprego a partir de um currículo “desprovido de gênero” – mesmo nos casos em que métodos de aprendizado de máquina foram usados para remover todos os indicadores de gênero do documento.

Seguindo um estudo que envolveu o processamento de 348.000 currículos bem combinados de homens e mulheres, os pesquisadores concluem:

‘[Há] uma quantidade significativa de informações de gênero nos currículos. Mesmo após tentativas significativas de ofuscar o gênero nos currículos, um modelo Tf-Idf simples pode aprender a discriminar entre [gêneros]. Isso valida empiricamente as preocupações sobre modelos que aprendem a discriminar gênero e propagam viés nos dados de treinamento downstream.’

A descoberta tem significado não porque seja realisticamente possível esconder o gênero durante o processo de seleção e entrevista (o que claramente não é), mas porque chegar a essa etapa pode envolver uma crítica de currículo baseada em IA sem humanos – e a IA de RH obteve uma reputação manchada por viés de gênero nos últimos anos.

Os resultados do estudo dos pesquisadores demonstram como o gênero é resiliente às tentativas de ofuscação:

Resultados do papel da NYU. Fonte: https://arxiv.org/pdf/2112.08910.pdf

As descobertas acima usam uma métrica de 0-1 Área Under the Receiver Operating Characteristic (AUROC), onde ‘1’ representa uma certeza de 100% de identificação de gênero. A tabela abrange uma faixa de oito experimentos.

Even nos piores resultados (experimentos #7 e #8), onde um currículo foi tão severamente desprovido de informações de identificação de gênero que se tornou inutilizável, um modelo NLP simples, como o Word2Vec, ainda é capaz de uma identificação de gênero precisa que se aproxima de 70%.

Os pesquisadores comentam:

‘No contexto de contratação algorítmica, esses resultados implicam que, a menos que os dados de treinamento sejam perfeitamente imparciais, mesmo modelos NLP simples aprenderão a discriminar gênero a partir de currículos e propagarão viés downstream.’

Os autores sugerem que não há uma solução baseada em IA legítima para “desgenitalizar” currículos em um pipeline de contratação prático, e que técnicas de aprendizado de máquina que enfatizam o tratamento justo são uma abordagem melhor para o problema do viés de gênero no mercado de trabalho.

Em termos de IA, isso é equivalente a “discriminação positiva”, onde currículos que revelam gênero são aceitos como inevitáveis, mas o reordenamento é aplicado ativamente como uma medida igualitária. Abordagens dessa natureza foram propostas pela LinkedIn em 2019, e pesquisadores da Alemanha, Itália e Espanha em 2018.

O artigo é intitulado Linguagem de gênero em currículos e suas implicações para viés algorítmico na contratação, e é escrito por Prasanna Parasurama, do departamento de Tecnologia, Operações e Estatísticas da NYU Stern Business School, e João Sedoc, Professor Assistente de Tecnologia, Operações e Estatísticas da Stern.

Viés de gênero na contratação

Os autores enfatizam a escala em que o viés de gênero nos procedimentos de contratação está se tornando literalmente sistematizado, com gerentes de RH usando processos de “triagem” algorítmicos e impulsionados por aprendizado de máquina que equivalem a rejeição baseada em IA – e a IA de RH obteve uma reputação manchada por viés de gênero nos últimos anos.

Os autores citam o caso de um algoritmo de contratação da Amazon que foi revelado em 2018 para ter rejeitado candidatas femininas de forma rotineira porque havia aprendido que historicamente, os homens eram mais propensos a serem contratados

‘O modelo havia aprendido por meio de dados históricos de contratação que os homens eram mais propensos a serem contratados, e portanto, classificava currículos masculinos mais altos do que os femininos.

‘Embora o gênero do candidato não tenha sido explicitamente incluído no modelo, ele aprendeu a discriminar entre currículos masculinos e femininos com base nas informações de gênero nos currículos – por exemplo, os homens eram mais propensos a usar palavras como “executado” e “capturado”.’

Além disso, uma pesquisa de 2011 encontrou que anúncios de emprego que implicitamente buscam homens atraem explicitamente homens, e da mesma forma, desencorajam as mulheres a se candidatar ao cargo. A digitalização e os esquemas de big data prometem enshrinar ainda mais essas práticas em sistemas automatizados, se o problema não for ativamente abordado.

Dados

Os pesquisadores da NYU treinaram uma série de modelos para classificar gênero usando modelagem preditiva. Eles também buscaram estabelecer como bem os modelos poderiam prever gênero após a remoção de quantidades cada vez maiores de informações potencialmente reveladoras de gênero, enquanto tentavam preservar o conteúdo relevante para a aplicação.

O conjunto de dados foi extraído de um corpo de currículos de candidatos de oito empresas de TI dos EUA, com cada currículo acompanhado de detalhes de nome, gênero, anos de experiência, campo de especialização ou estudo, e o cargo para o qual o currículo foi enviado.

Para extrair informações contextuais mais profundas desses dados na forma de uma representação vetorial, os autores treinaram um modelo Word2Vec. Isso foi então parseado em tokens e filtrado, finalmente resolvendo em uma representação incorporada para cada currículo.

Amostras masculinas e femininas foram combinadas 1-1, e um subconjunto obtido por emparelhamento dos melhores candidatos masculinos e femininos objetivamente apropriados para o cargo, com uma margem de erro de 2 anos, em termos de experiência em seu campo. Assim, o conjunto de dados consiste em 174.000 currículos masculinos e 174.000 currículos femininos.

Arquitetura e Bibliotecas

Os três modelos usados para a tarefa de classificação foram Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word Embeddings + Logistic, e Longformer.

O primeiro modelo oferece uma linha de base de “saco de palavras” que discrimina gênero com base em diferenças léxicas. A segunda abordagem foi empregada tanto com um sistema de word embeddings pronto para uso quanto com word embeddings desviados de gênero.

Os dados foram divididos em 80/10/10 entre treinamento, avaliação e teste,

Como visto nos resultados exibidos acima, a biblioteca Longformer baseada em transformadores, notavelmente mais sofisticada do que as abordagens anteriores, foi quase capaz de igualar um currículo completamente “não protegido” em termos de sua capacidade de detectar gênero a partir de documentos que haviam sido ativamente desprovidos de identificadores de gênero conhecidos.

Os experimentos realizados incluíram estudos de ablação de dados, onde uma quantidade crescente de informações reveladoras de gênero foi removida dos currículos, e os modelos testados contra esses documentos mais taciturnos.

Informações removidas incluíam hobbies (um critério derivado da definição de “hobbies” da Wikipédia), IDs do LinkedIn e URLs que pudessem revelar gênero. Além disso, termos como “fraternidade”, “garçonete” e “vendedor” foram removidos nessas versões mais esparsas.

Resultados adicionais

Além dos resultados discutidos acima, os pesquisadores da NYU descobriram que word embeddings desviados de gênero não reduziram a capacidade dos modelos de prever gênero. No artigo, os autores sugerem a extensão com que o gênero permeia a linguagem escrita, observando que esses mecanismos e signos ainda não são bem compreendidos.