Резюме соискателей практически невозможно де-гендеризировать, обнаружили исследователи ИИ

Исследователи из Нью-Йоркского университета обнаружили, что даже очень простые модели обработки естественного языка (NLP) способны определять пол соискателя по «де-гендеризированному» резюме – даже в случаях, когда методы машинного обучения были использованы для удаления всех гендерных индикаторов из документа.

После изучения 348 000 хорошо сопоставленных мужских и женских резюме исследователи приходят к выводу:

‘[Есть] значительное количество гендерной информации в резюме. Даже после значительных попыток скрыть пол из резюме, простая модель Tf-Idf может научиться различать [пола]. Это эмпирически подтверждает опасения по поводу моделей, которые учатся различать пол и распространять предвзятость в обучающих данных.’

Это открытие имеет значение не потому, что реально возможно скрыть пол во время процесса отбора и интервью (что явно невозможно), а потому, что уже на этой стадии может быть использована критика резюме на основе ИИ без участия человека – и ИИ в сфере кадров в последние годы приобрел репутацию за гендерную предвзятость.

Результаты исследования демонстрируют, насколько устойчив пол к попыткам сокрытия:

Результаты исследования NYU. Источник: https://arxiv.org/pdf/2112.08910.pdf

Результаты выше используют метрику 0-1 Area Under the Receiver Operating Characteristic (AUROC), где ‘1’ представляет 100% уверенность в определении пола. Таблица охватывает восемь экспериментов.

Даже в худших результатах (эксперименты #7 и #8), где резюме было так сильно очищено от гендерной информации, что стало непригодным для использования, простая модель NLP, такая как Word2Vec, все еще способна точно определить пол, приближаясь к 70%.

Исследователи комментируют:

‘В контексте алгоритмического подбора персонала эти результаты подразумевают, что если обучающие данные не идеально без предвзятости, даже простые модели NLP научатся различать пол по резюме и распространять предвзятость.’

Авторы подразумевают, что нет законной ИИ-решения для «де-гендеризации» резюме в практической системе подбора персонала, и что методы машинного обучения, которые активно обеспечивают справедливое отношение, являются лучшим подходом к проблеме гендерной предвзятости на рынке труда.

В терминах ИИ это эквивалентно «положительной дискриминации», где резюме, раскрывающие пол, принимаются как неизбежные, но ре-ранкинг применяется в качестве меры эгалитаризма. Подходы такого рода были предложены LinkedIn в 2019 году и исследователями из Германии, Италии и Испании в 2018 году.

Статья под названием Гендерный язык в резюме и его последствия для алгоритмической предвзятости при подборе персонала написана Прасанной Парасурамой из департамента технологий, операций и статистики в бизнес-школе NYU Stern и Жоао Седоком, помощником профессора технологий, операций и статистики в Stern.

Гендерная предвзятость при подборе персонала

Авторы подчеркивают масштаб, на котором гендерная предвзятость при подборе персонала становится буквально систематизированной, с менеджерами по персоналу, использующими передовые алгоритмические и ИИ-ориентированные «процедуры отбора», которые сводятся к ИИ-обеспеченному отклонению на основе пола.

Авторы цитируют случай алгоритма подбора персонала в Amazon, который был обнаружен в 2018 году как отклоняющий женских кандидатов в механическом порядке, потому что он научился, что исторически мужчины чаще нанимались

‘Модель научилась через исторические данные о приеме на работу, что мужчины чаще нанимались, и поэтому оценивала мужские резюме выше, чем женские. ‘

‘Хотя пол кандидата не был явно включен в модель, она научилась различать мужские и женские резюме на основе гендерной информации в резюме – например, мужчины чаще использовали слова «исполнено» и «захвачено».’

Кроме того, исследования 2011 года показали, что объявления о работе, которые явно ищут мужчин, явно привлекают их, и, наоборот, отговаривают женщин от подачи заявления на эту должность. Цифровизация и большие данные обещают еще больше укрепить эти практики в автоматизированных системах, если синдром не будет активно исправлен.

Данные

Исследователи из NYU обучили ряд моделей для классификации пола с помощью прогностического моделирования. Они также попытались установить, насколько хорошо способность моделей предсказывать пол может выдержать удаление все большего и большего количества потенциально гендерно-раскрывающей информации, сохраняя при этом содержание, актуальное для заявки.

Датасет был получен из набора резюме соискателей из восьми американских ИТ-компаний, где каждое резюме сопровождалось данными о имени, поле, летнем опыте, области экспертизы или изучения и целевой вакансии, на которую было отправлено резюме.

Чтобы извлечь более глубокую контекстную информацию из этих данных в виде векторного представления, авторы обучили модель Word2Vec. Затем она была разбита на токены и отфильтрована, в конечном итоге сведя все к одному встроенному представлению для каждого резюме.

Мужские и женские образцы были сопоставлены в соотношении 1:1, и получена подмножность путем объединения лучших объективно подходящих мужских и женских кандидатов, с погрешностью 2 года в плане опыта в их области. Таким образом, датасет состоит из 174 000 мужских и 174 000 женских резюме.

Архитектура и библиотеки

Три модели, использованные для задачи классификации, были Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word Embeddings + Logistic и Longformer.

Первая модель предлагает базовую линию, которая различает пол на основе лексических различий. Второй подход был использован как с готовой системой word embeddings, так и с гендерно-де-биазированными word embeddings.

Данные были разделены в соотношении 80/10/10 между обучением, оценкой и тестированием,

Как видно из результатов, представленных выше, библиотека Longformer, основанная на трансформерах и явно более сложная, чем предыдущие подходы, почти смогла сравниться с полностью «незащищенным» резюме в плане своей способности обнаружить пол в документах, которые были активно очищены от известных гендерных идентификаторов.

Проведенные эксперименты включали исследования удаления данных, где все большее и большее количество гендерно-раскрывающей информации удалялось из резюме, и модели тестировались на этих более скупых документах.

Удаленная информация включала хобби (критерий, полученный из определения «хобби» в Википедии), идентификаторы LinkedIn и URL, которые могли раскрыть пол. Кроме того, термины, такие как «братство», «официантка» и «продавец», были удалены в этих более скупых версиях.

Дополнительные результаты

В дополнение к результатам, обсуждаемым выше, исследователи из NYU обнаружили, что де-биазированные word embeddings не снижают способность моделей предсказывать пол. В статье авторы намекают на степень, в которой пол проникает в письменный язык, отмечая, что эти механизмы и сигнализаторы еще не хорошо поняты.