Резюме соискателей невозможно эффективно освободить от гендера, обнаружили исследователи ИИ

Исследователи из Нью-Йоркского университета обнаружили, что даже очень простые модели обработки естественного языка (NLP) способны определить пол соискателя работы по «освобождённому от гендера» резюме – даже в случаях, когда методы машинного обучения были использованы для удаления всех гендерных индикаторов из документа.

Следуя исследованию, которое включало обработку 348 000 хорошо сопоставленных мужских/женских резюме, исследователи приходят к выводу:

‘[Есть] значительное количество гендерной информации в резюме. Даже после значительных попыток скрыть гендер в резюме, простая модель Tf-Idf может научиться различать [пола]. Это эмпирически подтверждает опасения о том, что модели могут научиться различать гендер и распространять предвзятость в обучающих данных.’

Этот результат имеет значение не потому, что реально возможно скрыть гендер на этапе отбора и интервью (что явно невозможно), а потому, что уже на этом этапе может быть использована критика резюме на основе ИИ без участия человека – и ИИ в сфере кадров в последние годы приобрёл репутацию за гендерную предвзятость.

Результаты исследования демонстрируют, насколько устойчив гендер к попыткам сокрытия:

Results from the NYU paper. Source: https://arxiv.org/pdf/2112.08910.pdf

Вышеуказанные результаты используют метрику 0-1 Площадь под кривой оперативной характеристики приемника (AUROC), где ‘1’ представляет 100% уверенность в определении гендера. Таблица охватывает восемь экспериментов.

Даже в худших результатах (эксперименты #7 и #8), где резюме было так сильно освобождено от гендерной информации, что стало непригодным для использования, простая модель NLP, такая как Word2Vec, всё ещё способна точно определять гендер, приближаясь к 70%.

Исследователи комментируют:

‘В контексте алгоритмического найма эти результаты подразумевают, что если обучающие данные не идеально беспристрастны, даже простые модели NLP научатся различать гендер по резюме и распространять предвзятость.’

Авторы подразумевают, что нет законной основы для «освобождения от гендера» резюме в практической системе найма, и что методы машинного обучения, которые активно обеспечивают справедливое отношение, являются лучшим подходом к проблеме гендерной предвзятости на рынке труда.

В терминах ИИ это эквивалентно «позитивной дискриминации», где гендерно-раскрывающие резюме принимаются как неизбежные, но ре-ранкинг применяется в качестве меры эгалитаризма. Подходы подобного рода были предложены LinkedIn в 2019 году и исследователями из Германии, Италии и Испании в 2018 году.

Статья называется Гендерный язык в резюме и его последствия для алгоритмической предвзятости при найме и написана Прасанной Парасурамой из отдела технологий, операций и статистики в бизнес-школе NYU Stern, и Жоао Седоком, помощником профессора технологий, операций и статистики в Stern.

Гендерная предвзятость при найме

Авторы подчеркивают масштаб, на котором гендерная предвзятость при найме становится буквально систематизированной, с менеджерами по персоналу, использующими продвинутые алгоритмические и машинные методы «отбора», которые сводятся к ИИ-обеспеченному отклонению на основе гендера.

Авторы цитируют случай алгоритма найма в Amazon, который был обнаружен в 2018 году, отклоняющий женских кандидатов в механическом порядке, потому что он научился, что исторически мужчины чаще принимались на работу

‘Модель научилась через исторические данные о найме, что мужчины чаще принимались на работу, и поэтому оцениvala мужские резюме выше, чем женские.

‘Хотя гендер кандидата не был явно включен в модель, она научилась различать мужские и женские резюме на основе гендерной информации в резюме – например, мужчины чаще использовали слова такие как “выполнено” и “захвачено”.’

Кроме того, исследования 2011 года показали, что объявления о работе, которые неявно ищут мужчин явно привлекают их, и аналогично отговаривают женщин от подачи заявления на эту должность. Цифровизация и большие данные обещают еще больше укрепить эти практики в автоматизированные системы, если синдром не будет активно исправлен.

Данные

Исследователи из NYU обучили ряд моделей для классификации гендера с помощью прогностического моделирования. Они также попытались установить, насколько хорошо способность моделей предсказывать гендер может выжить после удаления все большего и большего количества потенциально гендерно-раскрывающей информации, пытаясь сохранить контент, связанный с заявкой.

Датасет был получен из набора резюме соискателей из восьми американских компаний в сфере ИТ, с каждым резюме, сопровождаемым подробностями имени, гендера, лет опыта, области экспертизы или изучения, и целевой вакансии, на которую было отправлено резюме.

Чтобы извлечь более глубокую контекстную информацию из этих данных в форме векторного представления, авторы обучили модель Word2Vec. Затем она была разбита на токены и отфильтрована, в конечном итоге разрешив одну встроенную репрезентацию для каждого резюме.

Мужские и женские образцы были сопоставлены 1-1, и подмножество было получено путем объединения лучших объективно подходящих мужских и женских кандидатов, с погрешностью 2 года в плане опыта в их области. Таким образом, датасет состоит из 174 000 мужских и 174 000 женских резюме.

Архитектура и библиотеки

Три модели, использованные для задачи классификации, были Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word Embeddings + Logistic и Longformer.

Первая модель предлагает базовую линию «мешка слов», которая различает гендер на основе лексических различий. Второй подход был использован как с готовой системой word embeddings, так и с гендерно-нейтральными word embeddings.

Данные были разделены 80/10/10 между обучением, оценкой и тестированием,

Как видно из результатов, показанных выше, библиотека Longformer, основанная на трансформерах, заметно более сложная, чем предыдущие подходы, была почти способна равнять полностью «не защищённое» резюме по способности обнаруживать гендер в документах, которые были активно освобождены от известных гендерных идентификаторов.

Проведенные эксперименты включали исследования удаления данных, где все большее и большее количество гендерно-раскрывающей информации удалялось из резюме, и модели тестировались на этих более скупых документах.

Удаленная информация включала хобби (критерий, полученный из определения «хобби» в Википедии), идентификаторы LinkedIn и URL, которые могли раскрыть гендер. Кроме того, термины, такие как «братство», «официантка» и «продавец», были удалены в этих более скудных версиях.

Дополнительные результаты

Помимо результатов, обсуждаемых выше, исследователи из NYU обнаружили, что гендерно-нейтральные word embeddings не снижали способность моделей предсказывать гендер. В статье авторы намекают на степень, в которой гендер проникает в письменный язык, отметив, что эти механизмы и сигналы еще не хорошо поняты.