Резюме кандидатів на роботу практично неможливо позбавити гендерної належності, встановили дослідники з NYU

Дослідники з Нью-Йоркського університету виявили, що навіть дуже прості моделі обробки природної мови (NLP) досить здатні визначити гендер кандидата на роботу з “означеного гендеру” резюме – навіть у випадках, коли методи машинного навчання були використані для видалення всіх гендерних індикаторів з документа.

Після дослідження, яке涉лося обробкою 348 000 добре підібраних чоловічих/жіночих резюме, дослідники роблять висновок:

‘[Є] суттєва кількість гендерної інформації в резюме. Навіть після суттєвих спроб приховати гендер з резюме, проста модель Tf-Idf може вивчити розрізняти [гендер]. Це емпірично підтверджує занепокоєння щодо моделей, які вивчають розрізняти гендер і поширювати упередження в навчальних даних вниз по потоку.’

Цей висновок має значення не через те, що реально можливо приховати гендер під час процесу відбору та інтерв’ю (чого явно не можна зробити), а радше через те, що просто досягнення цієї стадії може включати аналіз резюме з використанням штучного інтелекту без участі людей – і штучний інтелект у сфері кадрового менеджменту має погану репутацію щодо гендерної упередженості за останні роки.

Результати дослідження демонструють, наскільки стійким є гендер до спроб приховати його:

Результати з роботи NYU. Джерело: https://arxiv.org/pdf/2112.08910.pdf

Висновки вище використовують метрику 0-1 Площа під кривою приймання та відхилення (AUROC), де ‘1’ представляє 100% впевненості у визначенні гендеру. Таблиця охоплює вісім експериментів.

Навіть у найгірших результатах (експерименти #7 і #8), де резюме було настільки сильно позбавлено гендерної інформації, що стало непридатним для використання, проста модель NLP, such as Word2Vec, усе ще здатна точно визначити гендер майже на 70%.

Дослідники коментують:

‘У контексті алгоритмічного підбору персоналу ці результати означають, що якщо навчальні дані не є абсолютно вільними від упередженості, навіть прості моделі NLP вивчать розрізняти гендер з резюме та поширювати упередженість вниз по потоку.’

Автори натякають на те, що не існує легітимного рішення для “дегенералізації” резюме в практичному процесі підбору персоналу, і що методи машинного навчання, які активно забезпечують справедливе ставлення, є кращим підходом до проблеми гендерної упередженості на ринку праці.

У термінах штучного інтелекту це еквівалентно “позитивній дискримінації”, коли гендерно-відкриті резюме приймаються як невідворотне, але перестворювання застосовується як рівноправна міра. Підходи такого типу були запропоновані LinkedIn у 2019 році, і дослідниками з Німеччини, Італії та Іспанії у 2018 році.

Робота стаття називається Гендерна мова у резюме та її наслідки для алгоритмічної упередженості у підборі персоналу, і написана Прасанною Парасурамою, відділу технологій, операцій та статистики в NYU Stern Business School, і Жоао Седоком, помічником професора технологій, операцій та статистики в Stern.

Гендерна упередженість у підборі персоналу

Автори підкреслюють масштаб, на якому гендерна упередженість у процедурах підбору персоналу стає буквально систематизованою, з менеджерами з персоналу, які використовують просунуті алгоритмічні та машинні методи “підбору”, які еквівалентні відторгненню, заснованому на штучному інтелекті, без участі людей.

Автори цитують випадок алгоритму підбору персоналу в Amazon, який був виявлений у 2018 році, який відторгував жінок-кандидатів у звичайному порядку, оскільки він вивчив через історичні дані про підбір персоналу, що чоловіки мали більшу ймовірність бути прийнятими

‘Модель вивчила через історичні дані про підбір персоналу, що чоловіки мали більшу ймовірність бути прийнятими, і тому оцінювала чоловічі резюме вище за жіночі. ‘

‘Хоча гендер кандидата не був явно включений у модель, вона вивчила розрізняти чоловічі та жіночі резюме на основі гендерної інформації в резюме – наприклад, чоловіки були більш схильні використовувати слова, такі як “виконав” та “захопив”.’

Крім того, дослідження 2011 року виявило, що оголошення про роботу, які явно шукають чоловіків явно приваблюють їх, і навпаки, відштовхують жінок від подачі заявки на цю посаду. Цифровізація та великі схеми даних обіцяють ще більше вкорінити ці практики в автоматизовані системи, якщо синдром не буде активно виправлений.

Дані

Дослідники з NYU тренували серію моделей для класифікації гендеру за допомогою передбачувальної моделі. Вони також намагалися встановити, наскільки добре здатність моделей передбачати гендер могла витримати видалення все більшої кількості потенційно гендерно-відкритої інформації, намагаючись зберегти вміст, який був актуальним для заявки.

Дані були отримані з тіла резюме кандидатів з восьми американських компаній з інформаційних технологій, кожне резюме супроводжувалося даними про ім’я, гендер, роки досвіду, галузь спеціалізації або навчання, і цільове оголошення про роботу, на яке було надіслано резюме.

Для отримання глибшої контекстної інформації з цих даних у вигляді векторного представлення автори тренували модель Word2Vec. Це було потім розбите на токени та відфільтровано, в результаті чого було отримано одне вкладене представлення для кожного резюме.

Чоловічі та жіночі зразки були зіставлені у співвідношенні 1:1, і підмножина була отримана шляхом підібрання найкращих об’єктивно підходящих чоловічих та жіночих кандидатів, з похибкою 2 роки, у термінах досвіду в своїй галузі. Таким чином, набір даних складається з 174 000 чоловічих та 174 000 жіночих резюме.

Архітектура та бібліотеки

Три моделі, які були використані для завдання класифікації, були Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word Embeddings + Logistic, і Longformer.

Перша модель пропонує базовий рівень багатокоринного підходу, який розрізняє гендер на основі лексичних відмінностей. Другий підхід був застосований як з готовою системою word embeddings, так і з гендерно-нейтральними word embeddings.

Дані були розділені у співвідношенні 80/10/10 між тренуванням, оцінкою та тестуванням,

Як можна побачити з результатами, показаними вище, трансформерна бібліотека Longformer, яка є значно більш складною, ніж попередні підходи, була майже здатна дорівняти повністю “незахищеному” резюме за здатністю визначати гендер з документів, які були активно позбавлені відомих гендерних ідентифікаторів.

Експерименти включали дослідження даних, при яких все більшої кількості гендерно-відкритої інформації було видалено з резюме, і моделі були протестовані на цих більш загадкових документах.

Видалені дані включали хобі (критерій, отриманий з визначення Вікіпедії “хобі”), ідентифікатори LinkedIn та URL-адреси, які могли б розкрити гендер. Крім того, терміни, такі як “братство”, “офіціантка” та “продавець”, були видалені у цих більш загадкових версіях.

Додаткові результати

Окрім результатів, описаних вище, дослідники з NYU виявили, що гендерно-нейтральні word embeddings не знижували здатність моделей передбачати гендер. У статті автори натякають на ступінь, у якій гендер проникає у написану мову, зазначаючи, що ці механізми та позначення ще не добре зрозумілі.