구인자 이력서는 효과적으로 성별을 제거하기가 불가능하다, AI 연구자들이 발견했다

뉴욕 대학교의 연구자들은 매우 간단한 자연어 처리(NLP) 모델이 성별을 제거한 이력서에서 구인자의 성별을 결정할 수 있다는 것을 발견했다. 이는 성별 지표를 제거하기 위해 기계 학습 방법을 사용한 경우에도 마찬가지이다.

연구자들은 348,000개의 잘 맞춘 남녀 이력서를 처리한 연구에 따르면 다음과 같이 결론지었다:

‘이력서에는 많은 성별 정보가 있습니다. 성별을 이력서에서 숨기려는 시도에도 불구하고, 단순한 Tf-Idf 모델은 성별을 구분할 수 있습니다. 이는 모델이 성별을 구분하고 편향을 전파하는 것을 걱정하는 것에 대한 우려를 경험적으로 검증합니다.’

이 발견은 성별을 숨기는 것이 실제로 가능하지 않기 때문에 중요하지 않다. 그러나 이력서를 평가하는 과정에서 인간이 개입하지 않는 AI 기반 비평이 이루어질 수 있으며, 최근 몇 년 동안 HR AI는 성별 편향으로 악명이 높아졌다.

연구자들의 연구 결과는 성별 정보를 제거하는 시도에 대한 성별의 회복力を 보여준다:

NYU 논문의 결과. 출처: https://arxiv.org/pdf/2112.08910.pdf

위의 결과는 0-1 수신자 운영 특성 곡선 아래 영역 (AUROC) 지표를 사용하며, ‘1’은 100%의 성별 식별 확률을 나타낸다. 표는 8개의 실험을 다룬다.

최악의 성과를 보이는 결과(실험 #7 및 #8)에서, 이력서가 성별 식별 정보를 제거하여 사용할 수 없을 정도로 심각하게 제거된 경우에도, 단순한 NLP 모델인 Word2Vec은 약 70%의 정확한 성별 식별이 가능하다.

연구자들은 다음과 같이 말한다:

‘알고리즘 기반 채용 과정에서, 이러한 결과는 편향된 훈련 데이터가 있으면, 심플한 NLP 모델도 성별을 구분하고 편향을 전파할 것임을 의미한다.’

저자들은 실제 채용 과정에서 이력서를 성별으로 구분하는 합법적인 AI 기반 솔루션이 없으며, 공평한 대우를 강제하는 기계 학습 기술이 성별 편향 문제에 대한 더 나은 접근 방식임을 시사한다.

AI 용어로 이것은 ‘양성 차별’에相当하며, 성별을 나타내는 이력서는 불가피하지만, 평등한 조치를 위해 재정렬이 적극적으로 적용된다. 이러한 접근 방식은 2019年に LinkedIn에서 제안되었으며, 2018年に 독일, 이탈리아, 스페인의 연구자들이 제안하였다.

이 논문은 이력서와 채용에서의 알고리즘 편향에 대한 성별 언어라는 제목으로, NYU 스텔른 비즈니스 스쿨의 Prasanna Parasurama와 조앙 세도크가 썼다.

채용에서의 성별 편향

저자들은 성별 편향이 채용 과정에서 시스템화되는 규모를 강조한다. HR 관리자들은 성별에 따라 거부하는 AI 기반의 선별 과정을 사용하고 있다.

저자들은 2018年に 공개된 아마존의 채용 알고리즘이 여성 후보자를 거부한 사례를 인용한다:

‘모델은 역사적으로 남성이 더 많이 채용된다는 것을 학습했으며, 따라서 남성 이력서를 여성 이력서보다 더 높은 등급으로 평가했다. ‘

‘候補者の 성별이 모델에 명시적으로 포함되지 않았지만, 모델은 이력서의 성별 정보를 기반으로 남녀 이력서를 구분할 수 있었다. 예를 들어, 남성은 “executed”와 “captured”와 같은 단어를 더 많이 사용했다.’

또한, 2011年の 연구에 따르면, 남성을 암시적으로 찾는 구인 광고는 남성을 끌어들이고, 여성은 지원하지 않도록 한다. 디지털화와 빅데이터 스키마는 이러한 관행을 자동화된 시스템으로 더욱 강화할 수 있다.

데이터

NYU 연구자들은 성별을 분류하기 위한 예측 모델을训練했다. 또한, 모델이 성별을 예측하는 능력이 성별 정보를 제거함에 따라 어떻게 영향을 받는지 조사했다.

데이터셋은 8개의 미국 기반 IT 회사에서 수집된 이력서로 구성되었다. 각 이력서에는 이름, 성별, 경력, 전문 분야 또는 연구 분야, 그리고 이력서가 제출된 구인 공고에 대한 정보가 포함되었다.

이 데이터에서 더 깊은 문맥 정보를 추출하기 위해, 연구자들은 Word2Vec 모델을 訓練했다. 이 모델은 토큰화되어 필터링되었으며, 각 이력서에 대한 임베딩 표현으로 결합되었다.

남성과 여성 샘플은 1:1로 匹配되었으며, 오차 범위 2년을 기준으로 최선의 남녀 후보자를 짝지었다. 따라서 데이터셋은 174,000개의 남성 이력서와 174,000개의 여성 이력서로 구성되었다.

아키텍처와 라이브러리

분류 작업에 사용된 세 가지 모델은 Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word Embeddings + Logistic, 및 Longformer였다.

첫 번째 모델은 성별을 구분하기 위한 어휘적 차이를 기반으로 하는 베이스라인을 제공한다. 두 번째 접근 방식은 오프-더-셸프 워드 임베딩 시스템과 성별에 대한 편향을 제거한 워드 임베딩을 모두 사용했다.

데이터는 80/10/10의 비율로 훈련, 평가, 테스트 세트로 분할되었다.

위의 결과에서 볼 수 있듯이, 이전 접근 방식보다 훨씬 더 복잡한 Longformer 라이브러리は 거의 완전히 ‘보호되지 않은’ 이력서와 동일한 성별을 식별하는 능력을 보여주었다.

실험에는 데이터 제거 연구가 포함되어 있었다. 여기서 점점 더 많은 성별 정보가 이력서에서 제거되고, 모델은 이러한 더 조용한 문서에 대해 테스트되었다.

제거된 정보에는 취미, LinkedIn ID, 성별을 나타낼 수 있는 URL이 포함되었다. 또한, ‘fraternity’, ‘waitress’, ‘salesman’과 같은 용어는 이러한 더 짧은 버전에서 제거되었다.

추가 결과

위에서 논의한 결과 외에도, NYU 연구자들은 편향된 워드 임베딩이 모델의 성별 예측 능력을 낮추지 않는다는 것을 발견했다. 논문에서, 저자들은 성별이 쓰여진 언어를 얼마나 침투하고 있는지에 대한 정도를 암시한다. 이러한 메커니즘과 지시자는 아직 잘 이해되지 않고 있다.