μΈκ³΅μ§λ₯
ꡬμΈμ μ΄λ ₯μλ ν¨κ³Όμ μΌλ‘ μ±λ³μ μ κ±°νκΈ°κ° λΆκ°λ₯νλ€λ κ²μ AI μ°κ΅¬μλ€μ΄ λ°κ²¬νλ€
뉴욕 대학교의 연구자들은 매우 단순한 자연어 처리(NLP) 모델조차도 ‘성별이 제거된’ 이력서에서 구인자의 성별을 판단하는 데 khá 능숙하다는 것을 발견했다. 이는 기계 학습 방법을 사용하여 문서에서 모든 성별 지시자를 제거한 경우에도 마찬가지이다.
뉴욕 대학교의 연구자들은 348,000개의 잘 匹配된 남녀 이력서를 처리한 연구에 따르면 다음과 같이 결론지었다:
‘이력서에는 상당한 양의 성별 정보가 있다. 성별을 이력서에서 모호하게 하려는 시도가 있었음에도 불구하고, 단순한 Tf-Idf 모델은 성별을 구분하는 데 학습할 수 있다. 이는 모델이 성별을 학습하여 편향을 전파하는 것에 대한 우려를 경험적으로 검증한다.’
이 발견은 실제로 성별을 면접 과정에서 숨길 수 있기 때문에 중요한 것이 아니라, 단지 그 단계에 도달하는 데 AI 기반의 이력서 평가가 인간의 개입 없이 포함될 수 있기 때문이다. 또한 최근 몇 년 동안 HR AI는 성별 편향으로 악명이 높았다.
연구자들의 연구 결과는 성별이 모호하게 하는 시도에 대해 얼마나 강한지 보여준다:
Results from the NYU paper. Source: https://arxiv.org/pdf/2112.08910.pdf
위의 결과는 0-1 Area Under the Receiver Operating Characteristic (AUROC) metric을 사용하며, ‘1’은 100%의 성별 판단 확률을 나타낸다. 표는 8개의 실험 범위를 다룬다.
최악의 성과(실험 #7 및 #8)에서도, 이력서가 성별을 식별하는 정보를 제거하여 사용할 수 없을 정도로 심각하게 제거된 경우, 단순한 NLP 모델인 Word2Vec은 약 70%의 정확한 성별 판단이 가능하다.
연구자들은 다음과 같이 말한다:
‘알고리즘 기반 채용 과정에서, 이러한 결과는 훈련 데이터가 완벽하게 편향되지 않는 한, 심지어 단순한 NLP 모델도 성별을 이력서에서 학습하여 편향을 전파할 것임을 의미한다.’
저자들은 이력서의 ‘성별 제거’를 위한 합법적인 AI 기반 솔루션이 없으며, 성별 편향 문제를 해결하는 데 기계 학습 기법이 더好的 접근 방식이라고 암시한다.
AI 용어로 이는 ‘양성 차별’에相当하며, 성별을 나타내는 이력서가 불가피하다고 인정하지만, 재정렬을 평등한 조치로 적극적으로 적용한다. 이러한 접근 방식은 2019年に LinkedIn에서 제안되었으며, 2018年に 독일, 이탈리아, 스페인의 연구자들이 제안하였다.
논문은 이력서와 알고리즘 채용에서의 성별 편향에 대한 영향이라고 제목이 붙여져 있으며, 뉴욕 대학교 스테른 비즈니스 스쿨의 Prasanna Parasurama와 조앙 세도크가 저술했다.
채용에서의 성별 편향
저자들은 성별 편향이 채용 절차에서 실제로 시스템화되고 있음을 강조하며, HR 매니저들이 성별에 기반한 AI 기반 ‘스크리닝’ 프로세스를 사용하고 있다고 말한다.
저자들은 2018年に 공개된 아마존의 채용 알고리즘이 여성 후보자를 거부한 사례를 인용한다
‘모델은 역사적으로 남성이 더 많이 채용된다는 것을 학습했으며, 따라서 남성 이력서를 여성 이력서보다 더 높은 등급으로 평가했다. ‘
‘候補者の 성별이 명시적으로 모델에 포함되지 않았지만, 모델은 이력서의 성별 정보에 기반하여 남성과 여성 이력서를 구분하는 것을 학습했다. 예를 들어, 남성은 ‘executed’와 ‘captured’와 같은 단어를 더 많이 사용했다.’
또한, 2011年的 연구에 따르면, 남성을 암시적으로 찾는 구인 광고는 남성을 명시적으로 आकर들이며, 여성은 지원하지 않도록 한다. 디지털화와 빅데이터 스키마는 이러한 관행을 자동화된 시스템으로 더욱 강화할 것으로 예상된다.
데이터
뉴욕 대학교의 연구자들은 성별을 분류하기 위한 예측 모델을 사용하여 일련의 모델을 훈련시켰다. 또한, 모델이 성별을 예측하는 능력이 성별을 나타내는 정보를 제거함에 따라 얼마나 잘 유지되는지 확인하려고 했다.
데이터셋은 8개의 미국 기반 IT 회사에서 수집된申请 이력서로 구성되며, 각 이력서에는 이름, 성별, 경력, 전문 분야 또는 연구 분야, 그리고 이력서가 제출된 구인 공고가 포함되어 있다.
더 깊은 문맥 정보를 추출하기 위해, 저자들은 Word2Vec 모델을 훈련시켰다. 이를 토큰으로 분리하고 필터링한 후, 각 이력서에 대한 하나의 임베딩 표현으로 해결되었다.
남성과 여성 샘플은 1:1로 匹配되었으며, 오차 범위 2년 이내의 경험을 기준으로 최선의 객관적인 작업 적합성을 가진 남성과 여성 후보자를 짝지었다. 따라서 데이터셋은 174,000개의 남성 이력서와 174,000개의 여성 이력서로 구성된다.
아키텍처와 라이브러리
분류 작업에 사용된 세 가지 모델은 Term Frequency-Inverse Document Frequency (TF-IDF) + Logistic, Word Embeddings + Logistic, 및 Longformer이다.
첫 번째 모델은 성별을 판단하기 위한 어휘적 차이를 기반으로 하는 베이스라인을 제공한다. 두 번째 접근 방식은 오프-더-셸프 워드 임베딩 시스템과 성별 비중 워드 임베딩을 모두 사용하여 수행되었다.
데이터는 훈련, 평가, 테스트를 위한 80/10/10으로 분할되었다.
위에 표시된 결과와 같이, 이전 접근 방식보다 훨씬 더 정교한 트랜스포머 기반 Longformer 라이브러리は 거의 완전히 ‘보호되지 않은’ 이력서와 동일한 성별을 감지하는 능력을 보여주었다.
실험에는 데이터 아블레이션 연구가 포함되어 있으며, 이력서에서 점점 더 많은 성별을 나타내는 정보를 제거하고, 이러한 더 조용한 문서에 대한 모델을 테스트했다.
제거된 정보에는 취미(위키백과의 ‘취미’ 정의에서 파생된 기준), LinkedIn ID, 성별을 나타낼 수 있는 URL이 포함되었다. 또한 ‘fraternity’, ‘waitress’, ‘salesman’과 같은 용어는 이러한 더 짧은 버전에서 제거되었다.
추가 결과
위에서 논의된 결과 외에도, 뉴욕 대학교의 연구자들은 성별 비중 워드 임베딩이 모델이 성별을 예측하는 능력을 낮추지 않는다는 것을 발견했다. 논문에서, 저자들은 성별이 작성된 언어를 얼마나 침투하고 있는지에 대한 정도를 암시하며, 이러한 메커니즘과 지시자가 아직 잘 이해되지 않고 있음을 언급한다.
