2024년 이후 AI 채용 편향의 명백한 180도 역전

새로운 연구에 따르면 지난 3년 동안 AI 채용 시스템의 편향이 완전히 반전되었다는 것이다. 14개의 선도적인 AI 모델을 연구한 결과, 거의 모든 새로운 모델이 흑인 및/또는 여성 지원자를 선호하는 것으로 나타났는데, 이는 2023년 평균적인 태도와는 정반대였다.

14개의 주요 AI 모델,包括 여러 버전의 ChatGPT, Claude, Gemini, Llama, Grok 및 Qwen을 포함한 최근 감사에서, 연구자들은 AI 채용 편향이 2023년 이후에 반전된 것으로 나타났으며, 새로운 모델은 이전에優勢를 갖던 흰인男性 지원자 대신 흑인 및 여성 지원자를 더requently 선호하는 것으로 나타났다:

AI 모델의 인종별 콜백 격차를 보여주는 포레스트 플롯. GPT-3.5-Turbo는 인간 연구에서 관찰된 프로-흰인 채용 편향을 재현하였으며, 2024년 이후에 출시된 모든 모델은 통계적으로 유의한 인종별 선호가 없거나 흑인 지원자를 유의하게 선호하는 것으로 나타났다. 소스

또한, 동일한 패턴은 성별에서도 나타났다: OpenAI의 2023 GPT-3.5-Turbo 모델은 남성 지원자를 선호하였으나, 이후 모델은 통계적으로 유의한 성별별 선호가 없거나 여성 지원자를 유의하게 선호하는 것으로 나타났다:

13개의 AI 모델에서 성별별 콜백 격차를 비교하는 포레스트 플롯. GPT-3.5-Turbo는 남성 지원자를 유의하게 선호하였으나, 이후 모델은 중립적이거나 여성 지원자를 유의하게 선호하는 것으로 나타났다.

이러한 변화는 AI 개발자가 지속적인 비판에 대한 대응으로 모델을 재훈련하거나 미세 조정한 결과일 수 있다. 연구자에 따르면, 이러한 노력은 한 가지 편향 패턴을 제거하는 데 성공했지만, 다른 편향을 도입한 것으로 나타났다:

연구자들은 다음과 같이 말한다:

‘제목은 반전이다. 2023년 버전의 모델은 흰인 지원자에게 유리한 콜백 격차를 재현한다. 흰인 지원자는 흑인 지원자보다 2.12 퍼센트 포인트 더 높은 콜백을 받는다(1% 수준에서 유의한 결과).

‘이 격차는 108개의 포춘 500 기업을 대상으로 한 연구에서 보고된 1.6 pp의 격차보다 크다.

‘그러나 2024년 이후에 출시된 모든 모델은 통계적으로 유의한 인종별 선호가 없거나 흑인 지원자를 0.4에서 3.0 pp까지 유의하게 선호하는 것으로 나타났다.

‘이 패턴은 단일 제공업체나 모델 패밀리에 국한되지 않는다. 오픈AI, 앤트로픽, 메타, 구글, xAI, 디프시크, 알리바바, 지푸 AI 모델에서 모두 관찰되었다.

이 연구는 14개의 AI 모델을 사용하여 대규모의 일치된 이력서를 생성하였다. 각 이력서에는 동일한 자격이 있지만, 지원자의 인종이나 성별만 다르게 나타났다.

연구자들은 다음과 같이 결론을 내렸다:

‘알고리즘적 채용 편향의 방향은 언어 모델의 고정된 속성이 아니다. 모델 버전, 제공업체, 규모에 따라 체계적으로 변한다.

‘오픈AI 계열 내에서만, 인종 격차는 +2.12 pp(프로-흰인, 2023)에서 −0.61 pp(프로-흑인, 2024)로 이동하고, 2026년에는 중립적이게 된다.

방법

이 새로운 연구는 2022년 연구에서 개발된 방법론을 사용한다.

이전 연구에서, 연구자들은 83,000개의 가짜 이력서를 108개의 미국 최대 기업에 보냈다. 각 이력서에는 이름이 다른 인종이나 성별을 나타내었지만, 자격은 동일하였다. 연구는 흰인 지원자에게 유리한 콜백 격차를 발견하였다.

이 새로운 연구는 이 감사 프레임워크를 AI 모델에 적용한다. 6,007개의 미국 입사 직무 공고와 일치하는 24,024개의 일치된 이력서를 생성하였다. 각 이력서에는 동일한 자격이 있지만, 지원자의 인종이나 성별만 다르게 나타났다.

이 연구는 14개의 AI 모델을 사용하였다: 오픈AI의 GPT-3.5-Turbo, GPT-4o-mini, GPT-oss-120b, GPT-5.4-mini; 앤트로픽의 Claude 3 Haiku, Claude Haiku 4.5; 메타의 Llama-3.1-8B, Llama-3.3-70B; 구글의 Gemini-2.5-flash, Gemma-4-31B; xAI의 Grok-4.1-fast; 디프시크의 DeepSeek-V3.1; 알리바바의 Qwen3.5-397B; 지푸 AI의 GLM-5.1.

각 모델은 6,007개의 직무 공고와 24,024개의 일치된 이력서를 평가하였다. 각 이력서에는 동일한 자격이 있지만, 지원자의 인종이나 성별만 다르게 나타났다.

이 연구는 또한 성별 편향을 측정하였다. 각 직무 공고와 일치된 이력서를 생성하여, 48,048개의 일치된 성별 쌍을 생성하였다.

성별 비교는 동일한 직무 공고, 일치된 이력서, 인종 그룹 내에서 수행되었다.

이 연구는 또한 각 모델의 결정에 영향을 미치는 요인을 분석하였다. 각 모델은 2개의 메시지를 받았다: 시스템 메시지와 사용자 메시지.

시스템 메시지는 모델이 HR 담당자로 행동하여 지원자를 선정하도록 지시하였다. 사용자 메시지는 직무 공고와 지원자 프로필을 제공하였다.

모델은 각 지원자에 대해 ‘yes’ 또는 ‘no’를 응답해야 하였다.

이 연구는 각 모델의 응답을 분석하여, 인종과 성별에 따른 편향을 측정하였다.

결과

인종

이 연구의 결과는 14개의 AI 모델에서 인종 편향을 측정하였다.

결과는 2023년 이전 모델은 흰인 지원자를 선호하였으나, 2024년 이후 모델은 흑인 지원자를 선호하는 것으로 나타났다.

성별

이 연구는 또한 13개의 AI 모델에서 성별 편향을 측정하였다.

결과는 2023년 이전 모델은 남성 지원자를 선호하였으나, 2024년 이후 모델은 여성 지원자를 선호하는 것으로 나타났다.

결론

이 연구는 AI 모델의 편향이 시간의 경과에 따라 변할 수 있음을 보여주었다. 그러나, 이러한 변화는 항상 긍정적인 방향으로 이루어지는 것은 아니다. AI 모델이 인간의 편향을 재현하거나, 새로운 편향을 도입할 수 있기 때문이다.

따라서, AI 모델의 편향을 이해하고, 이를 제거하기 위한 노력이 필요하다. 이를 통해, 더 공정하고, 투명한 AI 시스템을 개발할 수 있을 것이다.

또한, 이 연구는 AI 모델의 결정에 영향을 미치는 요인을 분석하였다. 이를 통해, AI 모델의 편향을 이해하고, 이를 제거하기 위한 노력이 필요하다.

이 연구의 결과는 AI 모델의 편향을 이해하고, 이를 제거하기 위한 노력에 기여할 수 있을 것이다. 이를 통해, 더 공정하고, 투명한 AI 시스템을 개발할 수 있을 것이다.