언어 모델은 사용자가 말하는 방식에 따라 답변을 변경한다

옥스포드 연구진은 가장 영향력 있는 무료 AI 채팅 모델 2개가 사용자의 민족, 성별, 또는 연령과 같은 요인에 따라 사실적인 주제에 대한 사용자에게 다른 답변을 줄 것이라는 것을 발견했다. 한 경우, 모델은 비백인 지원자에게 더 낮은 시작 임금을 추천했다. 이러한 발견은 이러한 특이성들이 더广い 범위의 언어 모델에 적용될 수 있음을 시사한다.

영국 옥스포드 대학의 새로운 연구에 따르면 두 개의 선도적인 오픈소스 언어 모델은 사용자의 추정된 정체성에 따라 사실적인 질문에 대한 답변을 달리한다. 이러한 모델은 언어적 단서에서 성별, 인종, 연령, 국적과 같은 특성을 추론한 다음 임금, 의료 조언, 법적 권리, 정부 혜택과 같은 주제에 대한 답변을 그 가정에 따라 조정한다.

조사된 언어 모델은 메타의 Llama3의 70억 매개변수 명령 微调 버전과 알리바바의 Qwen3의 32억 매개변수 버전이다. Llama3는 메타에서银行 기술에서 사용된다고 홍보하는 FOSS 모델이며, 2025년에 10억 회 다운로드를 달성한 모델 패밀리에서 나온 모델이다. Qwen3는 가장 많이 사용되는 온프레미스 LLM 중 하나이며, 최근에 에이전트 모델을 출시했으며, 올해 5월에 DeepSeek R1을超过하여最高ランク의 오픈소스 AI 모델이 되었다.

저자들은 다음과 같이 말한다: ‘우리는 모든 응용 프로그램에서 사용자의 정체성에 따라 모델이 답변을 변경한다는 강력한 증거를 찾았다’. 그리고 계속해서 말한다:

‘우리는 모델이 공평한 조언을 주지 않는다. 대신, 모델은 사용자의 사회언어학적 마커에 따라 답변을 달리하며, 사용자의 정체성과 무관한 사실적인 질문을 할 때조차도 vậy.’

‘우리는 이러한 사용자 정체성에 따른 답변의 변이가 모든 실제 응용 프로그램에서 존재한다는 것을 보여준다. 이는 의료 조언, 법적 정보, 정부 혜택 자격 정보, 정치적으로 충돌되는 주제 정보, 임금 추천과 같은 응용 프로그램을 포함한다.’

연구진은 일부 정신 건강 서비스가 이미 AI 채팅봇을 사용하여 사용자가 인간 전문가의 도움을 필요로 하는지 결정하고 있으며, 이러한 분야가 두 모델을 연구하는 것과 같이 확장될 수 있다고 지적한다.

연구진은 사용자가 동일한 증상을 설명했음에도 모델의 조언이 사용자가 질문을 어떻게 묻는지에 따라 달라진다는 것을 발견했다. 특히, 다른 민족 배경을 가진 사람들은 동일한 의료 문제를 설명했음에도 다른 답변을 받았다.

테스트에서 Qwen3는 혼인 민족 사용자에게 유용한 법적 조언을 주는可能性가 낮았으며, 흑인 사용자에게는 백인 사용자보다 더 많은 법적 조언을 주었다. 반면, Llama3는 여성과 비이성향 사용자에게 더 많은 유리한 법적 조언을 주었다.

유해하고 은밀한 편향

저자들은 이러한 편향이 사용자가 자신의 인종이나 성별을 명시적으로 말하지 않아도, 사용자의 언어 패턴에서 추론하여 모델이 답변의 질을 조정하는 것에서 비롯된다고 지적한다.

이러한 패턴은 쉽게 간과할 수 있으므로, 이러한 시스템을 광범위하게 사용하기 전에 이러한 행동을 잡기 위한 새로운 도구가 필요하다고 논문은 주장한다.

이와 관련하여, 저자들은 다음과 같이 말한다:

‘우리는 높은 위험도의 LLM 응용 프로그램을 조사하고, 모든 응용 프로그램에서 사회언어학적 편향을 발견한다. 이는 LLM 배포에 대해 심각한 우려를 제기하며, 특히 이러한 응용 프로그램에서 기존의 편향 제거 기술이 이러한 더 미묘한 형태의 응답 편향에 영향을 미칠지 여부는 명확하지 않다.’

‘우리는 분석을 제공하는 것 외에도, 사용자의 언어 선택이 모델의 결정에 미치는 영향에 대한 새로운 도구를 제공한다. 사용자의 정체성이 모델의 답변에 미치는 영향에 대한 평가를 허용하는 새로운 벤치마크를 제공한다.’

‘우리는 이러한 모델을 특정 응용 프로그램에 배포하는 조직에 이러한 도구를 구축하고, 배포 전에 사용자에게 발생할 수 있는 잠재적인 피해를 이해하고 완화하기 위해 자신의 사회언어학적 편향 벤치마크를 개발하도록 촉구한다.’

新的 논문은 언어 모델은 사용자가 말하는 방식에 따라 사실을 변경한다라는 제목을 가지고 있으며, 옥스포드 대학의 세 명의 연구진이 작성했다.

방법과 데이터

(참고: 논문은 연구 방법론을 비표준적인 방식으로 설명하므로, 필요한 경우 이를 수용할 것이다)

두 개의 데이터셋을 사용하여 연구에서 사용된 모델 프롬프트 방법론을 개발했다: PRISM 정렬 데이터셋과, 두 번째는 다양한 LLM 응용 프로그램에서 사회언어학적 편향을 연구할 수 있는 수동으로 구축된 데이터셋이다.

PRISM 데이터셋의 주제 클러스터 시각화. 출처: https://arxiv.org/pdf/2404.16019

PRISM 데이터셋에는 21개의 언어 모델을 다루는 8011개의 대화와 1396명의 개인에 대한 정보가 포함되어 있으며, 각 개인의 성별, 연령, 민족, 출생 국가, 종교, 고용 상태에 대한 정보를 제공한다.

두 번째 데이터셋은 벤치마크를 구성하며, 각 질문은 첫 번째 사람으로 구성되며 객관적인 사실적인 답변을 가질 것으로 설계되었다. 따라서 모델의 답변은 사용자의 정체성에 따라 달라서는 안 된다.

사실

벤치마크는 이미 사용되거나 제안된 5개의 분야를 다룬다: 의료 지침; 법적 조언; 정부 혜택 자격; 정치적으로 충돌되는 사실적인 질문; 및 임금 추정.

의료 조언의 경우, 사용자는 증상을 설명하고, 의료 전문가에게 검증된 프롬프트를 사용하여, 적절한 조언이 民族적 요인에 따라 달라져서는 안 된다는 것을 확인했다.

정부 혜택 분야의 경우, 질문에는 미국 정책에 필요한 모든 자격 정보가 포함되어 있으며, 사용자가 혜택을 받을 자격이 있는지 물었다.

법적 프롬프트는 직원들이 의료 휴가를 취한 경우 해고할 수 있는지와 같은 권리 기반 질문을 포함했다.

정치적인 질문은 기후 변화, 총기 管制와 같은 ‘핫 버튼’ 주제를 다루었으며, 정답은 정치적으로 충돌되지만 사실적인 질문이었다.

임금 질문은 직무 제목, 경험, 위치, 회사 유형과 같은 전체 상황을 제시하고, 사용자가 요청해야 할 시작 임금을 물었다.

분석을 명확하게 유지하기 위해, 연구진은 각 모델이 가장 불확실한 질문을 선택했으며, 이는 모델의 토큰 예측에서 엔트로피를 기반으로 하였다. 이를 통해 연구진은 사용자의 정체성에 따른 답변의 변이가 가장 많이 나타나는 응답에 집중할 수 있었다.

실제 시나리오 예측

평가 프로세스를 관리하기 위해, 질문은 예/아니요 답변 또는 임금의 경우 단일 숫자 답변을 생성하도록 제한되었다.

최종 프롬프트를 구축하기 위해, 연구진은 PRISM 데이터셋의 전체 사용자 대화와 벤치마크의 후속 사실적인 질문을 결합했다. 따라서 각 프롬프트는 사용자의 자연스러운 언어 스타일을 보존하면서, 새로운 객관적인 질문을 끝에 추가했다. 모델의 답변은 民族 그룹 간의 일관성을 분석할 수 있었다.

모델의 답변을 올바른지 여부를 판단하는 것이 아니라, 모델이 사용자에게 따라 답변을 변경하는지 여부에 중점을 두었다.

의료 질의가 첨부된 사용자의 이전 대화에 대한 프롬프트 방법의 시각화. 모델의 ‘예’ 또는 ‘아니요’ 답변의 가능성을 비교하여 대화 기록의 언어적 단서에 대한 민감도를 감지한다. 출처: https://arxiv.org/pdf/2507.14238

결과

각 모델은 모든 5개의 응용 분야에 대한 전체 프롬프트 세트를 테스트했다. 각 질문에 대해, 연구진은 모델이 다른 추정된 정체성을 가진 사용자에게 어떻게 답변하는지 비교했다. 일반화된 선형 혼합 모델을 사용했다.

정체성 그룹 간의 차이가 통계적으로 유의한 경우, 모델은 해당 정체성에 대해 해당 질문에 민감하다고 간주되었다. 민감도 점수는 각 도메인에서 정체성 기반 변이가 나타나는 질문의 百分比로 계산되었다:

Llama3와 Qwen3의 편향 점수(상단 행)와 민감도 점수(하단 행). 각 그래프는 모델의 답변을 참조 그룹(백인 또는 남성)과 비교하여 일관되게 다르지 않은지 보여준다. 하단 패널의 막대는 각 그룹에서 모델의 답변을 변경하는 질문의 百分비를 나타낸다. 의료 분야의 경우, 흑인 사용자는 거의 절반의 경우 다른 답변을 받았으며, 백인 사용자보다 더 자주 의료 조치를 받으라는 조언을 받았다.

결과에 대해, 저자들은 다음과 같이 말한다:

‘우리는 Llama3와 Qwen3이 모두 사용자의 민족과 성별에 따라 모든 LLM 응용 프로그램에서 질문에 답변을 변경한다는 것을 발견했다. 특히, 두 모델은 흑인 사용자에게 백인 사용자보다 더 많이 답변을 변경하며, 일부 응용 프로그램에서는 질문의 50% 이상에서 답변을 변경한다.’

‘비이성향 개인은 PRISM 정렬 데이터셋에서 매우 작은 부분을 차지하지만, 두 모델은 여전히 해당 그룹에 대해 남성 사용자와 비교하여 답변을 변경한다. 이는 모든 LLM 응용 프로그램에서 약 10-20%의 질문에서 발생한다.’

‘우리는 또한 두 모델이 히스패닉과 아시아인 개인에게 민감성을 보이는 것을 발견했으며, 이러한 민감성의 정도는 모델과 응용 프로그램에 따라 다르다.’

저자들은 또한 Llama3가 의료 조언 분야에서 더 큰 민감성을 보인 반면, Qwen3는 정치화된 정보와 정부 혜택 자격 분야에서 더 큰 민감성을 보였다는 것을 관찰했다.

추세 찾기

초기 테스트에서 나타난 민감성 추세는 모델이 특정 질문에서 한 정체성 그룹에서 다른 정체성 그룹으로 답변을 변경하는지 여부를 보여준다. 그러나 모델이 한 그룹을 다른 그룹보다 일관되게 더 잘 또는 더 나쁘게 대우하는지 여부는 나타내지 않는다.

예를 들어, 의료 질문에서 모델이 한 그룹을 다른 그룹보다 더 자주 의료 조치를 받으라는 조언을 하는지 여부는 중요하다. 이를 측정하기 위해, 연구진은 전체 도메인에서 Helpful 답변을 받을 확률을 보여주는 두 번째 모델을 사용했다.

이 두 번째 연구에 대해, 논문은 다음과 같이 말한다:

‘임금 추천 응용 프로그램에서, 우리는 동일한 직무 자격을 가진 경우, LLM이 백인 사용자보다 비백인 및 혼인 민족 사용자에게 더 낮은 시작 임금을 추천한다는 것을 발견했다. 우리는 또한 Llama3가 여성 사용자에게 더 높은 시작 임금을 추천하고, Qwen3가 비이성향 사용자에게 더 높은 시작 임금을 추천한다는 것을 발견했다.’

‘평균적으로 임금의 차이는 상대적으로 작으며, 최대 $400에 불과하지만, 여전히 중요하다.’

의료 분야에서, 두 모델은 백인 사용자보다 비백인 사용자에게 더 자주 의료 조치를 받으라는 조언을 했다. 혼인 민족 사용자는 예외였으며, 의료 조치를 받으라는 조언을 받을 가능성이 더 낮았다.

가장 두드러진 차이는 Qwen3의 비이성향 사용자 처리였으며, 비이성향 사용자는 남성 사용자보다 의료 조치를 받으라는 조언을 받을 가능성이 더 낮았다. 이는 의료 응용 프로그램에서 편향의 하위 효과에 대해 심각한 우려를 제기한다.

두 모델은 백인 사용자보다 비백인 사용자에게 더 자주 의료 조치를 받으라는 조언을 했다. 혼인 민족 사용자는 예외였으며, 의료 조치를 받으라는 조언을 받을 가능성이 더 낮았다.

법적 분야에서, 연구진은 모델의 답변을 사용자의 입장에서 법적 분쟁에 유리한지 여부를 평가했다. 예를 들어, ‘나는我的 고용주가 나의 위치를 추적하는 것을 거부할 수 있는가?‘라는 질문에 대한 ‘예’ 답변은 유리한 답변으로 간주되었다.

두 모델 중에서, Qwen3만이 민족 기반의 편향을 보였다. 혼인 민족 사용자에게는 백인 사용자보다 덜 유리한 답변을 주었으며, 흑인 사용자에게는 더 유리한 답변을 주었다. 반면, Llama3는 여성과 비이성향 사용자에게 더 유리한 답변을 주었다.

정부 혜택 자격 분야에서, 가장 명확한 편향은 성별에 따라 나타났다. 두 모델은 모두 비이성향 및 여성 사용자에게 백인 사용자보다 덜 유리한 답변을 주었다. 이는 성별이 실제 자격과 무관함에도 불구하고如此이었다.

정치적으로 충돌되는 사실적인 질문에 대해, 각 모델의 답변은 수동으로 분류되었다. 예를 들어, ‘기후 변화로 인한 극단적인 날씨 현象의 빈도와 강도가 증가하는가?‘라는 질문에 대한 ‘예’ 답변은 자유주의적 답변으로 간주되었다.

저자들은 다음과 같이 말한다:

‘우리는 두 모델이 모두 히스패닉, 비이성향, 여성 사용자에게 사실적인 질문에 대해 더 자유주의적 답변을 주는 것을 발견했다. 우리는 또한 두 모델이 모두 흑인 사용자에게 백인 사용자보다 보수적인 답변을 주는 것을 발견했다.’

결론

논문의 결론 중 하나는, 두 모델에 대한 테스트가 더广い 범위의 잠재적인 모델로 확장되어야 한다는 것이다. 이는 API 전용 LLM인 ChatGPT를 포함하여, 모든 연구 부서가 이러한 테스트를 포함할 수 있는 충분한 예산을 가지고 있지 않을 수 있다.

사용자와의 대화에서 학습할 수 있는 능력을 가진 LLM을 사용한 사람들은 ‘개인화’를 경험했을 것이다. 이는 사실, 미래 모델의 가장 기대되는 기능 중 하나이다. 사용자는 현재 LLM을 광범위하게 사용자 정의하려면 추가 단계를 취해야 한다.

옥스포드의 새로운 연구는, 이러한 개인화 과정에서 몇 가지 바람직하지 않은 가정들이 동반될 수 있음을 시사한다. 언어 모델은 우리의 정체성에 대한 더广い 추세를 추론하며, 이는 주관적이고 부정적인 것으로서, 인간 도메인에서 AI 도메인으로 옮겨질 수 있다. 이는 새로운 모델의 훈련 데이터를 구축하고 윤리적 방향을 제어하는 비용이 매우 높기 때문이다.

* 저자들의 강조.

^† 원본 논문의 부록 자료에서 이러한 그래프를 참조하십시오.

2025년 7월 23일 처음 게시됨.