인공지능이 잘못된 인간의 답변을 옳은 인공지능의 답변보다 선호하는 이유

AI 언어 모델은 다른 AI보다 인간 전문가의 답변을 훨씬 더 쉽게 따른다. 전문가가 틀리고 AI가 맞을 때조차 나타나는 이 현상은 인간의 권위에 대한 내재적 편향을 드러낸다.

미국의 새 연구는 여러 주요 오픈소스 및 독점 대규모 언어 모델(LLM)이 ‘AI’가 제공했다고 표시된 정보보다 ‘인간’이 제공했다고 표시된 정보에 더 큰 권위를 부여한다는 사실을 발견했다. 인간의 답은 틀리고 AI의 답은 맞는 경우에도 마찬가지였다.

저자들은 “모든 과제에서 모델은 인간 전문가가 제시했다고 표시된 답변에 훨씬 더 강하게 동조했다. 그 신호가 틀렸을 때도 그랬으며, 다른 LLM보다 전문가 쪽으로 답을 더 쉽게 수정했다”고 설명한다. 시험에는 Grok 3, Gemini Flash 계열 등을 포함한 네 모델이 사용됐다.

모델은 예 또는 아니요로 답해야 하는 질문에 먼저 독립적으로 답한 뒤, 인간 전문가·친구·다른 LLM이 이전에 제시한 것이라고 설명된 답을 보았다. 조언의 내용은 그대로 두고 출처 표지만 바꿨기 때문에, 차이는 답 자체가 아니라 모델이 출처를 어떻게 받아들이는지에서 나왔다.

첫 번째 시험 구성에서는 모델이 자체 학습 결과에만 의존해 답했다. 출처

모든 과제에서 인간 전문가가 낸 것으로 표시된 답은 더 큰 가중치를 받았다. 전문가 표시 답이 틀리고 모델의 최초 답이 맞았던 경우에도 모델은 최초 답을 버리고 전문가를 따를 가능성이 더 컸다.

9명의 분야 전문가가 ‘아니요’라고 답하자 LLM은 이전 답을 바꿨다. 그러나 인도 중앙은행은 실제로 국유화되어 있어 바뀐 답은 틀렸다.

똑같은 답을 다른 LLM이 제시했다고 했을 때는 영향이 더 약했다. 인간 한 명과 AI 하나가 서로 다른 답을 제시한 조건에서도 어느 쪽이 사실상 맞는지와 무관하게 인간으로 표시된 입장을 더 선호했다.

분야 전문가 한 명과 다른 LLM의 의견이 충돌하자 호스트 LLM은 틀린 인간 답을 택하고 올바른 LLM 답을 거부했다.

‘인간 전문가’라는 말은 실제 정확도와 별개로 모델 행동을 바꾸는 신뢰 신호로 작용했다. 출처의 신뢰성이 사람이 조언을 받아들이고 동조하는 데 영향을 준다는 연구는 오래됐지만, LLM은 인간처럼 사회적 승인이나 당혹감을 경험하지 않는다. 따라서 이런 동조 행동은 학습된 휴리스틱, 지시를 따르도록 만든 목표, 또는 암묵적인 신뢰도 모델링에서 비롯됐다고 볼 수 있다.

LLM의 아첨성 동조도 이 연구의 배경이다. 모델이 진실성과 유용성을 희생하면서까지 질문자에게 맞장구치려는 경향을 보인다면, 직접 대화하는 사용자를 넘어 다른 인간 출처에도 비슷한 권위를 부여할 수 있기 때문이다.

새 논문의 제목은 Who Do LLMs Trust? Human Experts Matter More Than Other LLMs이며, Indiana University Bloomington 연구자 두 명이 작성했다.

방법과 데이터

연구진은 Grok-3 Mini, Llama 3.3 70B Instruct, Gemini 2.5 Flash-Lite, DeepSeek V3.1 등 지시 조정 LLM 네 개를 평가했다. 모든 모델에는 같은 프롬프트 구조를 사용했고, 출처 표지 외의 변수를 줄이기 위해 온도 0의 결정론적 디코딩을 적용했다.

예·아니요 형식의 이진 답을 요구하는 BoolQ, StrategyQA, ETHICS 자료에서 각각 300개의 고정 질문과 답을 선별했다. 각 프롬프트 끝에는 다른 집단이 같은 질문에 어떻게 답했다고 주장하는 짧은 문장을 붙였다.

평가 지표는 정확도, 동조율, 유해한 동조율, 답변 전환율, 전환 방향이었다. 정확도는 데이터셋 정답과 일치한 비율, 동조율은 제시된 집단 답과 일치한 비율이다. 유해한 동조율은 집단 답이 틀렸을 때에도 따른 경우를 따로 계산했다. 전환율은 사회적 정보가 추가된 뒤 모델이 최초 답을 포기한 빈도이며, 전환 방향은 인간 쪽과 반대편 LLM 쪽 중 어디로 이동했는지를 나타낸다.

Llama 3.3 70B에는 토큰 수준 분석도 적용했다. 사회적 단서를 추가했을 때 ‘예’와 ‘아니요’의 내부 확률이 단서가 없던 기준점에서 얼마나 이동하는지 비교해 영향의 세기를 측정했다.

실험 1: 같은 답도 ‘전문가’라고 하면 더 강해진다

첫 실험은 모델이 사람과 다른 모델 가운데 누구의 말을 더 듣는지 살폈다. 각 질문에는 친구, 인간 전문가, 다른 LLM 중 하나가 냈다고 표시된 ‘집단 답’이 붙었다. 집단 크기는 한 명에서 아홉 명까지 바뀌었고, 비교를 위해 아무 집단도 제시하지 않은 조건도 포함했다. 집단 답은 절반은 맞고 절반은 틀리도록 구성됐다.

BoolQ, StrategyQA, ETHICS에서 네 모델의 정확도와 동조율을 비교한 첫 시험 결과다. 위 패널은 정확도, 아래 패널은 집단 크기가 1명에서 9명으로 늘어날 때 만장일치 사전 답과 일치할 확률을 보여준다. 검은 점선은 사전 답이 없는 기준선이며, 전문가라는 프레이밍에서 특히 집단이 커질수록 동조 효과가 가장 강했다. 오차 막대는 95% Wilson 신뢰구간이다.

세 자료 모두에서 인간 전문가가 냈다고 표시된 답은 친구나 다른 LLM의 답보다 모델에 훨씬 큰 영향을 줬으며, 전문가 수가 많다고 제시할수록 그 끌림도 커졌다.

잘못된 답에 끌려가는 정도를 보기 위해 연구진은 ‘유해한 동조’를 집단이 틀렸는데도 그 답을 따른 확률로 정의했다. 9명의 전문가가 틀린 답에 동의했다고 했을 때 모델이 이를 따른 비율은 BoolQ에서 36.5%였지만, 같은 답을 LLM들이 냈다고 했을 때는 16.0%였다. StrategyQA에서는 39.0% 대 15.5%, ETHICS에서는 63.9% 대 38.7%였다.

Llama 3.3 70B의 BoolQ 토큰 수준 믿음 변화. 패널 A는 집단 규모가 커질 때 만장일치 사전 답 쪽으로 ‘예’와 ‘아니요’의 균형이 이동한 정도를 보여주며, 전문가 프레이밍에서 변화가 가장 컸다. 패널 B는 인간과 LLM이 직접 충돌할 때 전문가 표시가 틀린 인간 답 쪽으로도 강한 이동을 일으킨다는 점을 보여준다. 오차 막대는 95% 부트스트랩 신뢰구간이다.

친구가 냈다고 표시한 답은 다른 LLM이 냈다고 표시한 답과 거의 같은 영향을 보였다. 즉 효과를 만든 것은 단순한 ‘사회적’ 단서가 아니라 구체적으로 ‘전문가’라는 표현이었다.

실험 2: 인간과 LLM이 정면으로 충돌할 때

두 번째 실험에서는 서로 반대되는 답 두 개를 동시에 제시했다. 하나는 인간이, 다른 하나는 별도의 LLM이 냈다고 표시했다. 인간은 친구 집단 또는 분야 전문가로 설명했으며, 두 답은 항상 하나가 ‘예’, 다른 하나가 ‘아니요’였다.

문항마다 인간이 맞는 경우와 LLM이 맞는 경우를 균형 있게 배치했다. 먼저 외부 의견 없이 답하게 한 뒤 충돌하는 두 의견을 보여주고 다시 답하게 해, 답이 바뀌었다면 인간과 LLM 중 어느 쪽으로 이동했는지 추적했다. 데이터셋과 모델 차이를 통제한 통계 검정으로 인간을 친구가 아닌 전문가라고 부를 때 인간 쪽 전환 가능성이 커지는지도 평가했다.

BoolQ, StrategyQA, ETHICS에서 인간과 LLM이 직접 충돌할 때 네 모델의 믿음 수정 방향. 각 막대는 최초 답을 바꾼 사례 중 반대편 LLM이 아니라 인간 쪽으로 이동한 비율이다. 0.5 점선은 어느 쪽도 선호하지 않는 수준이며, 오차 막대는 95% Wilson 신뢰구간이다.

인간을 전문가라고 표시했을 때 모델이 답을 바꾼 사례 가운데 인간 쪽으로 이동한 비율은 BoolQ 91.2%, StrategyQA 94.7%, ETHICS 81.3%였다. 인간을 친구라고 표시하면 각각 39.8%, 37.9%, 27.9%에 그쳤고 대부분 다른 LLM 편을 들었다.

전체적으로 답을 바꾸는 일 자체는 드물었지만 전문가가 등장하면 더 자주 일어났다. 전문가 프레이밍은 친구 프레이밍보다 인간 쪽으로 전환할 가능성을 약 14배 높였다.

연구진은 지시 조정과 선호 최적화가 맥락 정보를 받아들이는 협조적 행동에 보상을 주고, 이것이 사회적으로 표현된 사전 답에 대한 복종으로 일반화될 수 있다고 추정한다. RLHF 기반 보조 모델의 아첨성 연구에서도 사용자 믿음에 동의하는 것을 사실성보다 우선하는 경우가 관찰됐다.

의견: 인간 출처를 신뢰하는 AI의 잠재적 위험

AI의 결함, 특히 환각에 대한 인간의 우려를 담은 온라인 자료가 새 모델의 학습 데이터로 들어가면서, LLM이 인간 출처를 선호하는 경향은 더 강해질 수 있다. 2024~2025년이 AI를 둘러싼 문화적 전환점이었다면 앞으로 대규모 모델은 ‘AI 출처’에 대한 부정적 평가를 훨씬 더 많이 학습할 가능성이 있다.

인기 모델은 평판이 좋은 기존 언론과 같은 엄선된 권위에 점점 더 의존할 수 있다. 그러나 그런 제휴의 목적이 출판사의 데이터 수집 반발을 달래려는 것일 수 있으며, 권위를 진정으로 공유하거나 넘기려는 뜻이라고 단정할 수는 없다.

Ars Technica처럼 권위 있는 매체도 AI에서 비롯된 오류를 낼 수 있다. 웹 수집 봇을 차단하려는 움직임이 장기적으로 AI 출력의 질을 떨어뜨릴 수 있는 상황에서, ‘전문가’ 출처를 자동 우대하는 성향은 인간이 만든 정보를 제대로 정의하고 표시하기조차 어려운 현실과 충돌한다.

현재 사용할 수 있는 것은 Adobe가 주도한 Content Authenticity Initiative처럼 AI 생성 콘텐츠를 명시적으로 표시하려는 부분적 기술과, 일부 출판사가 AI 사용 사실을 자발적으로 밝히는 관행 정도다.

인간을 ‘현실의 기준’으로 유지하려는 사람에게는 모델의 인간 출처 신뢰가 안심되는 특성처럼 보일 수 있다. 하지만 모델이 인간 권위를 더 확신할수록 위조된 인간 권위가 낳을 위험도 커진다.

핵심 문제는 이론에만 있지 않다. 우리는 정보의 출처를 정의하고 증명하는 문제를 아직 해결하지 못했다. 따라서 ‘인간 출처를 신뢰하는’ AI는 의미 있는 출처 인증 장치가 없는 한, AI가 만든 결과물을 인간의 것으로 잘못 판단할 가능성도 커진다.

* 필자가 논문의 인라인 인용을 링크로 변환했다.

2026년 2월 20일 최초 게재.