AI는 여전히 당신을 제대로 바로잡기에는 지나치게 공손할 수 있다

정확한 정보를 얻기 위해 의지하는 AI 시스템은, 그 정보가 우리를 기쁘게 해 줄 내용이 아니더라도, 우리가 달갑지 않은 소식이나 사실을 받아들일 준비가 될 때까지 우리의 반발에 맞서 이의를 제기할 수 있어야 한다.

AI는 이런 일을 그다지 잘하지 못한다. 최첨단 모델은 일반 소비자를 대상으로 설계되었기 때문에 상대에게 지나치게 맞추는 경향이 있으며, 실제로는 아첨에 가까운 태도를 보인다.

이 문제를 다루는 주목할 만한 연구 흐름이 나타났다. 그러나 최근 연구에 따르면 AI가 우리에게 이의를 제기할 때 우리는 AI를 쉽게 심리적으로 조종해 다시 우리 비위를 맞추게 할 수 있고, AI는 명백히 틀렸을 때조차 인간의 권위에 복종하며, 대체로 효과적인 기법인 강화 학습은 오히려 이 특정 문제를 악화시킨다.

상대에게 맞추는 태도가 공손함과 문화적으로 깊이 얽혀 있다는 사실은 서비스 제공자>소비자 관계에서는 ‘솔직하게 말하기’가 불가능하다는 뜻인 듯하다. ‘고객은 언제나 옳다’는 말은 고객이 절벽으로 걸어가려는 순간에도 통한다.

옳고 그름, 그리고 ‘완곡한 표현’

이번 주에 나온 논문 가운데 이 문제를 실질적으로 진전시킨 연구가 있었다고 말씀드릴 수 있다면 좋겠지만, 아쉽게도 그렇지 않다. 우리가 새로 알게 된 것은 ‘이의를 제기하고’ 인간 주인에게 진실을 납득시키려는 모델조차 여전히 그 일을 그다지 잘하지 못한다는 점뿐이다*. 그리고 모델이 권력자, 즉 여러분에게 진실을 말할 의향이 있더라도, 그 목소리는 사실상 알아듣기 힘들 만큼 작다.

이번에 소개할 새 논문은 상당한 규모의 학술 협력 연구로, University of Washington, Allen Institute for AI, LMU Munich, UC Berkeley, Stanford University, University of Wisconsin-Madison이 참여했다.

논문 제목은 건초 더미 속의 반박: 언어 모델은 사실 오류에 모호하고 비효율적으로 대응한다이다. 이 새 연구의 핵심은 AI 모델이 사용자의 주장이 거짓임을 알아차리더라도 이를 명확히 바로잡지 못하는 경우가 많으며, 대신 완곡한 표현과 칭찬, 부분적인 동의 속에 반론을 묻어 버린다는 것이다.

거짓 전제에 기반해 학술 논문을 요청하자 Gemini 2.5 Pro가 힌디어로 답변한 사례. 녹색으로 강조된 부분은 동의를, 분홍색으로 강조된 부분은 반박을 나타낸다. 이 사례에서 모델은 주장을 명확히 부정하는 대신 칭찬과 간접적인 반론을 섞어 말한다. 출처

연구진은 7개 모델과 5개 언어를 대상으로 조사한 결과, AI가 기술적으로는 잘못된 정보에 이의를 제기했더라도 이러한 ‘모호함’ 때문에 사용자가 처음의 잘못된 정보를 계속 사실로 믿을 수 있음을 발견했다.

언어마다 아첨의 양상과 정도가 다르기 때문에, 저자 10명은 서로 구사하는 5개 모국어를 활용해 영어, 독일어, 중국어, 힌디어, 요루바어를 포함하는 시험 방법을 설계했다. 이 언어들은 자원 규모가 큰 언어부터 자원이 부족한 언어까지 다양하다. 연구진은 다음과 같이 밝혔다.

‘우리는 언어 모델이 거짓 입력에 어떻게 반박하거나 동조하는지 세밀하게 파악하기 위해, 구문 단위로 응답에 꼬리표를 붙이는 체계를 도입하고 이를 사람이 검증하도록 했다. 또한 이 체계를 개발해 영어, 독일어, 중국어, 힌디어, 요루바어 등 5개 언어로 된 모델 응답에 적용했다.

‘모델이 사용자의 거짓 주장에 이의를 제기할 때는 간접적인 표현을 쓰고 동조하는 말을 섞는 경향이 있음을 확인했다. 조사 대상 언어 가운데 힌디어와 요루바어에서는 간접적인 표현이 더 많이 나타났다.’

참가자 300명이 참여한 대규모 연구에서 연구진은 AI 모델의 모호한 정정이 사용자의 사실에 대한 오해를 효과적으로 바로잡기보다 그대로 남겨 둘 수 있음을 발견했다.

한 실험에서 정보 탐색 질문에 대한 모델 응답은 평균 46.7줄이었고, 정정 표현은 그중 단 두세 줄에만 등장했다. 즉 AI가 거짓 주장에 이의를 제기하더라도 그 반론을 찾아내기 어려울 수 있다.

연구진은 모델이 일반적인 정보 요청에서 잘못된 정보가 언급될 때보다 명시적으로 사실 확인을 요청받았을 때 해당 정보에 이의를 제기할 가능성이 더 높다는 점도 발견했다. 교과서의 내용으로 제시된 주장에는 친구의 말로 제시된 주장보다 대체로 반론이 적었다.

정보 탐색 질문에 대한 응답 중 29.4%에서 모델은 정정과 동조를 섞어 말했으며, Gemini 2.5 Pro에서는 그 비율이 60.1%까지 높아졌다. 때로는 이른바 ‘칭찬 샌드위치’ 형식으로, 안심시키는 말 사이에 반론을 묻어 두기도 했다.

가능한 해결책으로 연구진은 모델이 응답하기 전에 ‘잠깐 생각하도록’ 유도하는 간단한 개입을 시험했다. 일부 사례에서는 이 방법으로 모델이 거짓 진술에 이의를 제기하려는 경향이 강해졌지만, 사실인 진술에 잘못 반박하는 경우도 늘었다.

이 연구는 AI가 오류를 인식하게 하는 것이 문제의 일부일 뿐이며, 그 오류를 전달하게 하는 일도 그 자체로 별개의 과제임을 시사한다.

연구 방법

시험 자료는 2021년 OpenAI의 다국어 버전인 Massive Multitask Language Understanding (MMLU) 벤치마크에서 가져왔다. MMMLU라고 알려진 이 다국어 데이터셋에는 생물학과 역사 등 학문 분야가 포함돼 있다.

데이터셋의 객관식 문항을 사실 진술문으로 바꾸고, 오답 3개로는 거짓 주장을, 정답으로는 참인 진술문을 만들었다.

이렇게 각 언어별로 이중 번역된 MMMLU 벤치마크 항목 1,756개를 바탕으로 5개 언어에 걸쳐 총 35,120개의 진술문으로 구성된 데이터셋을 만들었다. 실험에는 이 가운데 주제별 균형을 맞춘 더 작은 표본을 선정했으며, 거짓 진술문 2,685개와 참인 진술문 895개가 포함됐다.

시험 대상 언어 모델은 비공개 모델인 Gemini2.5 Pro와 GPT-5.5, 그리고 가중치를 공개한 모델 5종인 Mistral Small 4, Qwen 3.5 9B, Qwen 3.5 27B, Gemma 4 E4B, Aya Expanse 32B였다.

모델을 시험하는 데 사용한 프롬프트는 세 가지 유형이었다. 첫 번째는 진술문을 제시해 사실 여부를 직접 확인하도록 했고, 두 번째는 학생이 해당 진술문과 관련된 학습 자료를 찾는 상황을 설정했으며, 세 번째는 교수가 같은 진술문을 바탕으로 학술 논문을 요청하는 상황을 설정했다.

학생 프롬프트에서는 진술문의 출처를 교과서, 교사, 친구, 인터넷 또는 출처 미지정으로 설정했다. 교수 프롬프트에서는 출처를 교수 본인의 연구, 동료, 친구, 인터넷 또는 출처 미지정으로 설정하고, 각기 다른 출처를 제시했을 때 모델이 거짓 주장에 이의를 제기하려는 정도를 평가했다.

연구에서 사용한 세 가지 프롬프트 템플릿: 사실 여부를 직접 확인하는 요청(verify), 학습 자료를 요청하는 프롬프트(novice), 학술 논문을 요청하는 프롬프트(expert). 출처와 주제별 세부 정보를 템플릿에 넣어 사용했다.

모델의 응답은 네 가지 범주로 분류했다. 명시적 반박은 거짓 진술문에 직접 이의를 제기한 경우, 간접적 이의 제기는 명시적으로 거부하지 않으면서 반대 의견이나 의심을 드러낸 경우, 칭찬은 사용자의 진술이나 접근 방식을 칭찬한 경우, 확인은 진술문이 맞다고 동의한 경우를 뜻한다.

시험한 5개 언어에서 모델이 사용자의 진술을 거부하거나, 의문을 제기하거나, 칭찬하거나, 긍정하는 데 사용한 표현의 예. 해당하는 경우 영어 번역을 함께 제시했다.

각 응답을 표현 단위로 살펴본 덕분에, 같은 답변 안에 함께 나타나더라도 칭찬, 동의, 반대를 각각 식별할 수 있었다.

연구 결과

연구 결과는 모델에 진위 확인을 요청했을 때 거짓 진술문을 정확히 찾아낸 모델도, 정보를 요청하거나 조언을 구하면 같은 주장에 이의를 제기할 가능성이 더 낮다는 기존 연구 결과를 확인해 주었다. 연구진은 이 차이를 ‘이의 제기 격차’라고 불렀다. 거짓 주장이 직접적인 진위 확인 시험에서 얼마나 자주 반박됐는지와 일반적인 정보 요청에서 얼마나 자주 반박됐는지를 비교해 산출한 값이다.

5개 언어에서 7개 언어 모델이 직접적인 사실 확인 요청과 정보 탐색 요청에 응답할 때 거짓 진술문에 이의를 제기한 빈도를 비교했다. 음수 값은 정보 탐색 응답에서 이의 제기가 줄었음을 나타낸다. 주황색과 파란색은 각각 학생 프롬프트와 교수 프롬프트를 나타내며, 기호는 제시된 출처를 구분한다. 오차 막대는 95% 신뢰구간을 나타낸다.

위에서 보듯이 시험한 언어 전반에서 두 Qwen 3.5 모델은 다른 모델보다 격차가 작았다. 이는 질문의 표현 방식과 관계없이 이 모델들이 허위 정보를 더 일관되게 바로잡았음을 시사한다. 또한 출처가 지닌 겉보기 권위가 결과에 영향을 미쳤다는 점도 보여 준다. 교과서에 출처를 둔 거짓 주장은 친구에게서 나온 것으로 제시된 주장보다 반박을 덜 받았으며, 이러한 경향은 여러 언어에서 관찰됐다.

사실 확인이 아니라 정보를 요청받았을 때, 모델은 거짓 주장을 단호히 부정할 가능성이 낮았고 간접적인 반박이나 칭찬, 동조로 응답할 가능성이 높았다. 전반적인 반박률의 차이가 비교적 작았던 Qwen 3.5 모델들조차 이런 행동을 보였다.

5개 언어에서 거짓 주장에 이의를 제기한 응답 중 명시적으로 정정한 응답의 비율. 결과는 학생(초보자) 프롬프트와 교수(전문가) 프롬프트로 나누어 제시했으며, 가로축에는 정보 출처로 제시된 항목을 표시했다. 오차 막대는 95% 신뢰구간을 나타낸다.

7개 모델 가운데 4개에서는 거짓 주장을 명시적으로 반박하는 비율이 영어보다 힌디어, 중국어, 요루바어에서 낮았다. 또한 7개 모델 중 5개에서 힌디어 응답에 칭찬이 가장 많이 포함됐다.

정보를 구하는 응답의 65.3%에서 반박이 나왔지만, 그중 절반 미만만 거짓 주장을 명시적으로 부정하는 경우가 일반적이었다. 직접적인 정정은 학생 프롬프트에서 교수 프롬프트보다 더 자주 나타났으며, 주장이 권위 있는 출처에 귀속된 경우에는 그 빈도가 낮았다.

힌디어, 중국어, 요루바어에서는 거짓 주장에 이의를 제기한 응답 대부분이 간접적인 방식에 그쳐 오류를 명시적으로 부정하지 않았다. 또한 정보를 구하는 응답의 29.4%에서는 거짓 주장에 대한 반박과 긍정이 함께 나타났으며, Gemini 2.5 Pro에서는 그 비율이 60.1%에 달했다:

7개 모델의 세 가지 프롬프트 유형, 즉 직접 검증(검증); 학생 요청(초보자); 교수 요청(전문가)에 대해 거짓 주장에 이의를 제기하기 전에 긍정으로 시작한 응답의 비율. 결과에는 긍정과 반박이 모두 포함된 응답이 집계됐다. 오차 막대는 95% 신뢰구간을 나타낸다.

위에서 볼 수 있듯이, 모델들은 거짓 주장을 처음부터 바로잡기보다는 대체로 먼저 긍정적인 반응을 보인 뒤 이의를 제기했다. 일부 경우에는 반박 뒤에 긍정적인 말이 더해져, 연구진이 ‘칭찬 샌드위치’라고 부르는 형태가 나타났다.

사람 대상 연구

이러한 정정이 실제로 효과가 있는지 확인하기 위해 영어 사용자 100명, 독일어 사용자 100명, 중국어 사용자 100명으로 총 300명의 참가자를 모집했다. 참가자들은 모델의 응답을 읽기 전과 후에 거짓 진술을 평가했다.

아래 그림에서 볼 수 있듯이, 명시적인 정정만이 영어 사용자와 독일어 사용자가 거짓 주장을 믿는 정도를 일관되게 낮췄다. 그렇더라도 응답을 읽은 뒤 해당 진술이 부정확하다고 평가한 비율은 영어 사용자의 46.7%, 독일어 사용자의 43.8%에 그쳤다. 중국어 사용자에게서는 긍정과 간접적인 반박을 결합한 응답만이 통계적으로 유의미한 개선을 보였다:

긍정, 간접적인 반박 또는 명시적인 정정을 포함한 모델 응답을 읽은 뒤 참가자들이 거짓 진술에 매긴 평가의 변화. 영어, 독일어, 중국어 사용자 각각 100명의 결과를 포함한다. 음수 값은 거짓 주장을 믿는 정도가 낮아졌음을 뜻한다. 점 하나는 참가자 한 명을 나타내며, 검은색 오차 막대는 95% 신뢰구간을 표시한다.

연구진은 모델이 응답하기 전에 ‘잠깐만’이라고 생각하도록 유도하면 잘못된 정보에 반박하려는 경향이 높아지는지도 시험했다. 아래 마지막 그림을 보면 일부 경우 반박이 늘고 아첨하는 표현은 줄어든 것으로 나타난다. 그러나 이와 함께 사실인 진술에 대한 잘못된 반박도 늘었다:

영어 프롬프트와 번역된 프롬프트를 사용해 ‘잠깐만’ 개입 전후에 나타난 7개 모델의 응답을 비교했다. 차트에는 거짓 주장에 대한 전반적인 반박, 긍정 없이 이루어진 명시적 정정, 사실인 진술에 대한 잘못된 반박이 표시됐다. 세로 검은색 표시는 직접 검증 결과를 나타낸다.

결론

언어 모델의 ‘내부 논리’에서는 예의와 순응이 뒤섞이게 되었다고 볼 수 있다(즉, 학습된 행렬과 모델이 감당해야 하는 여러 외부에서 부과된 제약이 빚어내는 순효과다). 또한 이번 연구는 모델이 때때로 거짓 주장을 알아차리면서도 왜 그에 대한 반론을 칭찬이나 동의로 에워싸는지는 밝혀내지 못했다.

핵심 문제는 GPT와 Gemini 시리즈처럼 소비자를 대상으로 하는 제품이 의인화된 프레젠테이션 계층으로 억지로 가공되었다는 점이다. 그 결과, 가장 폭넓은 유료 고객층, 즉 어쩌면 ‘최저 공통분모’에 해당하며 규모가 가장 크고 수익성도 가장 높은 타깃 고객층이 제품을 쉽게 이해하고 계속 구매하고 싶어 하게 된다.

제품이 비인간적이라는 점을 인정하기만 한다면, 적어도 이 혼란스러운 ‘맥락’을 모두 끄고 모델이 학습한 지식에 더 직접 접근해 볼 수 있을 것이다.

* 물론, 이 정보 자체가 해당 분야의 발전에 기여하기는 하지만.

2026년 10월 15일 목요일에 처음 게시됨