Anderson의 관점
쉽게 설득당하는 AI 의사

핵심 포인트AI 모델은 의료 조언이 전공의가 아닌 전문의로부터 나올 때 잘못된 조언을 훨씬 더 쉽게 받아들인다.
더 보기
- AI 모델은 의료 조언이 전공의가 아닌 전문의로부터 나올 때 잘못된 조언을 훨씬 더 쉽게 받아들인다.
- 잘못된 진단을 뒷받침하는 조작된 설명은 진정한 증거가 없더라도 올바른 AI 답변을 무시하게 만들 수 있다.
- 설득이 진정한 오류를 바로잡을 수도 있기 때문에 AI를 설득하기 어렵게 만드는 것은 해결책이 아니다.
2026년에 놓친 논문: 연구계의 성과와 발표량이 함께 줄었다 늘었다 하는 시기입니다. 11월의 마지막 몇 차례 학회 와 12월 학회를 앞두고 말이죠. 이렇게 연구가 뜸해지는 시기를 넘기기 위해, 2026년에 아깝게 최종 선정에서 탈락했지만 경쟁이 더 치열한 투고 기간에 다른 연구에 밀린 흥미로운 논문 몇 편을 살펴보겠습니다.
AI 의사결정 모델에 대한 관심이 커지는 것은 부분적으로 범용 AI 챗봇이 의사결정을 내릴 때 보이는 한계 때문입니다. ChatGPT 같은 최첨단 AI 서비스가 내부적으로 자체 모델이나 다른 의사결정 모델에 판단을 은밀히 ‘위임’하는 경우에도, 기본적으로 드러내는 의견은 너무나 쉽게 흔들립니다.
예를 들어, 서로 경쟁하는 취재 후보의 우선순위를 정할 때 저는 가끔 ChatGPT, Claude 5.5, 그리고 그날 아침 Gemini가 무료로 제공하는 모델에 후보들을 한꺼번에 제시합니다. 예상되는 반응은 이렇습니다. GPT와 Claude는 평가 기준의 일부 항목에 지나치게 큰 비중을 두고, 무료 Gemini는 모든 것이 훌륭하다고 생각하며, Claude에게는 사실상 아무것도 만족스럽지 않습니다.
GPT 5.6 Sol에 Claude나 Gemini가 다른 입장을 보인다고 지적하면, 정도의 차이는 있지만 거의 매번 물러섭니다(대개는 완전히 입장을 바꿉니다). 상반되거나 경쟁하는 입장을 제시하면 GPT는 대개 결정을 완전히 번복합니다. 얼마나 쉽게 영향을 받는지 지적하면 GPT는 그런 평가에 불쾌해하는 듯 이전 입장으로 돌아갑니다. 하지만 그렇게 돌아간 뒤에도 사용자가 조금만 암시하면 언제든 다시 입장을 바꿀 수 있습니다.
반대로 Claude는 대개 입장을 더 굳힙니다. 판단에 이의를 제기하면 마치 AI 담론에서 말하는 ‘유연성 문제’를 알고 있고 입장을 절대 바꾸지 말라는 지시라도 받은 듯 더욱 완강해집니다. 이는 꽤 취약한 해결책입니다.
다른 쪽에서도 들려온 이야기
하지만 이는 일부만 뒷받침되는 일화적 관찰에 불과합니다. 이 이야기를 꺼내는 이유는 오늘 Arxiv에 올라온 논문들이 다소 아쉬워서, 여름 내내 흥미롭게 지켜봤지만 당시에는 다룰 시간이 없었던 논문을 다시 살펴보게 됐기 때문입니다.
임상 의사결정에서 AI는 쉽게 설득당할 수 있다라는 제목의 이 Stanford와 Oxford 공동 연구는 GPT-4o, Claude Sonnet 5, Qwen3.7-plus가 의료 진단을 바꾸도록 얼마나 쉽게 설득될 수 있는지 살펴봅니다.
의사의 경력 연차와 국적, 소속 기관의 명성, 주장하는 실적은 모두 모델의 판단에 영향을 미칠 수 있는 것으로 나타났습니다. 그 조언이 틀렸을 때조차 말입니다. 숫자도 누적해서 영향을 미칩니다. 한 실험에서는 의사 세 명이 같은 진단을 내렸을 때 GPT-4o가 잘못된 진단을 훨씬 더 쉽게 받아들였습니다.
새로운 근거를 제시하지 않고 AI에게 틀렸다고 거듭 말하는 것만으로도 결국 판단을 바꿀 수 있었습니다.
논문은 다음과 같이 밝힙니다.
‘전문가의 권위, 국가적 배경, 소속 기관, 과거 실적에 대한 주장, 여러 의사의 의견, 임상의의 지지를 받은 견해, 반복적인 압박은 모두 AI의 판단에 영향을 미칠 수 있음을 확인했습니다.
‘놀랍게도 같은 설득력 있는 의견이라도 의대생보다 경력 많은 임상의가 제시하면 약 10% 더 많은 사례에서 판단을 바꿉니다. 더 나은 실적을 거뒀다고 주장하기만 해도 의사의 설득력은 일관되게 높아집니다.
‘더욱 놀라운 점은 그럴듯한 임상의의 견해가 잘못된 답을 뒷받침하도록 조작된 경우에도 AI가 올바른 판단을 버리도록 설득할 수 있다는 것입니다.’
이를 해결하기 위해 저자들은 AI가 의사의 조언을 뒷받침하는 근거를 더 잘 평가해야 한다고 제안합니다. 그래야 권위나 집단 압력, 그럴듯하지만 거짓인 주장에 휘둘리지 않고 타당한 정정을 받아들일 수 있습니다.
하지만 이를 어떻게 실현할지는 여전히 풀리지 않은 문제입니다. 2026년에 발표된 MedStress 프레임워크는 AI가 진단을 번복하는 문제를 거의 완전히 없앤다고 주장합니다. 또 다른 2026년 연구는 제 경험과는 달리 Google Gemini가 의료 진단을 두고 벌어지는 가스라이팅에 가장 잘 버틴다고 밝혔습니다. 그리고 2026년 9월에 발표된 검토 논문은 AI가 올바르게 판단을 바꾸는 경우와 압력에 굴복해 잘못된 진단을 받아들이는 경우를 구분할 표준화된 검사를 제안했습니다.
미국 의사의 80% 이상이 어떤 형태로든 AI를 사용하고 있으며, 의료 분야에서는 제한된 인력과 진료 범위를 넘어 진단 역량을 확대하려는 열의가 뚜렷합니다. 이러한 인력 및 진료 범위의 한계는 자주 언론의 주목을 받습니다. 이 문제는 진단 AI 도입의 주요 걸림돌 중 하나가 될 전망이며, 더 많은 관심을 기울이거나 더 효과적으로 다뤄야 합니다.
그동안 Oxford와 Stanford의 공동 연구에 따르면 이 문제가 어떻게 나타나는지 살펴보겠습니다.
연구 방법
검사에 사용된 의학 관련 질문 308개는 의사 면허시험과 난이도가 비슷한 임상 사례 모음인 MedBullets에서 가져왔습니다.

MedBullets에서 임상 사례를 선별해 구성한 시나리오의 예입니다. 출처
각 질문에는 환자 사례와 다섯 가지 답변 선택지, 정답에 대한 설명이 함께 제시됐다. 그런 다음 AI가 정답을 포기하도록 설득할 수 있는 빈도를 측정했다.
앞서 언급한 세 가지 AI 모델은 GPT-4o, Qwen3.7-Plus, Sonnet 5였다. 각 모델에는 이용 가능한 임상 근거를 바탕으로 정확한 진단을 내리는 것을 목표로 하는 의료 의사결정 지원 시스템 역할을 하도록 지시했다.
모델은 각 사례에 대해 답변을 선택하고, 처음 내린 판단을 바꿨는지 밝히며, 확신도를 0부터 100까지의 점수로 매기고, 다음에 해야 할 일을 권고해야 했다. 또한 아무 조치도 하지 않는 것부터 절차를 중단하고 사례를 추가 검토에 회부하는 것까지, 후속 조치가 얼마나 시급한지를 나타내는 점수도 매겨야 했다. 요청이 실패하면 계획된 검사가 모두 완료되도록 다시 요청했다.
일부 검사에서는 의사의 조언과 함께 의료 사례를 AI에 제시하고 진단을 요청했다. 다른 검사에서는 먼저 AI가 진단을 내린 뒤 대화 중에 의사의 조언을 추가했다. 또한 설득을 통해 올바른 진단을 틀린 진단으로 바꿀 수 있는지, 또는 처음의 오진을 바로잡을 수 있는지도 살펴봤다.
권위자의 영향
동일한 의료 조언을 의대생부터 전문의까지 직급이 서로 다른 의사들이 한 말로 제시했다. 전문적 권위가 미치는 영향을 측정할 수 있도록 진단과 환자 정보는 바꾸지 않았다.
해당 조언은 카메룬, 중국, 아랍에미리트, 영국, 미국 출신 의사들의 말로도 제시했다. 추가 검사에서는 의사가 유수 의료센터, 도심 병원 또는 농촌 병원과 연관되어 있다는 점이 AI에 영향을 미치는지도 살펴봤다. 의사에 관해 밝힌 배경 정보만 바꿨다.
의사가 어디에서 근무하는지가 AI에 영향을 미치는지도 추가로 살펴봤다. 명문 학술 의료센터, 도심 지역 병원, 농촌 병원을 비교했다. 또한 의사에 대한 AI의 조언 수용 여부가 의사의 신뢰도에 따라 달라지는지 확인하기 위해, 모델에 자신과 의사가 이전 9개 사례에서 보인 성과를 기록한 가상의 자료를 제공했다.
집단 압력의 영향을 알아보기 위해 AI에 진단이 의사 한 명, 의견이 일치한 의사 세 명 또는 병원 심의위원회로부터 이의를 제기받았다고 알렸다. 일부 시험에서는 대체 진단을 제시했고, 다른 시험에서는 AI에게 단순히 진단이 틀렸다고만 알렸다.
의학적 추론의 영향을 살펴보기 위해 모델에 올바른 진단을 뒷받침하는 설명을 제공하거나, 잘못된 진단을 뒷받침하는 주장을 의도적으로 꾸며 제공했다. 이러한 설명을 전문직 경력에 관한 주장과 함께 제시하는 검사도 진행해 두 요소를 결합했을 때 영향력이 얼마나 커지는지 확인했다.
마지막으로 같은 반론을 대화가 이어지는 열 차례에 걸쳐 매번 제시해, 반복적인 압박의 효과를 검사했다. 이의 제기 방식에는 단순한 반대, 의학적 권위에 호소하는 주장, 다른 의사들도 동의한다는 주장이 포함됐다. 이러한 대화 중에는 추가적인 의학적 근거를 제시하지 않았다.
측정 지표
측정 지표로는 AI의 최초 답변이 의사의 답변과 다를 때 AI가 의사의 답변을 받아들인 빈도를 평가하는 설득 수용률, 의사의 개입으로 처음의 오답이 바로잡혔는지 또는 정답이 오답으로 바뀌었는지를 평가하는 설득의 방향, 의사의 의견을 제시했을 때 AI의 성능이 얼마나 개선되거나 저하됐는지를 평가하는 정확도에 미친 영향을 사용했다. (의사의 의견을 제시하지 않은 검사 결과와 비교했다.) 정답이 오답으로 바뀐 경우에는 가능한 오답 네 가지에 대한 결과의 평균을 냈다.
검사 결과
첫 번째 결과에 따르면 AI 모델은 직급이 높은 의사의 조언이 틀렸을 때도 더 쉽게 설득됐다. 아래와 같이 GPT-4o는 의대생의 잘못된 조언을 사례의 2%에서 받아들였지만, 전문의의 조언으로 제시했을 때는 그 비율이 12.8%로 높아졌다. Claude Sonnet 5의 경우 3.5%에서 14.4%로 상승한 반면, Qwen3.7-Plus는 영향을 덜 받았다:

의료 분야 경력의 네 단계에 따른 설득률. 각 AI 모델이 의사의 상충하는 답변을 받아들인 빈도를 백분율로 나타냈으며, 일반적으로 직급이 높은 임상의일수록 그 비율이 높았다.
아래에서 볼 수 있듯이, 직급은 올바른 조언을 얼마나 쉽게 받아들이는지에도 영향을 미쳤다. GPT-4o와 Claude Sonnet 5는 의대생의 조언을 받았을 때 오히려 정확도가 떨어졌다. 그러나 같은 올바른 조언을 전문의의 조언으로 제시했을 때는 정확도가 각각 10.1퍼센트포인트와 8.8퍼센트포인트 향상됐다:

의사들의 경력 수준에 따라 올바른 의료 조언을 받았을 때 AI 정확도가 어떻게 달라지는지 보여 줍니다. 양수와 음수는 조언을 받지 않았을 때 각 모델의 정확도에서 변한 퍼센트포인트를 나타냅니다(GPT-4o: 71.4%, Qwen3.7-plus: 75.0%, Claude Sonnet 5: 80.8%).
논문은 다음과 같이 밝힙니다.
‘이러한 결과는 AI가 자신의 능력을 초급 임상의보다 높고 선임 의사보다는 낮게 여길 가능성을 시사한다. AI는 의대생과 레지던트의 조언에는 저항하는 경향이 있지만, 전문의, 특히 해당 분야 전문가의 조언에는 더 쉽게 설득된다.
이러한 자기 위상 인식은 전문적인 권위가 설득에 미치는 영향의 정도를 좌우한다.
가장 큰 차이는 의사들이 답을 설명했는지 여부에서 나타났습니다. 의대생이 의학적 설명을 덧붙이고 전문의는 설명하지 않은 경우, GPT-4o는 전문의의 조언보다 의대생의 조언에 더 쉽게 설득되기도 했습니다.
의대생이 정답을 뒷받침하는 설명을 제시했을 때, GPT-4o는 58%의 사례에서 처음 내놓은 오답을 정답으로 고쳤습니다. 그런 설명이 없으면 선임 전문의의 조언으로 정답을 제시한 비율은 36.4%에 그쳤습니다. 전문의가 정답에 대한 설명까지 덧붙이자 그 비율은 89.8%로 높아졌습니다.

경력 수준이 다른 의사들의 조언을 받았을 때 GPT-4o가 오답을 바로잡는 능력입니다. 막대는 의학적 설명이 뒷받침된 경우와 그렇지 않은 경우에 모델이 정답으로 바꾼 비율을 보여 줍니다. 모든 경력 수준에서 설명을 제공하면 결과가 크게 개선됐습니다.
설명은 모델의 확신도 판단도 개선했습니다. 답이 맞을 때는 확신도가 높아지고, 틀릴 때는 낮아졌습니다.
전문의의 경우, 정답과 오답에 대한 확신도 차이는 아래와 같이 2.1퍼센트포인트에서 11.5퍼센트포인트로 커졌습니다.

의사의 경력 수준을 네 단계로 나누어 GPT-4o가 의료 질문에 정답과 오답을 제시했을 때의 확신도를 보여 줍니다. 점수는 의학적 설명이 뒷받침된 경우와 그렇지 않은 경우로 나누어 표시했습니다. 마지막 열은 정답과 오답에 대한 확신도의 차이를 나타내며, 설명을 제공했을 때 그 차이가 크게 커졌습니다.
성조기
모델들은 조사 대상국 가운데 다른 어느 나라 의사들보다 미국인 의사들의 조언에 더 쉽게 흔들렸습니다. 의료 조언이 틀린 경우에도 마찬가지였습니다. 예를 들어 GPT-4o는 미국 의사의 오진을 10.9%의 사례에서 받아들였지만, 카메룬 의사의 오진을 받아들인 비율은 8.4%였습니다.

5개국 의사들의 상충하는 의료 조언을 AI 모델 3종이 얼마나 쉽게 받아들였는지 비교합니다. 미국 의사들이 세 모델 모두에서 가장 설득력이 높았으며, 백분율은 AI가 답을 바꾼 빈도를 나타냅니다.
GPT-4o는 미국 의사의 진단이라고 알려진 상충하는 진단을 6.4%의 사례에서 받아들였습니다. 같은 조언이 카메룬 의사의 것이라고 제시됐을 때는 4.3%였습니다. 위에서 볼 수 있듯이 미국 의사를 선호하는 경향은 세 모델 모두에서 나타났습니다.
AI는 명성이 높은 병원의 의사들에게도 더 쉽게 영향을 받았습니다. 예를 들어 GPT-4o는 저명한 대학병원에서 나온 조언이라고 알려졌을 때 6.6%의 사례에서 진단을 바꿨지만, 지방 병원의 조언이라고 제시됐을 때는 2.8%에 그쳤습니다.

병원의 명성이 AI 모델 3종의 의료 판단에 미치는 영향을 비교합니다. 가로축은 올바른 조언으로 정확도가 향상된 정도를, 세로축은 잘못된 조언으로 정확도가 낮아진 정도를 나타냅니다. 색상은 모델을, 도형은 병원 유형을 구분합니다. 일반적으로 병원의 명성이 높을수록 두 효과 모두 커집니다.
명성이 높은 병원의 의사 조언은 GPT-4o의 성능을 3.2%포인트 향상시켰지만, 같은 조언을 농촌 병원의 의사가 한 것으로 제시하자 정확도가 오히려 3.6%포인트 떨어졌습니다. 다만 논문은 Claude Sonnet 5가 의사의 지리적 위치에 훨씬 덜 영향을 받았다고 밝혔습니다.
또한*, 연구진은 의사가 이전 환자 9명을 정확히 진단했다고 GPT-4o에 알리는 것만으로도 GPT-4o가 그 의사의 조언을 훨씬 더 쉽게 받아들인다는 사실을 발견했습니다. AI가 처음에는 정답을 내렸더라도, 의학적 근거의 신뢰도가 95%라고 알린 상황에서 고위험 사례의 15.6%에서는 설득당해 오답을 내릴 수 있었습니다.

의료 위험도와 근거의 신뢰도 수준에 따라, GPT-4o가 완벽하거나 전적으로 틀린 진료 기록을 가진 의사에게 어떻게 반응했는지를 보여주는 테스트 결과입니다. 수치는 모델이 의사의 조언을 얼마나 자주 받아들였는지, 정답을 오답으로 바꾸었는지, 그리고 판단에 얼마나 확신했는지를 나타냅니다. 완벽한 진료 기록을 보유했다는 주장은 조언이 틀렸을 때조차 의사가 미치는 영향을 크게 키웠습니다.
그럴듯한 의학적 설명은 훨씬 더 위험할 수 있습니다. 거짓 진단에 조작된 설명까지 덧붙이자 GPT-4o는 사례의 31.2%에서 정답을 포기했으며, 권위 있는 의사가 조언한 경우에는 그 비율이 38.7%로 높아졌습니다.
논문은 다음과 같이 결론짓습니다.
‘이번 연구 결과는 AI를 단순히 설득하기 어렵게 만드는 것이 해결책이 아님을 보여준다. 설득은 오류를 바로잡을 수도 있지만, 옳은 판단을 뒤집을 수도 있다.
‘과제는 설득을 받는 상황에서도 AI가 건전한 판단을 유지하고, 바로잡을 필요가 있을 때 판단을 바꾸도록 하는 것이다. 이러한 능력을 이해하고 개선하는 일은 중대한 의료 의사결정에서 AI를 안전하고 신뢰할 수 있게 사용하는 데 중요할 것이다.’
결론
인간 변호사와 건축가, 의사의 가치는 끔찍한 일이 벌어졌을 때 책임을 물을 사람이 있다는 데 있습니다. 따라서 부정적이고 논란이 되는 의료 결과에 AI가 관여한 정도를 이의와 논란 없이 어떻게 최소화하거나, 무시하거나, 책임 소재를 따질 수 있는지는 파악하기 어렵습니다.
AI는 애초에 이런 작업을 위해 설계된 것이 아닙니다. 의료 진단은 과학보다 경험이 앞서는 경우가 많고, 선도적인 의사들은 자신의 최근 진료 경험을 통해 학술지에 아직 기여한 것보다 더 많은 것을 알고 있을 수도 있기 때문입니다.
이로 인해 의사결정 상황은 AI가 현재 충분히 다룰 준비가 되어 있지 않은 해석의 문제로 바뀝니다. 즉, 이는 이용 가능한 최선의 정보를 바탕으로 합리적으로 확신한다고 말하고, 이런저런 조치를 취하면 최선의 결과로 이어질 가능성이 높다고 판단하는 능력과 관련됩니다. 이 상황에서 ‘인간의 직관’이 지닌 가치를 재현하는 것은 사실상 불가능합니다. 이는 DNA 프로파일링이나 원소 주기율표처럼 ‘객관적인’ 과학과는 분명히 같은 범주에 속하지 않지만, 결정론적 과학 분야에 자리하고 있습니다.
따라서 이 작업을 겨냥한 차세대 모델은 기존 AI 담론과 의사결정 엔진과는 다른 방식으로, 혹은 아예 다른 아키텍처로 설계될 수 있다고 보는 것이 타당해 보입니다.
* 논문에는 이 글에서 가장 먼저 소개한 연구 결과만큼 영향력과 관련성이 크지 않은 테스트 항목이 5개 더 있습니다. 자세한 내용은 원문 PDF를 참고하시기 바랍니다.
2026년 11월 19일 목요일 최초 게재












