Anthropic, 판단 연구에서 분석가들이 AI 에이전트의 판단을 따르는 경향 확인

Anthropic은 2026년 10월 27일, Claude Code를 사용하는 전문 분석가 50명이 개방형 분석 판단이 필요한 상황에서 에이전트에게 비밀리에 부여된 선호를 86%의 비율로 따랐다는 무작위 대조 시험을 발표했다. Amaç Herdağdelen, Hailey Joren, Alex Tamkin이 작성한 이 연구는 AI 보조 업무에서 전문가가 실제로 중대한 결정을 내리는지, 아니면 실무에서는 에이전트의 판단을 따르는지를 살펴본다.

가상의 협동조합과 비밀리에 진행된 동전 던지기

연구진은 인과 추론 지식 평가를 통과하고 Python이나 R을 정기적으로 사용하며 관찰 자료 기반 인과 분석을 직접 수행한 경험이 있는 전문가 61명을 모집했다. 각 참가자는 가상의 Greenfields Farming Cooperative에서 수석 분석가 역할을 맡았다. 이 협동조합은 농가에 자문을 제공하는 유료 자발적 프로그램을 확대할지 중단할지 결정해야 했다. 협동조합 이사회는 프로그램이 농업 생산성을 대략 3~4% 향상하는 경우에만 확대하기로 했지만, 생산성을 어떻게 측정할지는 명시하지 않았다.

과제에는 정답이 하나로 정해져 있지 않은 분석적 결정 네 가지가 포함됐으며, 각각 타당한 선택지가 두 개씩 있었다. 생산성을 헥타르당 작물 수확량으로 측정할지, 운영비 단위당 수확량으로 측정할지, 어떤 통계적 비교 방법을 사용할지, 프로그램의 효과를 등록 농가에 한정해 측정할지 전체 조합원을 대상으로 측정할지, 모든 농가에 같은 비중을 둘지 대규모 생산자에게 더 큰 비중을 둘지를 결정해야 했다. 이 선택을 바탕으로 프로그램을 시행하거나 중단하거나 연장하라는 최종 권고안을 내렸다. 각 결정에 따라 추정 생산성 향상 폭이 이사회가 정한 기준에 비해 몇 퍼센트포인트씩 달라질 수 있었다.

각 결정에서 참가자의 에이전트가 어느 선택지를 선호할지는 동전 던지기로 정했다. 이러한 선호는 에이전트가 해당 선호를 자신의 견해로 여기고, 관련 결정이 나오면 이를 제기하며, 데이터가 뒷받침하는 범위에서 가장 설득력 있고 정직한 논거를 제시하도록 지시하는 숨겨진 시스템 프롬프트를 통해 전달됐다. 또한 증거가 명백히 반대 방향으로 기울면 에이전트가 생각을 바꾸고, 결과를 왜곡하거나 데이터를 숨기지 않도록 지시했다. 참가자들은 에이전트에게 이러한 선호가 설정됐다는 사실을 알지 못했다. 과제를 완료한 61명 중 11명은 에이전트를 사용하지 않기로 해 주요 분석에서 제외됐다. 나머지 50명 가운데 65%는 석사 또는 박사 학위를 보유했거나 경력이 6년 이상이었으며, 설문 응답자의 90%는 자신의 인과 추론 능력을 능숙하거나 전문가 수준이라고 평가했다. 참가자들은 브라우저 기반 VS Code 작업 공간에서 Claude Code v2.1.220을 사용해 높은 추론 강도로 설정된 Claude Opus 4.8을 실행했으며, 과제 수행 시간의 중앙값은 65분이었다. 연구 설계, 결과, 추정 방법 및 제외 기준은 사전 분석 계획에 등록됐고, 연구는 참가자의 모니터링 동의를 받아 내부 윤리 심사를 거쳤다.

에이전트 판단을 따르는 비율과 주도권의 격차

네 가지 분석적 결정에서 분석가의 선택은 에이전트의 선호와 86% 일치했다. 우연히 일치할 확률인 50%보다 높은 수치다. 결정별 일치율은 92%, 82%, 81%, 90%였다. 「Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls」라는 제목의 논문 전문에는 사전 등록된 통합 전환율 추정치가 0.72이며 95% 신뢰구간은 0.60~0.83이라고 보고돼 있다.

최종 권고안에 미친 영향은 더 약했으며, 사전 등록된 주요 추정 방법을 적용했을 때 통계적으로 유의하지 않았다. 에이전트가 프로그램 시행을 선호했을 때 시행을 권고한 비율은 54%였고, 중단을 선호했을 때는 36%였다. 사전 등록된 정책 변화 추정치는 0.17이었다. 저자들은 추정치가 계산되고 나면 그에 따라 권고안이 기계적으로 정해지기 때문에 변화 폭이 더 작았다고 설명한다. 하지만 분석적 결정 네 가지에 대한 에이전트의 선호만 사용한 탐색적 모델은 권고안의 82%를 예측했다. 이는 다수 의견을 기준으로 한 61%보다 높은 수치로, 분석가들이 과제를 시작하기도 전에 동전 던지기가 어떤 권고를 내릴지 대체로 결정했다는 의미다.

분석가가 에이전트보다 먼저 선호를 밝힌 38건에서, 에이전트의 의견이 다를 때 분석가가 자신의 선호를 바꾼 비율은 60%였고, 의견이 같을 때는 6%였다. 논문은 사전 등록된 선호 변경률 격차가 0.53이며 신뢰구간은 0.24~0.82라고 보고하면서, 추정치가 부정확하고 해당 사례가 자기 선택에 따른 하위 집단이라는 점을 덧붙였다.

과제 후 설문에서는 에이전트의 영향력과 참가자들의 자기 인식 사이에 차이가 드러났다. 52%는 최종 권고안이 에이전트보다 자신의 의견에 더 가깝다고 평가했다. 네 가지 결정 모두에서 에이전트의 선호를 따른 참가자의 확신도 평균은 71이었고, 나머지 참가자는 73이었다. 대화 기록을 볼 수 없는 상태에서 각 선택의 이유를 설명할 때, 77%는 적어도 한 번의 답변에서 에이전트의 주장을 되풀이했으며 때로는 표현까지 그대로 따라 했다. 반면 에이전트의 공로를 언급한 참가자는 15%에 그쳤다. 검토된 참가자 특성 10가지 중 에이전트 판단을 따르는 경향을 신뢰성 있게 예측한 특성은 없었다. 나이만 명목상 관련성을 보였지만, 여러 검정을 보정하자 그 관련성은 유지되지 않았다. 참가자 48명 중 6명은 연구가 자신의 선택에 미치는 AI의 영향을 다룬다고 추측했지만, 선호가 몰래 설정됐다고 의심한 사람은 없었다.

비교 집단, 기본 에이전트 및 연구의 한계

에이전트 없이 작업한 참가자 11명 중 6명(55%)이 결과를 무효로 만드는 심각한 오류를 범한 반면, 에이전트를 사용한 참가자 50명 중에서는 3명(6%)이 그런 오류를 범했다. AI를 사용하지 않은 그룹의 작업 시간 중앙값은 90분으로, 에이전트 사용 그룹의 65분보다 길었다. 저자들은 참가자들이 스스로 그룹을 선택했고 경험 수준도 달랐으므로, 인과관계를 주장할 수는 없다고 주의를 당부한다. 별도의 직접 시뮬레이션에서는 특정 방향으로 유도하는 요소를 주입하지 않았을 때 기본 설정의 Claude Opus 4.8이 123회 실행 중 91%에서 동일한 다섯 가지 선택을 했다. 또 대본에 따라 움직이는 분석가가 모델의 기본 선호와 반대되는 결정을 내렸다고 선언했을 때, 기본 에이전트는 평가 대상 선언 150건 중 41%에서 대안을 권고하거나 옹호했다.

저자들은 네 가지 한계를 언급한다. 특정 방향으로 기울어진 성향을 의도적으로 크게 부풀렸고, 연구에 사용된 과제는 하나, 분야는 하나, 고정된 모델은 하나뿐이었다. 추정치는 분석가 개인에게 미치는 영향을 측정한 값이 아니라 분석가 전체의 평균이며, 선호 강도는 기록하지 않고 선택된 옵션만 기록했다.

저자들은 별개의 연구팀들이 동일한 사전 편향을 공유하는 모델에 판단을 맡긴다면, 연구팀 간의 의견 일치가 더 이상 독립적이지 않을 수 있다고 말한다. 또한 사람인 검토자의 승인이 독립적인 확인 절차로 간주되는 AI 안전성 연구에서는 판단을 맡기는 행위가 위험을 초래한다고 지적한다. 저자들은 향후 연구 분야로 일상적인 상황에서 판단을 맡기는 행위의 정도 측정, 양측의 주장을 모두 제시하거나 전문가의 견해를 먼저 묻는 에이전트 설계, 그리고 어떤 결정에 당사자의 충분한 정보에 근거한 판단이 필요한지 의도적으로 정하는 제도적 변화를 제안한다.