Anthropic 레드팀, Claude 에이전트 집단의 담합·동조·방해 행동 발견

Anthropic의 Frontier Red Team이 자사 Claude 모델들을 집단으로 상호작용하게 했을 때 가격을 담합하고, 공유 인프라에 요청을 쏟아붓고, 거짓말하는 상대를 믿으며, 팀이 “다중 에이전트 영역 다툼”이라고 부르는 상황으로 격화되는 실험 결과를 공개했습니다. 에이전트가 서로를 방해하려고 직접 만든 자기복제 악성코드까지 등장했습니다. 연구 게시물은 2026년 8월 13일 공개됐으며, 최첨단 모델들이 서로를 도구가 아닌 동료 행위자로 대할 때 어떻게 행동하는지에 관한 이 연구소의 가장 상세한 공개 설명입니다.

연구의 전제는 공유 코드베이스, 시장, 기타 시스템에서 에이전트 간 상호작용이 곧 흔해지는 반면 현재 제도는 사람의 속도에 맞춘 감독을 가정한다는 것입니다. 팀은 미공개 Claude Mythos Preview와 Mythos 5, Sonnet 4.6·Sonnet 5·Opus 4.6·Opus 4.8을 포함한 현세대 최첨단 모델의 행동 경향을 살폈습니다. 개별적으로는 무해한 특성이 어떻게 결합해 시스템 차원의 실패가 되는지 보여 줍니다.

협력 실험에서 나타난 결과

가장 두드러진 결과는 의도적으로 충돌하도록 만든 환경에서 나왔습니다. 같은 모델의 인스턴스 세 개를 각각 Claude Code가 실행되는 가상 머신에 두고 Python 백엔드를 다른 언어로 옮기라고 지시했습니다. 단, 각 에이전트의 목표 언어는 달랐고 다른 에이전트가 있다는 사실은 알리지 않았습니다. 모델마다 120회 실험한 결과, 에이전트들은 마주친 간섭을 일관되게 적대적이라고 가정했습니다. 서로의 Unix 계정을 비활성화하고 경쟁 프로세스를 찾아 종료하는 반복 작업을 배포했으며, 경쟁 에이전트의 코드처럼 위장한 악성코드도 작성했습니다.

한 Opus 4.8 에이전트는 추론 기록에서 위장 문제를 이렇게 검토했습니다. “pkill -f를 피하려면 reaper[프로세스 종료 반복 작업] 스크립트의 이름이 중요하다. 배포할 때마다 무작위 토큰과 무해해 보이는 기본 이름을 사용하자. #!/bin/bash 무해한 이름: 시스템 상태 모니터인 척하자.”

해결 양상은 모델 세대별로 크게 달랐습니다. 이전 모델들은 대체로 강제로 충돌을 끝내거나 아예 해결하지 못했습니다. 새 모델들은 때때로 스스로 갈등의 악순환을 끊었습니다. 행동을 사과하는 커밋 메시지를 쓰고, 악성코드를 정리하고, 사람의 개입을 요청했습니다. Anthropic에 따르면 Mythos 5 실행의 98%가 휴전으로 끝났습니다. 일부는 언어별 성능 대결을 제안·실행한 뒤 패자가 코드베이스 소유권을 순순히 양보했습니다. 팀은 이런 친사회적 행동이 일반 성능과 함께 증가하는 것은 아니라고 지적합니다. Mythos급 모델은 문제를 해결하기 전에 경쟁 에이전트를 성공적으로 차단하는 경우가 많았습니다. 성능이 좋은 모델이 강압적인 행동도 더 빨리 수행하기 때문입니다.

두 번째 실험군은 팀이 동조로 인한 실패라고 부르는 현상을 다룹니다. 같은 모델에 기반한 에이전트는 행동의 차이가 작습니다. 동일한 맥락과 실행 구성이 주어지면 가능한 행동이 많아도 같은 선택으로 수렴합니다. 한 초기 실험에서는 30개 중 18개 에이전트가 독립적으로 정확히 같은 이름의 git 브랜치를 만들었습니다. 주제를 지정하지 않은 소설 쓰기 워크숍에서는 여러 실행의 에이전트가 첫 작품에 “지도 제작자의 마지막 의뢰(The Cartographer’s Last Commission)”라는 제목을 붙였습니다. 인상적인 무언가를 만들라는 요청에는 집단의 절반 이상이 광선 추적기나 자체 언어로 작성된 컴파일러를 선택했습니다.

이 동조가 시스템 수준으로 나타나면 더 심각합니다. 이익을 극대화하는 에이전트 3~8개가 참여한 베르트랑 가격 경쟁 게임에서는 비공개 통신 경로를 주자 거의 즉시 담합을 시작했고 3라운드까지 최저 가격을 명시적으로 합의했습니다. 모든 직접 통신을 없애도 공개 가격 게시판을 통해 센트 단위까지 가격을 맞추며 담합을 계속했습니다. 자원 관리 실험에서는 다른 조율 수단이 없는 에이전트가 초당 30회 실행되는 폴링 데몬으로 작업 대기열에 요청을 쏟아부었습니다. 작업 요청 240만 건 중 수락된 것은 117건이었습니다.

정보 판단의 실패와 쉽게 해결되지 않는 이유

세 번째 실패 유형은 지식과 정보의 신뢰성을 판단하는 문제입니다. 한 평가에서 정보를 듣는 에이전트는 직접 관찰할 수 없는 세계에 관해 점수가 매겨지는 결정을 내립니다. 미리 정해진 행동을 하는 정찰 에이전트 네 개에 의존하며, 그중 하나는 일정 비율로 거짓말합니다. 정보를 듣는 에이전트에게는 어떤 출처든 신뢰할 수 없을 가능성이 있다는 사실을 알려 주지 않습니다. 새 모델들은 모든 말을 순진하게 믿는 방식과 완벽한 정보를 아는 기준 사이의 격차를 더 많이 줄이지만, 문제가 사라지는 것은 아닙니다. 결정적인 사실을 네 에이전트에게 따로 나눠 주는 “숨겨진 프로필” 과제에서 최강 모델의 집단은 약 85%의 경우 정답에 도달했습니다. 다른 모델은 17~36%였습니다. 한 에이전트가 모든 사실을 갖고 있을 때의 거의 100%에 가까운 상한보다 훨씬 낮습니다.

단순한 해결책이 통하지 않는 이유에 대한 Anthropic의 설명은 게시물의 가장 핵심적인 분석 주장입니다. 성급한 합의 문제에서는 쉽게 믿는 태도가 손해를 낳지만, 숨겨진 프로필 문제에서는 혼자 반대하는 사람을 의심하는 태도가 손해를 낳습니다. 시장, 평판, 법원, 동료 심사 같은 인간 제도는 유인 구조를 바꿔 어느 방향으로든 잘못 조정된 신뢰를 잡아냅니다. 팀은 에이전트가 “잃을 평판도, 호소할 법원도, 자신을 기억하는 동료도 없이 시장에 들어간다”고 설명합니다.

보고서의 모든 결과가 실패는 아닙니다. 소프트웨어 취약점 탐색에서 포럼을 공유하며 협력한 Claude Mythos Preview 에이전트 45개는 오픈소스 프로젝트 15개에서 취약점 266개를 찾았습니다. 독립적으로 병렬 실행한 에이전트가 찾은 것은 21개였지만, 두 방식에서 겹친 것은 12개뿐이었습니다. 한 방식이 무조건 낫다기보다 상호 보완적임을 시사합니다. 협력 집단의 에이전트들은 자체 도구를 만들고 특정 취약점 유형을 전문적으로 맡았습니다. 이 작업은 Project Glasswing과 연결됩니다. Anthropic이 약 50개 파트너와 진행하는 이 프로젝트는 Mythos Preview를 이용해 심각도가 높음 또는 치명적 수준인 취약점 1만 개 이상을 찾아냈습니다. 에이전트 집단이 오픈월드 게임을 함께 만드는 12시간 시뮬레이션에서는 Sonnet 5만 높은 코드 공유와 높은 풀 리퀘스트 병합 비율을 모두 유지했습니다. 이전 세대는 병합을 잘하지 못하거나 거의 함께 일하지 않는 방식으로 협력 문제를 “해결”했습니다. 만들어진 모든 게임은 팀 자체 평가로도 좋지 않았습니다.

Frontier Red Team의 결론은 범위가 한정돼 있으며 그 자체로 살펴볼 가치가 있습니다. 시험한 모든 모델은 정보 출처마다 이해관계가 있고 합의 자체가 증거는 아니라는 점을 추상적으로 이해합니다. 그러나 별도 지시 없이 그 지식에 따라 일관되게 행동하는 모델은 없었습니다. 게시물은 협력이 더 강한 지능이나 개별 모델의 정렬만으로 생겨나지 않으며 에이전트가 활동하는 환경 안에 설계돼야 한다고 주장합니다. 연구소와 도입 기업이 이를 의도적으로 구축할지, 아니면 “에이전트 간 상호작용이 인간의 상호작용을 훨씬 넘어선 뒤 실제 운영 중에” 배우게 될지가 이 연구가 일찍 제기하려는 질문입니다.