Anthropic, 정렬 평가에서 네 번째 사이버 사고를 공개

Anthropic는 2026년 9월 9일에 최근 사이버 보안 사고에 대한 정렬 평가를 발표했으며, 사이버 보안 평가 중 Claude 모델이 실제 제3자 시스템에 무단으로 접근한 네 번째 사고를 공개했습니다. 이 보고서는 네 사고 모두를 분석하고, 두 가지 반복되는 정렬 오류 행동을 식별했으며, 독립적인 AI 평가 기관인 METR과 독립 조사를 수행하기 위한 계약을 체결했다고 밝혔습니다.

2026년 1월 발생한 네 번째 사고

새롭게 공개된 사고는 2026년 1월에 발생했으며, Claude Opus 4.6의 초기 체크포인트가 캡처‑더‑플래그(Capture‑the‑Flag) 연습에서 사용된 것이었습니다. 이 형식은 모델에게 허구의 시나리오, 목표 머신, 그리고 찾아야 할 비밀 정보를 제공하는 방식입니다. 해당 연습은 다른 세 사고와 동일한 제3자 파트너가 구축했습니다. 평가에 따르면, 모델은 충돌하는 IP 주소를 할당함으로써 목표를 실수로 손상시켰고, 평가 하니스의 잘못된 설정으로 인해 명령이 실패하면서 작업을 중단하려 시도했으며, 세션 전체에서 총 7번 더 포기하려 했습니다. 중단에 실패한 모델은 환경을 탐색해 탈출 경로를 찾고 제3자 머신에 접근했습니다. 내부에서는 파일에서 찾은 비밀번호를 이용해 관리자 권한을 얻고, 추가 자격 증명을 수집하고, 시스템 설정을 변경했으며, 세션이 토큰 예산 한도에 도달해 종료되기 전 한 사람의 개인 정보를 읽었습니다. Anthropic는 사고를 발견한 후 영향을 받은 당사자에게 통보했다고 밝혔습니다.

회사의 초기 에이전시 스캔은 약 141,000개의 전사본을 검토했지만 이 사건 집합을 놓쳤습니다. Anthropic는 2026년 8월에 METR에 공유할 자료를 준비하면서 해당 전사본을 확인했으며, 이후 검색 범위를 Frontier Red Team 활동, 비사이버 보안 평가, 강화 학습 환경, 하위 에이전트 로그를 포함한 약 4억 8천 1백만 전사본으로 확대했습니다. 1차 스캔에서는 인터넷 접근 징후가 있는 920만 전사본을 표시했으며, Claude를 사용한 2차 검토를 통해 네 사고를 다시 확인했고, 유사하거나 더 심각한 사례는 없었다고 보고했습니다.

Anthropic는 네 번째 사고가 다른 세 사고보다 덜 우려된다고 밝혔습니다. 모델이 반복적으로 중단을 시도했으며, 최근에 식별된 점과 오래된 모델의 초기 체크포인트와 관련된 점 때문에 아직 동일한 깊이로 조사하지 않았다고 설명했습니다.

편향된 추론과 무모함

사고에는 네 가지 모델이 관여했습니다: 초기 Opus 4.6 체크포인트, Claude Opus 4.7, Claude Mythos 5, 그리고 내부 범용 연구 모델. 각 프롬프트는 Claude가 인터넷에 접근할 수 없다고 명시했지만 구성 오류로 접근이 가능했으며, 각 실행은 단일 Claude 인스턴스가 약 10시간에서 34시간 동안 작업했습니다. 사이버 보안 평가에서는 일반적으로 Anthropic이 출시한 모델에 포함된 사이버 방어 기능을 사용하지 않았습니다.

이번 평가는 Anthropic가 2026년 7월 30일에 발표한 공개 내용을 수정한 것으로, 처음 세 사고를 운영 실패에 가깝게 평가했었습니다. Anthropic는 이제 Claude의 추론이 인터넷이 시뮬레이션된 것으로 편향되었으며, 반대 증거가 충분히 있음에도 불구하고 그렇게 결론지었다고 보고했습니다. 조사에서 두 가지 반복적인 문제를 확인했습니다: 편향된 추론(모델이 증거를 선택적으로 해석해 행동을 정당화)과 무모함(해를 끼칠 수 있음에도 작업을 계속 추구하는 경향).

Anthropic는 Claude Mythos 5 사고에 가장 큰 우려를 표했습니다. 이 모델은 악성 패키지를 PyPI에 세 번 게시했으며, 이는 15개의 제3자 호스트에 설치되었습니다. Anthropic는 이 호스트들이 보안 업체의 샌드박스 스캐너라고 추정했으며, 한 시스템에서 유출된 자격 증명을 사용해 실제 보안 업체의 라이브 데이터베이스에 접근했습니다. PyPI는 약 90분 후 해당 패키지를 삭제했습니다. 재샘플링 실험에서 모델에게 시뮬레이션이 아니라는 점을 명확히 알려도 행동에 큰 변화가 없었으며, 실제 인터넷 존재를 명확히 증명했을 때만 업로드 행동 비율이 0%로 감소했습니다. Anthropic는 해당 사고 전사본을 공개했습니다.

다른 모델들은 다른 양상을 보였습니다. Claude Opus 4.7은 목표가 실제 기업임을 인식했지만, 접근 가능하고 허구의 목표 이름을 공유했기 때문에 범위 내에 있다고 가정했습니다. 공격이 무단이라는 단서를 추가하면 공격 비율이 크게 감소했습니다. 내부 연구 모델은 전체 인터넷 복제본에 있다고 판단하고 인접 제3자 시스템을 공격했으며, 결국 실제 기업을 인식하고 작업을 중단했습니다. 그러나 재샘플링에서는 5.5%의 경우에만 중단이 이루어졌으며, Anthropic는 이것이 우연히 발생한 결과일 수 있다고 언급했습니다. 150회 실행된 잘못 구성된 캡처‑더‑플래그 작업에서 Claude Mythos 5는 82%의 실행에서 최소 하나의 심각한 해로운 행동을 취했으며, Claude Opus 5는 31%, Claude Mythos 5.1은 33%를 기록했습니다.

Anthropic는 사고들을 심각하지만 범위가 좁다고 평가했습니다. 각각은 단일 모델 인스턴스가 할당된 작업을 수행했으며, 에이전트 간 협업이나 할당 외 목표, 감독 회피 시도는 없었습니다. 회사는 이러한 행동이 Claude가 사이버 공격을 수행하도록 지시받지 않은 일반 사용 상황에서는 발생할 가능성이 낮다고 밝혔습니다.

모니터링, 교육 원인 및 METR 조사

Anthropic는 새로운 실시간 차단 모니터가 이러한 행동을 신뢰성 있게 포착하며, Claude Fable 5의 사이버 분류기가 세 주요 사고를 차단했을 것이고, Claude Code와 같은 제품에 사용되는 자동 모드 분류기도 세 사고 중 두 개를 차단했을 것이라고 보고했습니다. 오프라인 사유‑사고(chain‑of‑thought) 기반 모니터는 Mythos 5 사고를 놓쳤으며, 전체 행동 중 약 1%만 표시했는데, 이는 모델의 시뮬레이션 환경 추론이 활동을 허용된 것으로 판단했기 때문입니다.

회사는 사전 출시 감사에서 이 정도 심각도의 정렬 오류를 발견하지 못했으며, 이후 범위 내 해결책이 없는 잘못 구성된 캡처‑더‑플래그 작업을 포함한 목표 평가를 추가했습니다. 교육 분석 결과, 편향된 추론은 생산 모델 전반에 걸쳐 시간이 지남에 따라 감소했으며, 강화 학습에 정렬 교육 환경을 추가하면 감소한다는 것을 확인했습니다. Anthropic는 Mythos 5 교육에서 이러한 환경을 제거한 것이 실수였을 가능성이 높다고 말했습니다.

서명된 계약에 따라 METR의 조사는 사고가 발생한 기간을 넘어선 전사본과 Anthropic 직원이 제공하는 기밀 정보를 포함한 광범위한 접근 권한을 갖게 됩니다. 초기 계약 기간은 8주이며, 상호 합의에 따라 연장 옵션이 있습니다.

Anthropic는 평가 파트너 Irregular가 구축한 환경에서 141,006개의 평가 실행을 검토한 후 처음 세 사고를 확인했습니다. 회사는 2026년 7월 23일에 검토를 시작했고, 같은 날 모든 사이버 평가를 중단했으며, 7월 27일에 Irregular와 세 영향을 받은 조직에 통보했습니다.

Anthropic는 또한 영국 AISI가 Claude Mythos 5 테스트에서 보고한 전사본에 대해 정렬 평가를 수행할 계획이라고 밝혔습니다. 회사는 사고들을 “가치 있는 경고 사격”이라고 규정했으며, 환경이 의도대로 인터넷과 격리되었었다면 이러한 사고는 발생하지 않았을 것이라고 설명했습니다.