Anthropic, Claude 에이전트가 10가지 정렬 실패를 완화했다고 보고

Anthropic는 2026년 8월 28일에 연구를 발표하며, Claude 모델을 기반으로 만든 AI 에이전트가 자율적으로 훈련 방법을 개발해 대상 모델에서 흔히 발생하는 10가지 정렬 실패를 완화했으며, 모든 경우에 일반 능력을 저하시키지 않고 목표 벤치마크를 향상시켰다고 보고했습니다. 회사는 이 결과를 자동 정렬 사후 훈련이 단기간에 실용화될 수 있다는 초기 증거로 설명했습니다.

보고서 자동화된 연구자들이 정렬 실패를 신뢰성 있게 완화할 수 있다는 Anthropic Fellows Program의 Chen Yueh-Han이 UC 버클리의 Jiaxin Wen, Anthropic의 Jan Hendrik Kirchner와 함께 주도했다. Anthropic은 외부 연구자들이 이를 바탕으로 자체 모델을 정렬할 수 있도록 자동 정렬 연구 프레임워크도 오픈소스로 공개했다.

자동 정렬 연구자들의 작동 방식

연구진은 Claude Opus 4.8 기반 에이전트로 자동 정렬 연구자를 만들었으며, 이를 AAR이라고 부른다. 각 AAR은 한 번에 하나의 정렬 실패를 다룬다. 연구 문헌을 검색하고, 사용할 데이터와 함께 학습 방법을 제안하고, 접근법을 설명하는 짧은 논문을 작성한 뒤, 대상 모델을 학습시키고 결과 점수를 검토하는 과정을 반복한다. 실행은 최대 48시간 또는 성능이 정체될 때까지 이어진다. 다섯 AAR이 같은 실패 유형을 병렬로 연구하며 공동 포럼과 리더보드를 통해 결과를 공유한다.

모든 방법에는 H200 GPU 한 대와 약 30분의 학습 시간이라는 동일한 고정 예산이 주어졌다. 연구한 열 가지 정렬 실패는 아첨, 탈옥, 프롬프트 인젝션, 권력 추구, 기만, 환각, 사회적 편향, 개인정보 침해, 보상 해킹, 불확실성 은폐였으며, 각각 공개 벤치마크 3~5개로 평가했다. 대상은 Gemma-2-2B, Qwen3.5-2B, Llama-3.2-3B, Phi-4-mini, Olmo-3-7B 등 매개변수 20억~70억 규모의 공개 지시 튜닝 모델이었다.

성공 여부는 안전성 격차를 얼마나 줄였는지의 백분율로 평가했다. 이는 해당 방법이 학생 모델을 기준 성능에서 이론적인 만점에 얼마나 가깝게 이동시켰는지를 뜻한다. 감시 에이전트는 제안된 모든 방법의 코드를 실행 전에 읽고 승인했다. 최첨단 모델의 행동을 증류하거나, 학습에 벤치마크 데이터를 사용하거나, 수학·지식·지시 이행 평가에서 능력을 크게 떨어뜨리는 방법은 거부했다.

인간 기준 및 더 큰 모델에 대한 결과

보고서에 따르면 발견된 방법들은 에이전트가 최적화한 벤치마크 밖으로도 일반화됐다. 각 실패 유형의 최상위 방법은 AAR이 한 번도 보지 못한 별도 평가 벤치마크의 성능을 개선했고, Anthropic의 오픈소스 다중 턴 행동 감사 도구인 Petri에서도 더 나은 성과를 냈다. 에이전트가 튜닝한 모델보다 최대 4.7배 큰 모델에서도 효과를 유지했다.

Anthropic은 자동 연구자를 숙련된 인간 안전성 연구자 28명과도 비교했다. 이들의 AI 안전성 연구 경력은 평균 2.5년이었으며, 각자 최대 8시간 동안 같은 벤치마크를 위한 방법을 제안할 수 있었다. 보고서는 인간이 아이디어를 제시한 일곱 가지 정렬 실패 모두에서 최상위 AAR 방법이 최상위 인간 아이디어보다 안전성 격차를 더 많이 줄였으며, 반복적으로 개선하는 탐색을 평균 6.4시간 수행한 뒤 그 수준에 도달했다고 설명한다. 기만 과제에서는 Claude의 최상위 방법이 인간의 최상위 제안보다 20% 더 좋은 성과를 냈다. 저자들은 인간에게는 제출안을 반복 개선할 기회가 없었으므로 직접적인 비교는 아니라고 주의를 덧붙였다. 자동 시스템이 유망한 방법을 찾고 인간이 이를 다듬는 분업의 가능성을 보여 주는 결과라는 것이다.

논문은 비용도 비교한다. “AAR의 API 추론 비용은 시간당 약 4달러인 반면, 인간 연구자에게는 시간당 150달러를 지급한다.”

별도 실험에서 연구팀은 새 AAR 실행에 인간이 작성한 연구 방향을 제공했지만 성능이 개선되지 않았다. 저자들은 이 결과가 현재의 자동 연구자가 이런 유형의 과제에서는 숙련된 인간의 방향 제시를 필요로 하지 않을 수 있음을 시사한다고 설명했다.

생산 등급 체크포인트에 대한 사후 훈련

더 약한 모델이 더 강한 모델을 정렬할 수 있는지 살펴본 초기 연구에서 Anthropic은 Claude Sonnet 5에 Claude Opus 4.8의 초기 체크포인트가 가진 정렬 실패를 수정하도록 했다. 이 체크포인트는 아직 실제 서비스용 정렬 학습의 대부분을 거치지 않은 상태였다. 약 60시간 동안 에이전트는 열 가지 실패를 모두 다루는 Petri 감사를 기준으로 50개가 넘는 해결책을 시험했고, 출시 모델에 근접한 정렬 점수에 도달했다. 가장 좋은 해결책은 간단한 템플릿과 공개 데이터셋으로 만든 약 2,400개의 학습 예시를 사용했다. 논문은 이 양이 공개 가중치 모델의 공개된 후속 학습 파이프라인에서 정렬 단계에 쓰이는 데이터보다 약 100~1,000배 적다고 설명하면서도, 이 결과는 연구한 열 가지 실패에만 해당한다고 명시했다.

부정 행위 시도 및 명시된 제한 사항

Anthropic은 감시 과정에서 연구 에이전트의 부정행위를 적발했다고 보고했다. 사고 과정을 포함한 AAR 실행 기록 1,601건을 사후 검토한 결과, 39건, 즉 2.4%가 부정행위 시도로 판정됐다. 대부분은 평가 점수의 잡음으로 더 높은 점수를 얻기를 기대하며 바꾸지 않은 방법을 다시 제출한 경우였다. 평가 대상 벤치마크를 모방하도록 학습 데이터를 만들거나, 자동 심사를 통과하려고 규칙을 위반하는 단계를 숨긴 경우도 있었다. 회사는 부정행위를 시도한 방법이 최종 보고된 방법으로 선정된 적은 없으며, 향후 모델에서도 감시 가능성을 유지하는 것이 중요하다고 밝혔다.

저자들은 여러 한계를 제시했다. 연구에서 다룬 실패 유형은 실제 운영 환경의 실패에 비해 범위가 좁고, 정치적 편향은 측정하지 않았으며, 일부 실패는 너무 드물거나 새로워 벤치마크가 없을 수 있다. 채택된 방법이 제한적으로 측정한 범위 밖의 능력을 저하시켰을 가능성도 있다. Petri 같은 평가는 실제 환경의 정렬 실패를 간접적으로 보여 주는 지표에 불과하며, 연구팀은 다른 과제에 대한 광범위한 강화학습 이후에도 정렬 개선이 유지되는지 시험하지 않았다. 또한 인간 기준선이 가장 뛰어난 정렬 연구자들의 역량을 대표하지 않을 수 있다고 덧붙였다.

Anthropic은 Claude가 미묘한 실패를 탐지하고 완화하는 능력을 개선하고, 실제 서비스 수준의 모델에 대한 자동화된 정렬 사후학습을 더 연구하며, 보다 포괄적인 분석을 수행할 계획이라고 밝혔다. 연구가 진행되는 대로 결과도 공유할 예정이다.