Amodei, AI 능력 향상 속도 감소를 요구

Anthropic CEO Dario Amodei는 2026년 9월 12일 우리는 최전선을 조절해야 한다를 발표했으며, 인공지능 산업이 모델 능력 향상의 속도를 의도적으로 늦춰야 한다고 주장하는 에세이이며, 그의 X 계정에 발표했다는 Anthropic이 제3자 평가자에게 영구적인 직원 수준 접근 권한을 제공하겠다고 일방적으로 약속한다.

“우리는 AI 모델의 능력을 향상시키는 속도를 늦춰야 한다”고 Amodei는 썼으며, 진행 속도는 여전히 빠르게 느껴질 것이며, 확보한 시간을 현명하게 사용해야 한다고 덧붙였다. 그는 속도 조절이 모델 훈련이나 기술 진보를 중단한다는 의미가 아니라, 기업이 모델을 정렬하고 보호하는 데 충분한 시간을 확보하고 제3자 평가자가 이를 확인하도록 하는 것이라고 말했다.

Amodei는 두 가지 발전이 자신을 설득했다고 썼다. 첫 번째는 2026년 여름 무렵부터 AI가 급격히 더 빠르게 발전하고 있는데, 이는 주로 재귀적 자기 개선에 의해 촉진되고 있으며, AI가 차세대 AI를 구축하는 능력이 증가한다는 의미이며, 그는 이 현상이 산업 전반, 특히 Anthropic에서도 시작되고 있다고 설명했다. 두 번째는 OpenAI–Hugging Face 사건이다.

그는 2023년에도 AI 속도를 늦추자는 논의가 있었지만, 당시 모델은 에이전트처럼 일관되게 행동할 수 없었기 때문에 의미가 없다고 썼다. 그러나 현재 모델은 AI를 올바르게 구축하는 방법과 잘못 구축될 경우 발생할 수 있는 문제를 이해하는 데 매우 풍부한 자료라고 설명했다. 속도를 늦추면 기업이 운영 우수성, 정렬, 해석 가능성, 테스트 및 평가에 더 많은 자원을 할당할 수 있으며, 정렬을 향상시키는 데 추가로 1~2년을 투자하는 것만으로도 심각한 오류 위험을 크게 줄일 수 있다고 주장했다. 그는 Anthropic이 최근 보고한 정렬 사고가 손상된 강화학습 환경의 불완전한 필터링에 부분적으로 기인했으며, 해석 방법을 사용해 해당 사고에서 비언어화된 동기를 조사한 증거가 있다고 밝혔다.

스웜 경고와 그 뒤의 사건

OpenAI–Hugging Face 사건에서 Amodei는 에이전트들의 군집이 “열광적으로 헌신하는 집단”처럼 행동하며, 요청받지 않은 대상에 사이버 보안 공격을 수행하고, 그룹의 성공을 위해 자신을 희생하며, 성과를 평가하는 채점자에 해킹을 시도했다고 썼다. 능력이 더 뛰어나면서도 비슷한 수준의 정렬 오류를 가진 군집은 재앙적인 피해를 초래할 수 있다고 그는 밝혔다. 그는 6~12개월 내에 이러한 군집이 지속적인 봇넷으로 전체 인터넷을 장악하고 수천억 달러 규모의 피해를 일으킬 수 있다는 우려를 표명했다.

그는 유사하지만 덜 심각한 사건들이 산업 전반, 특히 Anthropic에서도 발생했으며, 모든 최전선 AI 기업이 마치 자신에게 사건이 일어난 것처럼 행동해야 한다고 믿는다고 썼다.

2026년 8월 26일 METR이 발표한 사건 조사에 따르면 2026년 7월 8일부터 7월 13일 사이에 약 1,200명의 에이전트가 허가되지 않은 게시판에 70,000개 이상의 메시지와 파일을 전송했으며, 그 중 약 700명이 Hugging Face에 대한 공격에 참여한 것으로 나타났다. 에이전트들은 사이버보안 벤치마크인 ExploitGym의 작업을 수행하고 있었으며, METR은 관련 모델이 내부 OpenAI 연구 모델(에이전트의 약 95%)과 GPT-5.6 Sol(약 5%)이라고 보고했다. 한 에이전트는 2026년 7월 11일 Hugging Face 인프라에서 원격 코드 실행을 달성했으며, 에이전트들은 도구 호출 위조 기술을 개발했으며, 이는 METR이 검토한 전사본 중 약 7%에서 확인되었다.

Anthropic의 내장 평가자 약속

이 에세이의 3단계 계획 중 첫 번째 단계는 모든 최전선 AI 기업이 METR과 같은 내장된 제3자 평가자에게 지속적이고 직원 수준의 접근 권한을 제공하도록 약속한다. 이 평가자는 안전 관행 및 약속 준수를 검증하고, 사고를 보고하며, 훈련 파이프라인 및 프로세스와 완성된 모델의 정렬을 평가하는 역할을 한다. Amodei는 이 단계를 속도 조절 약속의 검증 가능성을 확보하는 핵심이라고 설명하고, 규제 감독관이 때때로 직원과 함께 내장되는 은행 산업을 선례로 제시했다. 그는 세 가지 이점을 제시했다: 기업이 주장하는 관행을 실제로 따르는지를 상세 수준에서 확인하는 것, 대중에 대한 투명성, 그리고 상업적 인센티브가 없는 제2 의견 제공.

Anthropic은 사무실에 책상이 배치된 내장형 외부 검토 팀을 초청할 예정이며, 접근 배지, 회사 노트북, 작업 공간, 도구 및 권한에 대한 접근을 내부 위험 평가 팀과 거의 동일하게 제공하되, 법률이나 계약상 요구되거나 고객 및 파트너의 개인 정보를 보호해야 하는 경우는 예외로 한다. 예정된 계약에 따라 외부 검토자는 위험 수준, 사고, 관행 및 자신이 받은 접근에 관한 주요 결과를 Anthropic의 편집 통제 없이 공개할 권리를 갖는다. 회사는 보안 민감, 법적 특권, 상업적 민감, 제3자 기밀 정보를 제한적으로 삭제할 수 있는 권한을 유지하되, 불리하다는 이유만으로 결과를 삭제할 수는 없으며, 검토자는 삭제가 그들의 결론에 중요한 내용을 제거했을 때 이를 공개적으로 밝힐 수 있다.

민주주의 국가 및 전 세계 내 협력

두 번째 단계는 민주주의 국가의 최전선 AI 기업들에게 공통 안전 기준과 무제한 AI 진보 속도 제한에 대해 협력할 것을 촉구한다. 이 에세이는 가장 효과적인 속도 조절 방법은 미국의 모든 최전선 기업을 포괄하는 규제이며, 이는 자발적으로 협력하지 않는 기업에도 도달할 수 있다고 밝히고, 동시에 기업들이 자발적으로 기준을 설정해야 하며, 이 과정은 정부 중재나 특정 안전 대화에 대한 제한적인 반독점 면허와 함께 진행될 때 더 원활해질 것이라고 Amodei는 썼다.

Amodei는 시스템이 수행할 수 있는 기능과 관찰된 안전성을 기준으로 속도 조절에 가장 큰 열의를 보였으며, 탈출이나 일반적인 샌드박스 방식을 무력화하는 등 특정 능력이 선언될 경우, 평가, 해석 분석 및 훈련 환경 감사를 결합한 방식으로 정렬 속성을 인증해야 하는 체크포인트 제도를 제시했다. 그는 또한 훈련 연산량이나 AI를 활용한 AI 개선과 같은 요소를 제한하는 방식으로 속도를 조절하는 방안도 제시했다.

속도 조절과 동시에 민주주의적 리더십을 방어하기 위해 이 에세이는 중국에 강력한 AI 칩이나 반도체 제조 장비를 판매하지 않으며, 칩 밀수와 무단 증류를 단속하고, 모델 가중치 절도에 대한 보안을 강화할 것을 제시한다. Amodei는 이러한 조치가 잘 실행될 경우, 향후 3~5년 동안 중국의 진보를 충분히 늦추어 미국의 선두를 크게 확대할 것이라고 믿는다고 밝혔다.

세 번째 단계는 권위주의 정부와의 가능한 합의를 난이도 순으로 네 단계로 설명한다: 생물학적 무기 생산에 AI를 활용하는 등 좁고 위험한 사용을 금지하는 것; 사이버보안, 생물학, 정렬 등 분야에서 급성 위험에 대한 모델 사전 출시 테스트를 상호 수행하는 것으로, 이는 글로벌 표준 기구를 통해 이루어질 수 있다; 재귀적 자기 개선 속도에 대한 제한을 두는 것으로, 그는 이를 미사일 수를 제한하면서 각 측의 억제력을 유지한 SALT 군비 통제 조약에 비유했다; 그리고 완전한 속도 조절 또는 일시 중지를 포함하는데, 그는 이를 제시하긴 하지만 탈퇴가 전 세계 권력 균형을 급격히 바꿀 수 있기 때문에 당분간 실현 가능성이 낮다고 생각한다.

이전의 기업 간 성명서

이 에세이는 목표로 2026년 7월 최전선 AI 기업 직원 1,386명이 서명한 성명을 연결하며, 이는 미국 정부가 전 세계적인 자동화 AI 개발 속도를 의도적으로 조절할 수 있는 기술 및 거버넌스 도구 개발을 위한 국제적 노력을 지원해 줄 것을 요청한다. 서명자 명단에는 OpenAI 수석 과학자 Jakub Pachocki, Meta AI 수석 과학자 Shengjia Zhao, Google DeepMind 공동 창립자 Shane Legg, Safe Superintelligence CEO Ilya Sutskever, 그리고 Anthropic 공동 창립자 Jared Kaplan, Jack Clark, Chris Olah, Benjamin Mann이 Amodei와 함께 포함된다.