METR, Anthropic 모델의 역량 향상 속도가 거의 두 배로 빨라졌다고 추정

METR은 2026년 11월 5일 독립적인 평가 결과를 발표하며, Anthropic이 명확하게 정의된 과제에서 모델 역량을 이전보다 약 두 배 빠르게 향상하고 있을 가능성이 높고, 현재의 가속화는 대부분 AI 사용으로 설명될 가능성이 높다고 판단했다. 다만 결론에는 상당한 불확실성이 따르며, 근거 자료의 상당 부분은 비공개 처리되어 있다.

벤치마크 근거에서 더 가파른 추세 확인

METR은 Anthropic의 벤치마크 역량 지수인 AECI를 활용해, 벤치마크 점수가 2025년 10월 이후 1.9배 빠르게 상승했으며 95% 신뢰구간은 1.5~2.8배라고 추정했다. 이는 이전 속도로 약 2년간 이룰 진전을 1년 만에 달성하는 수준이다. 더 넓은 범위의 판단에서는 2026년 10월의 속도를 2024년 3월부터 2025년 10월까지 관찰된 속도와 비교했다.

이 계산에는 내부 전용 모델도 포함되며, 각 스냅샷의 기준일은 Anthropic 직원 대부분이 해당 모델을 사용할 수 있게 된 시점으로 정했다. 이에 따라 공개된 시스템과 공개되지 않은 시스템을 동일한 기준으로 비교할 수 있다. METR의 강건성 검증에서 대안적인 모델링 방식을 적용한 가속화 추정치는 1.1~2.9배로 나타났다. 이는 벤치마크 난이도와 그 밖의 분석상 가정을 어떻게 반영하느냐에 따라 결과가 달라질 수 있음을 보여준다.

속도 향상에서 AI가 한 역할을 뒷받침하는 근거

METR은 학습 연산량 증가가 가속화를 일으킨 것은 아니라고 판단했지만, 이를 뒷받침하는 세부 내용은 비공개 처리되어 있다. 2025년 말에는 AI 외 요인이 큰 역할을 했을 가능성이 높지만, 현재로서는 그런 요인만으로 지속적인 속도 향상을 설명할 수 없다는 것이 최선의 추정이다.

직원들의 증언도 같은 방향을 가리켰지만, 내용은 일관되지 않았다. 연구자 인터뷰에서는 약 두 배의 가속화를 중심으로 응답이 크게 엇갈렸다. 비공식 설문에서 가장 역량이 뛰어난 내부 모델로 인한 자기 보고식 생산성 향상은 2026년 10월 기준 평균 약 12배로 나타났다. 그러나 METR은 응답에 큰 노력이 필요하지 않았고 전체 직원을 대표하지 않을 수 있으며, 개인의 생산성 향상이 조직 전체의 역량 향상과 직접적으로 같은 것은 아니라고 경고했다.

현재 AI의 효과는 주로 연구자 지원에서 비롯된다. AI는 아직 가장 중요한 학습 작업에 크게 기여하는 일을 완전히 자율적으로 수행하지 못하지만, 연구자들은 머지않아 그런 기여가 가능해질 수 있음을 시사하는 징후가 있다고 설명했다. 다만 그 성숙도는 분야마다 다르다.

병목 현상과 측정에는 여전히 불확실성

알고리즘 발전, 학습 연산량, 실험 연산량 또는 데이터가 12개월 안에 심각한 병목을 일으킬 것이라는 설득력 있는 근거는 나오지 않았다. 검토자들은 새로운 정보가 들어올 때마다 해석을 여러 차례 바꾸었으며, 그 결과 해당 판단에 확신을 갖지 못했다. 그럼에도 METR은 명확한 제약이나 급격한 한계 효용 감소가 없다는 점에서 추가적인 역량 향상이 누적되어 가속화 속도를 더욱 높일 상당한 위험이 있다고 판단했다. 이는 실제로 관찰된 결과가 아니라 미래를 내다본 위험 판단이다.

AECI는 명확하게 정의되어 쉽게 채점할 수 있는 과제를 중시하므로, 벤치마크 점수의 빠른 상승이 현실 세계에서도 그에 상응하는 효과로 이어지지 않을 수 있다. METR은 과적합, AI 외 요인의 기여 또는 이례적으로 낮았던 과거 기준선 때문에 추정치가 실제보다 높을 수 있다고 밝혔다. 반면 최근의 가속화를 놓쳤거나, 인간이 초래하는 병목이 예상보다 빠르게 해소되었거나, 벤치마크 점수가 현실 세계의 영향을 과소평가했다면 추정치가 실제보다 낮을 수 있다. Model 4가 평가에 사용된 15개 벤치마크 모두에서 50%를 넘는 점수를 기록했다는 점은 포화가 향후 측정을 방해할 수 있다는 별도의 우려를 낳았다.

광범위한 접근 권한, 제한적인 공개 근거

METR은 2026년 8월 12일부터 2026년 10월 29일까지 11주간 진행된 평가에 전일제 환산 인력 2.5명을 투입했다. 내부 벤치마크 결과, 사전 학습 및 강화 학습 지표, 학습 연산량 측정치, AI로 인한 속도 향상 분석, 내부 문서를 검토하고 주요 직원 약 15명을 인터뷰했다. 팀은 직원에 준하는 직접적인 접근 권한을 받지 못했고, 공개되지 않은 모델을 표본으로 조사하지도 않았다.

Anthropic은 정보 요청을 승인하거나 거부할 수 있었고, 공개되지 않은 자료를 일방적으로 삭제 처리할 수도 있었다. Anthropic의 삭제 처리로 인해 METR가 가장 유익하다고 판단한 증거의 과반수가 공개 보고서에서 빠졌다. 여기에는 AI의 기여도에 대한 상세한 분석, 알고리즘 발전 추정치, 구체적인 병목 현상 분석, 미래 모델에 대한 예측이 포함됐다. Anthropic은 이러한 삭제 처리가 다른 AI 개발자의 개발을 가속할 수 있는 기밀 정보를 보호하기 위한 것이라고 설명했다. METR은 방법론과 결론에 대한 재량권을 유지했고 대가를 받지 않았지만, Anthropic 기기를 사용해 작업하고 무료 토큰을 이용했다.

이번 평가는 AI가 연구를 가속하는 현상을 외부에서 광범위하게 검토했지만, 근거 자료 자체를 투명하게 공개하는 데까지 나아가지는 않았다. 공개된 벤치마크 결과와 직원들의 증언은 진전 속도가 빨라졌다는 판단을 뒷받침하지만, 비공개 처리된 자료 때문에 독자는 METR이 AI의 기여도와 병목 현상에 관해 내린 결론의 근거 상당 부분을 독립적으로 평가할 수 없다. 따라서 핵심 결론은 독자가 충분히 살펴볼 수 없는 근거를 평가자가 종합한 결과에 크게 의존한다.