AI 모델 및 플랫폼
METR, AI의 작업 시간 지평은 두 배로 늘지만 연구 판단력 향상은 더디다고 밝혀

핵심 포인트프런티어 모델의 시간 지평은 대략 110일마다 두 배로 늘어나지만 연구 판단력은 검증 가능한 향상보다 뒤처진다.
더 보기
- 프런티어 모델의 시간 지평은 대략 110일마다 두 배로 늘어나지만 연구 판단력은 검증 가능한 향상보다 뒤처진다.
- 모델들은 최적화 대회에서 96~98백분위에 올랐지만 자율적 속도 향상에서는 최상위 인간을 뒤쫓았다.
- 모델 심사자들은 강력한 모델의 연구 과제를 1점 척도에서 약 0.2점 과대평가했다.
METR은 2026년 11월 20일, 공개된 최첨단 모델의 50% 작업 시간 지평, 즉 모델 자체가 작업하는 시간이 아니라 모델이 절반의 확률로 성공할 것으로 예측되는 인간 추정 작업 시간을 기준으로 한 지평이 TH1.1과 TH2 통합 평가에서 약 110일마다 두 배로 늘고 있다고 보고했다. 확대된 테스트에서는 검증 가능한 작업에서 큰 성과 향상이 나타났지만, 개방형 연구와 평가 설계에 필요한 판단력은 상대적으로 약했다.
이번 업데이트는 Opus 5.5와 GPT-6 Astra까지 공개 모델을 다루며, AI 연구·개발(R&D) 자동화와 관련된 역량을 살펴본다. METR은 일반적으로 TH1.1과 TH2에서 모델 15개를 평가했다. 새 TH2 평가 세트는 12개 분야의 작업 36개로 구성된다. 최적화, 머신러닝, 퍼즐과 게임에 걸쳐 목표가 명확하고 자동 채점이 가능한 검증형 분야가 8개이며, 성공 여부를 저렴하게 확인할 방법이 없는 개념적 추론, 판단력, 개방형 연구 분야가 4개다.
더 어려운 평가 세트에서도 비슷한 성장 추세
METR은 통합 두 배 증가 주기의 95% 신뢰구간을 2.08~4.94개월로 추정했다. 이는 TH1.1만을 대상으로 한 이전 추세인 105일과 비슷하다. 동일한 인간 작업 시간을 기준으로 보면 TH2가 더 어렵기 때문에, 통합 평가 세트에서 모델의 50% 작업 시간 지평은 TH1.1만을 대상으로 했을 때보다 짧다.
TH2의 검증 가능한 하위 집합에서는 두 배 증가 주기가 1.65개월로 짧아지며, 95% 신뢰구간은 0.79~3.99개월이다. METR은 이 결과에 잡음이 크며, 전반적인 가속을 반영하기보다 작업 구성, 제한된 날짜 범위 또는 작업 개발 과정에서의 선별을 반영했을 수 있다고 경고한다. 작업 세트의 다양성이 낮으면 더 긴 작업에 동일한 기술이 더 많이 필요하므로 두 배 증가 주기가 더 짧게 나타날 수도 있다.
인간 기준을 설정하는 방식은 METR의 이전 연구보다 직접성이 떨어진다. 연구진은 새 작업 34개의 점수 및 시간 임계값을 정했다. 이 가운데 3개에는 성공한 인간 참가자의 기준 성과를 활용했고, 31개에는 연구진의 추정치를 사용했다. 인간 작업 시간 추정치 중 직접 측정한 기준 성과가 반영된 비율은 9%에 불과했다. 전문가는 시간당 200~350달러를 받았으며, 구현에 Sonnet 5를 사용할 수 있었다. METR은 작업 시간 추정치에 잡음을 추가하고 모델이 추정한 인간 완료 시간으로 대체한 뒤에도 두 배 증가 주기가 비슷하게 나왔다고 보고했다. 다만 기준 성과를 제공한 참가자들이 최첨단 모델 연구소의 연구자들과 얼마나 비교 가능한지는 여전히 불확실하다.
높은 점수와 상대적으로 약한 연구 판단력
검증 가능한 TH2 작업에서 METR은 현재 공개된 최첨단 모델의 작업 시간 지평이 최대 27시간이라고 추정한다. 공식적으로 인간 기준 성과를 측정한 세 작업 모두에서 최고 성능 모델은 모집된 인간 참가자 전원보다 뛰어난 성과를 냈다.
더 많은 인간 참가자 데이터에서는 최고 수준의 전문가가 여전히 앞설 수 있음을 보여준다. Al Zimmermann 최적화 경연 15개를 종합했을 때, METR에 따르면 가장 강력한 모델은 중간 수준의 경연에서 인간 참가자의 96~98백분위에 들었으며, 인간 참가자 약 4명이 모델보다 높은 순위를 기록했다. 에이전트는 28코어 컴퓨터에서 48시간 동안 작업했고, 인간 참가자에게는 약 3개월과 각자의 하드웨어가 주어졌다. 따라서 순위는 이처럼 서로 다른 조건에 따라 달라진다.
Budget NanoGPT에서 METR이 보고한 자율 에이전트의 최고 속도 향상은 48시간 동안 15.7%였다. 반면 최근 AI의 도움을 받은 인간 참가자는 이전 기록을 41% 앞당겼으며, 작업에 약 60시간을 썼다고 추정했다. 인간 기록은 이전 작업을 순차적으로 이어받아 쌓이므로 직접 비교에는 한계가 있다. 그러나 자율 에이전트가 가장 뛰어난 인간의 성과에는 미치지 못하면서도 다른 여러 숙련된 기록 경신 참가자보다 앞선다는 점은 보여준다.
검증하기 어려운 작업에서는 다른 한계가 드러난다. Making METR Tasks에서 에이전트는 METR 자체 평가 세트에 넣을 유용한 새 작업을 설계해야 했다. METR은 최근 결과물 중 일부를 경계선상으로 유용하다고 분류했지만, 보고서에서 사용한 평가 세트에 포함할 만한 결과물은 없었다. 단기 피드백이 부족한 의사결정을 강조하라는 지시를 받았는데도 모델은 대체로 자동 채점이 가능한 최적화 작업을 만들었다. 인터넷에 접속할 수 있었지만, METR이 무엇을 유용하다고 판단할지 독자적으로 조사하거나, 새로운 위협 모델을 만들거나, 모델 역량에 관한 특히 통찰력 있는 가설을 바탕으로 작업을 설계하지는 않았다. 이러한 평가는 METR 자체의 연구 및 위협 모델링 판단에 근거한다.
관련 실험에서는 모델이 이러한 결과물을 신뢰성 있게 채점할 수 있는지도 살펴봤다. METR은 약한 모델의 결과물을 평가할 때 모델 평가자의 점수가 인간 평가자의 점수와 더 가까웠지만, 비슷하거나 더 강력한 모델의 결과물에는 부적절하게 높은 점수를 줬다고 밝혔다. 인간 평가자와 가장 높은 일치도를 보인 평가자 Opus 5.5는 GPT-6 Astra의 작업에 대해 1점 척도에서 인간 평가자보다 약 0.2점 높은 점수를 매겼다.
이러한 결과만으로 보편적인 판단력 결핍이 입증되는 것은 아니다. METR은 모델이 토큰 한도와 이용 가능한 기능을 충분히 활용하지 않았기 때문에 판단력 평가 작업에서 역량이 충분히 드러나지 않았을 수 있다고 설명한다. 또한 일부 프로그램으로 채점되는 머신러닝 작업에서 최첨단 모델이 일반화 여부는 불분명하지만 양호한 판단력을 보였다고 덧붙였다.
비용이 더 많이 드는 평가와 가속화 논란
측정 문제는 판단력에만 국한되지 않는다. METR은 컨테이너화된 평가 환경이 모델 훈련에 사용되는 강화학습 환경과 비슷해질 수 있다고 우려한다. 훈련 과정에서 유사한 환경이 흔해지면 실제 세계에서의 역량이 과대평가될 가능성이 있다.
수명 주기 비용(Lifecycle Cost)은 컨테이너화된 작업 환경을 개발하고 100회 실행해 점수를 매기는 데 드는 비용을 모델이 추정한 대략적인 대리 지표이며, AI 개발자가 학습 환경에 지출하는 비용을 직접 추산한 값은 아닙니다. 작업 길이를 통제한 뒤 METR이 분석한 결과, 비용이 높은 하위 집합은 낮은 하위 집합보다 평균 비용이 2.9배 높았고, 모델의 시간 지평 기준 성능은 2.9배 낮았습니다. 이는 1.5회의 두 배 증가에 해당합니다. 그럼에도 모델은 두 하위 집합에서 비슷한 속도로 향상됐습니다. 따라서 이 데이터는 비용과 난이도의 연관성을 보여 주지만, 비용이 더 높은 작업에서 진전이 더 느리다는 점까지 입증하지는 않습니다.
METR은 별도의 METR Capability Index에서 평가한 공개된 최첨단 모델 전반에 걸쳐 뚜렷한 가속이나 감속이 나타나지 않았다고 보고했습니다. 이 지수는 모델 성능을 공통 척도로 요약합니다. 개발자별 기울기 변화는 방법론적 선택에 민감하게 달라졌으며, 따라서 그 유효성은 불확실합니다.
그럼에도 METR은 향후 2년 정도 안에 AI 연구개발(R&D)이 급격히 가속화될 가능성을 배제하기에는 현재 공개된 증거가 충분하지 않다고 밝혔습니다. 여기서 급격한 가속화란 새로운 시스템에서 비롯되는 재앙적 위험을 인간이 더 이상 의미 있게 이해하고 평가하며 대응할 수 없을 정도로 역량이 빠르게 향상되는 것을 말합니다. 그런 결과를 초래할 역량이 무엇인지는 여전히 밝혀지지 않았으며, 검증하기 쉬운 작업만으로도 그런 결과가 나타날 가능성이 있습니다. 따라서 이번 연구 결과는 판단력이 약한 점이 연구 자동화의 제약 요인일 수 있음을 시사하지만, 일반적인 직업과 관련된 현실적인 작업에서 모델이 뛰어난 성과를 낼 때까지 가속화가 일어나지 않을 것이라는 증거는 아닙니다.












