METR、Anthropicのモデル能力の成長率がほぼ倍増したと推定

2026年11月5日、METRは独立した評価を公表し、Anthropicは明確に定義されたタスクにおけるモデル能力を、以前のおよそ2倍のペースで向上させている可能性が高く、現在の加速の過半はAIの利用によるものと考えられると判断した。結論には大きな不確実性が伴い、根拠となる証拠の多くは非公開処理によって伏せられている。

ベンチマークの証拠が示す、より急な成長傾向

Anthropicのベンチマーク能力指数であるAECIを用い、METRは、ベンチマークスコアが2025年10月以降、1.9倍の速さで伸びたと推定した。95％信頼区間は1.5～2.8倍だった。このペースは、以前のペースでおよそ2年分に相当する進歩を、1年で達成することを意味する。より広い視点での判断では、2026年10月の成長率を、2024年3月から2025年10月までに観測された成長率と比較している。

この計算には社内限定モデルも含まれており、各時点のスナップショットは、Anthropicの従業員の大半が利用可能になった時点の日付で扱われている。これにより、公開済みシステムと未公開システムを共通の基準で比較できる。METRが行った頑健性の検証では、別のモデル化手法を用いると、加速の推定値は1.1倍から2.9倍の範囲となった。この結果は、ベンチマークの難易度やその他の分析上の前提をどのように表現するかによって、推定値が左右されることを示している。

AIが加速に果たした役割を示す証拠

学習計算量の増加ペースが速まったことは加速の原因ではないと、METRは証拠に基づいて判断したが、その根拠となる詳細は非公開処理によって伏せられている。2025年後半にはAI以外の要因が大きく寄与した可能性が高いものの、現時点での最有力の見方では、そうした要因だけでは持続的な加速を説明できない。

従業員から得られた証拠も同じ方向を示していたが、一様ではなかった。研究者への聞き取りでは、およそ2倍の加速という見方を中心に、回答に大きなばらつきがあった。非公式のアンケートでは、2026年10月時点で、最も高性能な社内モデルによる生産性の向上は自己申告の平均で約12倍とされた。METRは、回答にほとんど手間がかからなかったこと、従業員全体を代表しているとは限らないこと、個人の生産性向上が組織全体の能力向上にそのまま等しいわけではないことに注意を促した。

現時点での効果は、主にAIが研究者を支援することによって生じている。AIはまだ、最も重要な学習作業に対して、きわめて大きな貢献を完全自律的に行うことはできない。ただし研究者は、そうした貢献が近いうちに実現する可能性を示す兆候があると述べており、実用化の進み具合は分野によって異なる。

ボトルネックと測定にはなお不確実性

アルゴリズムの進歩、学習計算量、実験計算量、データのいずれかが、12カ月の期間内に重大なボトルネックになるという説得力のある証拠は得られなかった。新たな情報が届くたびに査読者の解釈は何度も変わり、この評価には確信を持てなかった。それでもMETRは、明確な制約や急激な収穫逓減が見られないことから、今後の能力向上が積み重なり、加速がさらに進む重大なリスクがあると判断した。これは将来を見据えたリスク評価であり、観測された結果ではない。

AECIは、明確に定義され、採点しやすいタスクを重視しているため、ベンチマークでの伸びが速まっても、現実世界で同等の効果につながるとは限らない。METRは、過学習、AI以外の要因、あるいは過去の基準値が異例に低かったことによって、推定値が高くなりすぎる可能性があると述べた。一方、最近の加速を見落としていた場合、人間が担うボトルネックが予想より速く解消される場合、またはベンチマークスコアが現実世界への影響を過小評価している場合には、推定値が低すぎる可能性がある。Model 4が、その評価に用いられた15件すべてのベンチマークで50％を超えるスコアを記録したことから、飽和によって今後の測定が妨げられるおそれも別途懸念された。

幅広いアクセスを得た一方、公開された証拠は限定的

METRは2026年8月12日から2026年10月29日までの11週間にわたる評価に、2.5人分のフルタイム相当の人員を配置した。社内ベンチマークの結果、事前学習と強化学習の指標、学習計算量の測定値、AIによる加速の分析、社内文書を検証し、主要な従業員およそ15人への聞き取りも行った。チームは、制約のない従業員と同等のアクセスを得たわけではなく、非公開モデルのサンプルにもアクセスしなかった。

Anthropicは情報開示の要請を承認または拒否でき、非公開資料を一方的に黒塗りにすることもできた。Anthropicによる黒塗りの結果、METRが最も有益だと判断した証拠の過半数が公開報告書から除かれた。そこには、AIへの寄与に関する詳細な分析、アルゴリズムの進歩の推定、具体的なボトルネック分析、将来のモデルに関する予測が含まれていた。Anthropicは、他のAI開発者の進歩を加速させる可能性のある機密情報を保護するための措置だと説明した。METRは方法論と結論を決定する裁量を保持し、報酬を受け取らなかったものの、Anthropicの端末を使って作業し、無料のトークンを利用した。

この評価は、AIが研究を加速させている状況を外部から幅広く検証する一方、その根拠となる証拠を透明に公開するには至っていない。公開されたベンチマークの結果と従業員の証言は進歩の加速を裏付けているが、非公開処理によって、METRがAIの寄与やボトルネックに関して示した結論の根拠の多くを、読者が独自に評価することはできない。そのため、これらの中心的な結論は、読者が十分に検証できない証拠を評価者が総合した結果に大きく依存している。