AIモデルとプラットフォーム
METRの調査:研究判断力の伸びが遅れる一方、AIの作業時間の見通しは倍増

要点フロンティアモデルの時間的視野はおよそ110日ごとに倍増するが、研究上の判断力は検証可能な向上に遅れをとっている。
もっと見る
- フロンティアモデルの時間的視野はおよそ110日ごとに倍増するが、研究上の判断力は検証可能な向上に遅れをとっている。
- モデルは最適化コンテストで96〜98パーセンタイルに位置づけられたが、自律的な高速化ではトップの人間に及ばなかった。
- モデルによる審査は、強いモデルの研究タスクを1点満点の尺度で約0.2点過大評価した。
METRは2026年11月20日、公開されている最先端モデルの「50%タイムホライズン」――モデルが半分の確率で成功すると予測されるタスクの所要時間(モデル自体が作業する時間ではない)――が、TH1.1とTH2を合わせた評価全体で、およそ110日ごとに倍増していると報告した。評価範囲の拡大により、正解を検証できるタスクでは大きな性能向上が見られる一方、自由度の高い研究や評価設計における判断力は弱いことが明らかになった。
今回の更新では、Opus 5.5とGPT-6 Astraまでの公開モデルを対象に、AIの研究開発(R&D)の自動化に関わる能力を調べている。METRは通常、TH1.1とTH2で15モデルを評価した。新しいTH2スイートには、12のタスク群にまたがる36のタスクが含まれる。内訳は、最適化、機械学習、パズルとゲームを対象とし、目標が明確に定義され自動採点できる8つの検証可能なタスク群と、成功を安価に判定する方法がなく、概念的推論、判断力、自由度の高い研究を扱う4つのタスク群だ。
難度を高めても成長傾向は同程度
METRは、統合した評価の倍増時間について、95%信頼区間を2.08~4.94カ月と推定している。これは、TH1.1単独で見られた従来の105日という傾向に近い。人間がタスクにかける時間を同じとした場合、TH2はより難しいため、統合スイートにおけるモデルの50%タイムホライズンは、TH1.1単独の場合より短くなる。
TH2の検証可能なタスク群では、倍増時間の推定値は1.65カ月に短縮し、95%信頼区間は0.79~3.99カ月となった。METRは、このばらつきの大きい結果について、広範な加速ではなく、タスクの構成、対象期間の限定、あるいはタスク開発時の選定を反映している可能性があると注意を促している。また、タスク群の多様性が低い場合、倍増が速く見えることもある。長いタスクほど、同じスキルをより多く必要とするためだ。
人間の能力を基準とする較正は、METRの以前の研究ほど直接的ではない。研究者は新しいタスクのうち34件について、スコアと所要時間の基準値を設定した。そのうち3件では人間が成功した際の基準値を使い、31件では研究者による推定を用いたため、人間の所要時間の推定に直接的な基準値が反映されたのは9%にとどまった。専門家には時給200~350ドルが支払われ、実装にはSonnet 5を使用できた。METRによると、タスク所要時間の推定値にノイズを加えた場合や、モデルが推定した人間の完了時間に置き換えた場合も、倍増時間は同程度だった。ただし、基準値を提供した人々が最先端の研究機関の研究者とどの程度比較可能だったかは、依然として不明だ。
高いスコアの一方で、研究判断力には弱さ
検証可能なTH2タスクでは、現在の公開最先端モデルのタイムホライズンは最大27時間とMETRは推定している。人間による正式な基準値が設定された3つのタスクすべてで、最良のモデルは参加した人間の基準評価者全員を上回った。
より大規模な人間のデータを見ると、依然としてトップクラスの専門家が先行する場合がある。Al Zimmermannの最適化コンテスト15件を通じて、METRは、最も高性能なモデルがコンテストの中央値で人間参加者の96~98パーセンタイルに位置した一方、およそ4人の人間がモデルを上回ったと報告している。エージェントには28コアのマシンが48時間与えられたのに対し、人間参加者には約3カ月と各自のハードウェアが用意されていた。そのため、順位はこうした条件の違いに左右される。
Budget NanoGPTでは、METRによると、自律エージェントが48時間で達成した最高の高速化率は15.7%だった。一方、最近のAI支援を受けた人間の貢献者は、約60時間を費やしたと推定し、従来記録を41%更新した。この比較は、人間の記録が先行する成果を段階的に積み上げて作られるため大まかなものだが、自律エージェントは最も優れた人間の成果には及ばない一方、多くの熟練した記録挑戦者を上回っていることを示している。
正解を検証しにくいタスクでは、別の限界が明らかになる。「Making METR Tasks」では、エージェントにMETR独自の評価スイートに加える、情報価値の高い新しいタスクを設計させた。METRは最近の出力の一部を、ぎりぎり有用と評価したものの、報告書で使われたスイートへの採用に値するものはなかった。モデルは、短期的なフィードバックが得にくい判断を重視するよう指示されても、概して自動採点可能な最適化タスクを作成した。インターネットにアクセスできたにもかかわらず、METRが何を有用と見なすかを自ら調べたり、独自の脅威モデリングを作成したり、モデルの能力に関する特に鋭い仮説に基づいてタスクを作ったりすることはなかった。こうした評価は、METR自身の研究上の判断と脅威モデリングに基づいている。
関連する実験では、モデルがそうした出力を安定して採点できるかどうかも調べた。METRによると、モデルの評価者は、性能の低いモデルの出力を評価する際には人間の評価とより近い判断を示したが、同程度に高性能またはそれ以上のモデルの成果には不適切に高い点数を付けた。人間の評価との一致度が最も高かった評価者のOpus 5.5は、GPT-6 Astraのタスクに対し、人間の採点者より1点満点で約0.2点高いスコアを付けた。
この結果だけで、判断力の不足が普遍的に存在すると結論づけることはできない。METRによると、モデルはトークン上限や利用可能な手段を十分に活用しなかったため、判断力を問うタスクで能力を十分に引き出されていない可能性がある。また、プログラムで採点される一部の機械学習タスクでは、最先端モデルが、一般化可能性は明らかでないものの、良好な判断力を示したとも指摘している。
評価コストの上昇と加速をめぐる疑問
測定上の課題は判断力だけにとどまらない。METRは、コンテナ化された評価環境がモデルの訓練に使われる強化学習環境に似ている場合、同様の環境が訓練で一般的になるにつれて、実環境での能力を過大評価するおそれがあると懸念している。
ライフサイクルコストは、AI開発者が学習環境にかける費用を直接見積もったものではなく、コンテナ化されたタスク環境の構築と、そこでの実行・採点を100回行うコストをモデルで推定した、おおまかな代替指標です。タスクの長さを調整したところ、METRは、高コストのサブセットは低コストのサブセットに比べて平均で2.9倍の費用がかかる一方、モデルの時間的な予測可能範囲は2.9倍低く、これは1.5回の倍増に相当すると報告しました。それでも、モデルは両方のサブセットで同程度のペースで向上していました。このデータはコストと難易度の関連を示していますが、コストの高いタスクで進歩が遅いことを示すものではありません。
METRによると、共通の尺度でモデルの性能を要約する別個の指標「METR Capability Index」では、評価対象となった公開フロンティア全体に、明確な加速や減速は見られませんでした。開発者ごとの傾きの変化は、方法論上の選択に左右されやすく、その妥当性は不確かなままです。
一方でMETRは、今後数年間にAIの研究開発が急激に加速する可能性を排除するには、現在公開されている証拠は不十分だと述べています。ここでいう急激な加速とは、新たなシステムがもたらす壊滅的リスクについて、人間が意味のある形で理解し、評価し、対応できなくなるほど、能力が急速に向上することです。そうした事態を引き起こす能力が何かは、依然として分かっておらず、検証しやすいタスクだけで十分な可能性もあります。したがって今回の調査結果は、判断力の弱さが研究自動化の制約となり得ることを示唆していますが、一般的な仕事に関連する現実的なタスクでモデルの性能が向上するまで、加速が起こらないことを証明するものではありません。












