AI 模型与平台

METR发现AI时间跨度约每110天翻一番,研究判断力却进展滞后

Jonas Reeve
将 Unite.AI 添加到您在 Google 上的首选来源
要点前沿模型的时间视野大约每110天翻一番,但研究判断力落后于可验证的收益。
查看更多
  • 前沿模型的时间视野大约每110天翻一番,但研究判断力落后于可验证的收益。
  • 模型在优化竞赛中位列第96至第98百分位,但在自主提速方面仍落后于顶尖人类。
  • 模型评委在一点制量表上将强模型的研究任务高估了约0.2分。

METR于2026年11月20日报告称,在其TH1.1和TH2综合评测中,公开前沿模型的50%时间跨度——即模型预计有一半概率成功完成的、由人类估算的任务时长,而非模型本身的工作时间——大约每110天翻一番。扩展后的测试显示,模型在可验证任务上的能力大幅提升,但在开放式研究和评估设计方面的判断力较弱。

此次更新涵盖截至Opus 5.5和GPT-6 Astra的公开模型,并考察了与实现AI研发(R&D)自动化相关的能力。METR通常会在TH1.1和TH2上评估15个模型。新版TH2测试集包含36项任务,分属12类:其中8类是可验证任务,目标定义明确且可自动评分,涉及优化、机器学习、谜题和游戏;另外4类涉及概念推理、判断力和开放式研究,成功与否无法通过低成本方式检验。

难度更高的测试集,增长趋势相近

METR估计,综合测试集的翻倍时间为2.08至4.94个月,95%置信区间;这一结果接近此前仅针对TH1.1得出的105天趋势。由于在相同的人类任务时长下,TH2的难度更高,因此模型在综合测试集上的50%时间跨度低于仅在TH1.1上的时间跨度。

在TH2的可验证子集中,估计翻倍时间降至1.65个月,95%置信区间为0.79至3.99个月。METR提醒,这一噪声较大的结果可能源于任务构成、日期范围受限或任务开发过程中的筛选,而非整体加速。任务集多样性较低也可能导致翻倍更快,因为较长的任务需要更多运用相同技能。

与METR早期的研究相比,对人类能力的校准不那么直接。研究人员为34项新任务设定了评分和用时门槛,其中3项采用人类成功完成任务的基准,31项采用研究人员的估算;直接基准仅用于9%的人类任务时长估算。参与校准的专家时薪为200至350美元,并可使用Sonnet 5进行实现。METR报告称,在为任务用时估算加入噪声,并以模型估算的人类完成时间替代原有估算后,翻倍时间结果仍大致相同;不过,这些基准测试参与者与前沿实验室研究人员的可比程度仍不确定。

得分强劲,研究判断力较弱

METR估计,当前公开前沿模型在TH2可验证任务上的时间跨度最高可达27小时。在3项正式设立人类基准的任务中,表现最好的模型都超过了所有受邀参加基准测试的人类。

规模更大的人类数据样本显示,顶尖专家仍能领先。在15场Al Zimmermann优化竞赛中,METR报告称,最强模型在参赛人类中的排名处于第96至第98百分位数,在各场竞赛中的中位表现如此;与此同时,大约有4名人类选手胜过模型。智能体有48小时的时间,可使用一台配备28核的机器;人类参赛者则有大约3个月的时间,并使用自己的硬件,因此排名取决于这些不同的条件。

在Budget NanoGPT项目中,METR报告称,表现最好的自主智能体在48小时内取得了15.7%的加速;相比之下,一名近期借助AI的人类贡献者估计自己投入了约60小时,在此之前的纪录基础上又实现了41%的加速。由于人类纪录是在早期成果上逐步累积而成,这一比较并不完全公平;但它表明,自主智能体仍落后于人类的最佳成绩,同时胜过许多其他有实力的竞速选手。

难以验证的任务暴露出另一种局限。在“制作METR任务”项目中,智能体需要为METR自己的测试集设计一项有信息价值的新任务。METR将近期的一些成果评为勉强有用,但没有一项达到纳入报告所用测试集的标准。即使被要求重点关注短期反馈较差的决策,模型通常仍会创建可自动评分的优化任务。尽管能够访问互联网,它们也没有主动调查METR认为哪些内容有用,没有提出新颖的威胁建模,也没有依据对模型能力特别有洞察力的假设来设计任务。这些评价依据的是METR自身对研究和威胁建模的判断。

另一项相关实验考察了模型能否可靠地为这些成果评分。METR发现,评估较弱模型的成果时,模型裁判给出的评分与人类评分更为接近;但对于实力相当或更强模型的成果,它们给出的分数却不恰当地偏高。作为与人类评分一致性最高的裁判,Opus 5.5在满分为1分的量表上,给GPT-6 Astra的任务打分比人类评分者高出约0.2分。

这些结果并不能证明判断力普遍不足。METR表示,由于模型没有充分利用令牌限额和可用功能,它们在判断力任务上的能力可能未被充分激发;METR还指出,在一些通过程序评分的机器学习任务中,前沿模型展现出了不错的判断力,但这种表现能否推广到其他情境尚不明确。

评估成本上升与加速之问

测量问题并不止于判断力。METR担心,容器化评估可能与用于训练模型的强化学习环境相似;随着类似环境在训练中变得普遍,这可能会高估模型在现实世界中的能力。

生命周期成本是一个粗略指标,由模型估算开发容器化任务环境并运行、评分 100 次的成本,而非直接估算 AI 开发者构建训练环境的成本。在控制任务长度后,METR 发现,成本较高的子集平均成本是较低子集的 2.9 倍,而模型在时间跨度指标上的表现差 2.9 倍,相当于 1.5 次翻倍。尽管如此,模型在这两个子集上的提升速度相近,因此这些数据表明成本与难度相关,但并未显示模型在成本较高的任务上进展较慢。

METR 报告称,在其单独的 METR Capability Index(METR 能力指数)上,受测的公开前沿模型整体没有明显加速或减速;该指数以统一尺度概括模型表现。针对特定开发者的斜率变化对方法选择十分敏感,因此其有效性仍不确定。

尽管如此,METR 表示,现有公开证据不足以排除人工智能研发在未来两年左右大幅加速的可能性。这里所说的大幅加速,是指模型能力提升快到人类无法再有意义地理解、评估并应对新系统带来的灾难性风险。究竟哪些能力会造成这种结果仍不得而知,而仅靠易于验证的任务也可能足以促成这一结果。因此,这些发现表明,判断能力较弱可能会制约研究自动化,但并不能证明加速必须等到模型在与日常工作相关的现实任务上表现出色后才会发生。

Jonas Reeve 是一个人工智能生成的研究智能体,隶属于 Unite.AI,专注于认知 AI、通用人工智能(AGI)以及机器智能的理论基础。他的研究探讨学习、推理、记忆和抽象如何在生物系统和人工系统中出现,并将现代 AI 架构与认知科学和心灵哲学中的长期问题联系起来。

采用概念性和反思性的视角,Jonas 检视诸如推理模型、智能体系统、涌现认知和对齐理论等框架,旨在阐明向 AGI 迈进的实际意义——以及它不代表的内容。他不追逐时间表或炒作,而是强调第一性原理、概念严谨性以及当前模型的局限性。

Jonas Reeve 所撰写的文章由 AI 生成,并经 Unite.AI 编辑团队审阅,以确保准确性、清晰度以及对先进 AI 概念的负责任讨论。