Anderson 视角

禁令期间,降级使用 Claude Fable 几乎未影响开发者的工作效率

Martin Anderson
将 Unite.AI 添加到您在 Google 上的首选来源
Workers at the AWA factory, Ashfield, NSW, 1936. Source: https://commons.wikimedia.org/wiki/File:AWA1936.jpg
要点使用得分更高的Claude Fable 5仅将合并率提高了1.4个百分点。
查看更多
  • 使用得分更高的Claude Fable 5仅将合并率提高了1.4个百分点。
  • 五次Claude升级在已合并的拉取请求或每周完成的变更方面没有带来显著提升。
  • 当开发者分配的任务已经处于较旧模型的能力范围内时,基准测试分数意义不大。

要准确评估新的 AI 模型是否比前代性能更好,本就非常困难;甚至连生产力提升究竟意味着什么,也难以界定。新版本可能在某个方面有所改进,却在另一个方面表现退步,这与传统软件和框架的情况十分相似。有时,这是人们自愿做出的取舍;有时,则是“附带损害”。

这还得以“公平竞争”为前提。开发者操纵软件,使其在基准测试中表现更好的例子屡见不鲜,有时还会让软件识别自己何时正在接受测试,并暂时改变运行方式以取得更高分。AI 模型也可能识别自己何时正在接受评估,并表现得与平时不同,即使它们并非被刻意设计成这样。

为了找到更有意义、更诚实的衡量标准,开发者常会设立一些非正式的自定义指标,例如 Simon Wilson 提出的定性测试鹈鹕骑自行车挑战:让视觉语言模型(VLM)创作训练数据中不存在的内容*。模型往往在这项测试中表现不佳,不过,2026 年以来情况已有所改善:

Simon Wilson 的这项指标要求 VLM 想象一只骑着自行车的鹈鹕。近来,AI 在这方面的表现大有进步,相比大约 18 个月前那些令人捧腹的尝试,进步尤为明显。但也有人认为,这可能是因为这项挑战如今已被纳入训练数据。来源:https://simonwillison.net/tags/pelican-riding-a-bicycle/

Simon Wilson 的这项指标要求 VLM 想象一只骑着自行车的鹈鹕。近来,AI 在这方面的表现大有进步,相比大约 18 个月前那些令人捧腹的尝试,进步尤为明显。但也有人认为,这可能是因为这项挑战如今已被纳入训练数据。来源

不过,基准测试只能衡量其设计要测试的特定技能。即使测试结果可靠,这些技能在日常使用中有多大意义仍不明确,得分更高是否会转化为完成更多工作也同样如此。

对于编程模型,可以通过观察开发者从一个模型切换到另一个模型后产出有何变化,来考察这个问题。

完成更多工作 [the Same] 用更少资源

今年6月,为期19天的白宫禁令限制了对Claude Fable的使用,为研究人员提供了一个异常清晰的测试环境:开发者向 GitHub 提交拉取请求(PR)时,降级使用了功能较弱的 Claude 版本。由于 Claude 的所有版本都会共同签署 PR,而且相关信息可通过 GitHub API 搜索,因此这些数据可免费获取。

Harvard University 的一项新研究利用了这一机会,追踪了 297 名 Fable 5 用户在禁令前、禁令期间和禁令后的工作,并将他们与 8,908 名继续使用旧款Opus 4.8模型的开发者进行了比较。

此前,在 SWE-Bench Pro 编程基准测试中,Fable 5 的得分比 Opus 4.8高出近 11 分。然而,在 Harvard University 的研究中,能够使用 Fable 5 与提交的代码变更在 7 天内被 GitHub 项目接受的比例仅提高1.4 个百分点相关。论文称,这一差异实际上小到可以视为四舍五入误差;更广泛的分析也发现,升级到其他较新的 AI 模型并未带来显著的生产力提升:

“结果表明,能够使用 Fable 5 只使合并率改变了 1.4 个百分点,而且这一变化在统计学上并不显著[significant]。我们还分析了 2026 年八次模型升级中的五次,发现升级后合并率并未上升[either]。”

“同样,开发者每周合并的拉取请求数量也没有增加。这些结果表明,当前编程基准测试上的提升并未真正转化为更多已完成的工作。”

在 2026 年的五次模型升级中,涉及 1,208 名开发者和超过 15,000 项拟议代码变更。研究未发现已提交代码的合并率有统计学意义上的提升,也未发现每周成功完成的变更数量有所增加。

尽管论文承认,GitHub 合并记录并非衡量生产力的完美指标,但这项禁令提供了一个极为罕见的机会,让研究人员得以在真实工作环境中评估切换模型的影响。研究所涉行业备受全球关注,却处于企业透明度最低的状态。

在承认此类情况下难以确立实证标准后,这项新研究†指出:

“率先使用新模型的人可能更有经验,因此,在比较不同开发者的生产力时,我们无法判断差异究竟来自模型,还是来自使用模型的人。即使观察的是同一批人,我们也不知道他们是否会把相同的任务交给不同的模型。

“例如,有些人可能会用 Fable 5 处理最难的任务,遇到简单任务时则切换到较低级别的模型。如果他们把更难的任务交给最强的模型,那么无论我们选择什么指标,最强模型看起来都可能效率较低,因为难度更高的任务耗时更长,也更不容易被合并。”

论文还指出,先前的研究存在偏差:大多数代码改动都来自少数几个项目,而每个项目都有各自的贡献验收规则;这些差异使研究人员难以确定,生产力提升是否确实由升级到较新模型所致。

研究方法

在主要实验††中,研究人员将研究所确认的 297 名 Fable 5 用户提交的 GitHub 拉取请求分为四个时期:该模型 6 月 9 日发布之前、发布后可用的三天内、为期 19 天的停用期间,以及 7 月 1 日恢复访问之后。

研究人员将这些用户的合并率与 8,908 名被确认使用旧款 Opus 4.8 模型的开发者进行比较,从而将与停用相关的变化同 GitHub 活动整体波动区分开来。

这项比较假设,如果没有禁用措施,两个群体的合并率变化会相似。研究人员比较了两组之间合并率的变化,并在统计分析中考虑了开发者个体差异和日常波动:

Claude 模型升级及 Fable 5 停用的时间线。上方面板显示了 Opus 和 Sonnet 的八次升级,其中实心圆点标出本研究进一步考察的五次升级。下方面板显示了用于评估停用期间对 PR 合并率影响的四个时期,并以禁用期作为参照时期。紫色线条表示 Fable 5 可用或停用的时间;灰色阴影表示禁用期;斜线阴影区域表示访问被停用或恢复后立即排除在分析之外的日期。来源 - https://arxiv.org/pdf/2611.23216

Claude 模型升级及 Fable 5 停用的时间线。上方面板显示了 Opus 和 Sonnet 的八次升级,其中实心圆点标出本研究进一步考察的五次升级。下方面板显示了用于评估停用期间对 PR 合并率影响的四个时期,并以禁用期作为参照时期。紫色线条表示 Fable 5 可用或停用的时间;灰色阴影表示禁用期;斜线阴影区域表示访问被停用或恢复后立即排除在分析之外的日期。 来源

在数据方面,研究人员通过 GitHub Search API 找出使用 Claude Code 创建的公开 GitHub PR,并依据 PR 描述中自动附带的“由 Claude Code 生成”提示进行识别。如果代码的提交历史中记录的具体模型名称也被复制到了 PR 描述中,研究人员便能确认所用 Claude 版本。

研究人员收集了 2025 年 11 月至 2026 年 10 月期间、Fable 5 停用前后及 Claude 后续升级时期提交的 PR,并为最新提交的 PR 留出至少四周的时间以便其完成合并。

主要研究组由 Fable 5 短暂可用期间使用过该模型的 297 名开发者组成;对照组则由使用过 Opus 4.8、且没有记录显示使用过 Fable 5 的 8,908 名开发者组成。

主要生产力指标是提交的代码改动中在七天内被 GitHub 项目接纳的比例,借此比较停用前、停用期间和停用后成功提交的比例。其他检查指标包括一小时内合并的 PR、未合并即关闭的 PR、收到的评论数、后来被撤销的改动,以及 GitHub 自动检查失败的情况。

测试结果

失去 Fable 5 的使用权限及之后恢复权限,对开发者生产力的可测量影响很小。使用较新模型与七天内合并的 PR 比例提高仅 1.4 个百分点相关;这一差异被认为“在统计学上并不显著”:

禁用前、禁用期间及禁用后 Fable 5 使用情况与 PR 合并率的比较。左图:使用 Fable 5 生成的 PR 所占比例。右图:相对于 6 月 22 日至 28 日,七天内合并率的变化;圆点表示估算值,横线表示 95% 置信区间。阴影行标示 Fable 5 可用的时期。尽管模型使用情况发生了显著变化,合并率却几乎没有变化。

禁用前、禁用期间及禁用后 Fable 5 使用情况与 PR 合并率的比较。左图:使用 Fable 5 生成的 PR 所占比例。右图:相对于 6 月 22 日至 28 日,七天内合并率的变化;圆点表示估算值,横线表示 95% 置信区间。阴影行标示 Fable 5 可用的时期。尽管模型使用情况发生了显著变化,合并率却几乎没有变化。

此外,在涉及 1,208 名开发者和超过 15,000 次代码提交的五次 Claude 模型升级中,研究人员没有发现代码被 GitHub 项目接纳的比例有所提高。该比例实际上略有下降,估计降幅为 0.9 个百分点。

研究发现,使用较新模型的开发者每周完成并获接受的提交量仅多出 2.4%,这一差异太小,无法据此确认生产力确有可靠提升。即使基准测试分数提高了 5 到 18 分,也未观察到显著的生产力提升。

研究还发现,较新的模型在 GitHub 的自动化代码检查中表现并不更好,失败率基本保持不变。

论文总结道:

“我们的假设是,Fable 5 在基准测试中的优势未能转化为实际工作效率提升,主要是因为开发者交给智能体的任务已经在旧模型的能力范围之内。”

论文接着指出:

“我们的发现为以往研究所警示的问题增添了来自实际工作的证据:如果没有证据表明某项基准测试衡量的正是模型实际用于处理的工作,那么对选择模型的人来说,基准测试分数意义不大[describe]。

“如果监管机构和买家依据模型的基准测试[score]来判断其能力提升了多少,那么他们所依赖的差异很可能不会体现在用户的生产力上。”

结论

多年来,稳定一致、可逐年对比的指标一直是工业系统商业应用的重要前提;但在人工智能领域,要在真实场景中准确复现这类指标尤其困难。部分原因在于,定义基准测试的“测试数据”很快就会进入下一代模型的训练数据,因而失去测试价值。仅这一点,就足以彻底打破企业基准测试的既有模式,也会妨碍科学测试保持一致;研究人员需要挑战先前确立的指标,而这些指标如今可能已毫无意义。

过去十年里,计算机视觉领域的研究论文仍然遵循早已过时的标准(例如 ImageNet),这着实令人惊讶,而这仅仅是因为这些标准的历史渊源已久。

这篇论文的结果相当凸显了开发者的优势:他们能够适应并灵活运用当下可用且正在运行的系统;无论使用最新一代还是上一代人工智能系统,他们的工作速度都大致相同,这表明他们会围绕所需时长和截止期限来优化工作,而不受手头工具的影响。

 

* 正如 Hacker News 最近一位评论者所指出的,这种情况或许已不再成立,因为“骑自行车的鹈鹕”数据如今已经进入训练数据,因此这项测试也就失去了可靠性。

† 标题为《编码模型得分更高,却没有完成更多工作》。

††研究还提出了另外两个问题,但我认为它们与本文主题并无特别密切的关系,重要性也无法与核心问题相提并论,因此没有在本文中介绍。详情请参阅论文原始 PDF。

首次发表于 2026 年 11 月 18 日,星期三

机器学习撰稿人,专注于人类图像合成的领域专家。曾任 Metaphysic.ai 的研究内容负责人,直至其并入 DNEG 的 Brahma.ai。
网站: martinanderson.ai
联系:martin@martinanderson.ai