Andersonの視点
Claude Fableからのダウングレード、禁止期間中の開発者の生産性にほとんど影響せず

要点より高いスコアのClaude Fable 5へのアクセスは、マージ率をわずか1.4パーセントポイント上昇させただけだった。
もっと見る
- より高いスコアのClaude Fable 5へのアクセスは、マージ率をわずか1.4パーセントポイント上昇させただけだった。
- 5回のClaudeのアップグレードは、マージされたプルリクエストや週次で完了した変更において有意な向上をもたらさなかった。
- 開発者が割り当てるタスクがすでに古いモデルの能力の範囲内にある場合、ベンチマークのスコアはほとんど意味を持たない。
新しいAIモデルの性能が旧モデルより向上したかどうかを正確に評価するのは非常に難しい。そもそも、何をもって生産性の向上とするのかを定義することさえ容易ではない。新モデルは、従来のソフトウェアやフレームワークと同様に、ある分野で性能が上がる一方、別の分野では低下することがあるためだ。こうした変化は、人が選択した意図的なトレードオフである場合もあれば、「副次的な損失」である場合もある。
これは、開発者が「公正に」振る舞うことを前提としている。開発者がベンチマークでより良い成績を上げるようにソフトウェアを細工し、場合によってはテストされていることを認識させて、一時的に動作を変え、スコアを上げる例は数多くある。AIモデルもまた、意図的にそう設計されていなくても、評価されていることを認識し、異なる振る舞いをすることがある。
より有意義で誠実な指標を求めて、開発者はしばしば独自の簡易な基準を設ける。たとえば、Simon Wilsonが考案した定性的な「ペリカンが自転車に乗る」チャレンジでは、視覚言語モデル(VLM)に、学習データに含まれていないものを作り出す課題*を与える。多くの場合、モデルの出来は芳しくないものの、2026年を通じて多少の改善が見られた。

Simon Wilsonの指標では、VLMに自転車に乗るペリカンを思い描かせる。最近のAIはこの課題で大きく進歩しており、約18か月前の笑いを誘うような出来と比べると、その差は明らかだ。ただし、この課題がすでに学習データに組み込まれているためではないか、と指摘する人もいる。出典
ただし、ベンチマークで測れるのは、検証するよう設計された特定のスキルに限られる。結果の信頼性が高いとしても、そのスキルが日常的な使用でどれほど重要なのか、またスコアの向上がより多くの作業の完了につながるのかは、依然として明らかではない。
コーディングモデルの場合、あるモデルから別のモデルに切り替えたとき、開発者の作業成果に何が起きるかを調べることで、この点を検証できる。
こなす [the Same] より少ないリソースで
今年6月、ホワイトハウスによる19日間の禁止措置でClaude Fableの使用が禁じられたことにより、研究者は異例に明確な検証環境を得た。GitHubにプルリクエスト(PR)を送る開発者たちは、より性能の低いClaudeのモデルに切り替えた。ClaudeのすべてのバージョンがPRに共同署名し、その情報はGitHub API経由で検索できるため、データは誰でも無料で利用できる。
この機会を活用したのが、新たな研究を発表したHarvard Universityだ。同研究では、Fable 5を利用する297人の作業を禁止措置の前・期間中・後に追跡し、旧モデルのOpus 4.8を使い続けた開発者8,908人の作業と比較した。
Fable 5は以前、SWE-Bench ProコーディングベンチマークでOpus 4.8を約11ポイント上回るスコアを獲得していた。しかしHarvardの研究によると、Fable 5を利用できることで、提出されたコード変更が7日以内にGitHubプロジェクトに取り込まれる割合はわずか1.4パーセントポイント上昇したにすぎず、論文はこの差を実質的には丸め誤差に近いとしている。また、より広範な分析でも、ほかの新しいAIモデルへのアップグレードによる生産性の有意な向上は確認されなかった。
「Fable 5を利用できても、マージ率の変化はわずか1.4パーセントポイントであり、その変化は統計的に有意ではなかった[significant]。また、2026年に行われた8件のモデルアップグレードのうち5件を分析したところ、アップグレード後にマージ率は上昇していなかった[either]。」
「同様に、開発者が週あたりにマージできたプルリクエストの数も増えなかった。これらの結果は、現在のコーディングベンチマークでの成績向上が、実際に完了する作業の増加にはほとんど結び付かなかったことを示している。」
2026年に実施された5件のアップグレードについて、開発者1,208人と提案されたコード変更15,000件超を対象に調べた結果、提出されたコードがマージされる割合にも、週あたりに正常に完了する変更数にも、統計的に有意な改善は見られなかった。
論文は、GitHubでのマージが生産性を測る指標として完全ではないことを認めつつも、この禁止措置によって、世界的な関心を集める一方、企業の情報公開が可能な限り不透明な業界において、実際の業務環境でモデルを切り替える影響を評価する、きわめてまれな機会が得られたとしている。
こうした事例で実証的な基準を確立する難しさを認めたうえで、新たな研究†は次のように述べている。
「新しいモデルをいち早く使う人は経験豊富である可能性があるため、開発者間の生産性を比較しても、その違いがモデルによるものなのか、利用者によるものなのかは判別できない。同じ人々を観察したとしても、異なるモデルに同じタスクを割り当てているかどうかは分からない。」
「たとえば、難しいタスクにはFable 5を使い、簡単なタスクには下位モデルに切り替える人もいるでしょう。難しいタスクを最も高性能なモデルに割り当てると、そのモデルは、どのような指標を選んでも生産性が低く見える可能性があります。難しいタスクは完了までに時間がかかり、マージされる可能性も低いためです。」
また、この論文は、これまでの研究ではコード変更の大半が少数のプロジェクトから寄せられており、プロジェクトごとに貢献を受け入れるためのルールも異なっていたため、結果に偏りが生じていたと指摘しています。こうした違いにより、生産性の向上が実際に新しいモデルへのアップグレードによってもたらされたのかを明らかにすることが難しくなっていました。
方法
主実験††では、研究でFable 5のユーザーと特定された297人の開発者によるGitHubのプルリクエストを、モデルがリリースされた6月9日より前、3日間の利用可能期間、19日間の利用停止期間、そして7月1日のアクセス再開後という4つの期間に分けました。
マージ率を、旧モデルのOpus 4.8を使用していると特定された8,908人の開発者のマージ率と比較することで、利用停止に関連する変化をGitHub上の活動全体の変動と区別できるようにしました。
この比較では、利用停止がなければ、両グループのマージ率は同じように変化していたと仮定しました。マージ率の変化を両グループ間で比較し、統計分析では開発者ごとの違いと日々の変動を考慮しました。

ClaudeモデルのアップグレードとFable 5の利用停止のタイムライン。上段にはOpusとSonnetの8回のアップグレードを示し、塗りつぶされた丸印は、より広範な研究で調査した5回を表しています。下段には、利用停止期間がPRのマージ率に及ぼした影響を評価するために用いた4つの期間を示し、利用停止期間を基準期間としています。紫色の線はFable 5の利用可能期間または利用停止期間を示し、灰色の網掛けは利用停止期間を示しています。また、斜線部分は、アクセスの停止直後または再開直後のため分析対象から除外した日を表しています。 出典
データについては、GitHub Search APIを使い、説明文に自動的に含まれる「Generated with Claude Code」という通知を手掛かりに、Claude Codeで作成された公開GitHub PRを特定しました。コードのコミット履歴からモデル名もPRの説明文にコピーされている場合は、使用されたClaudeのバージョンを特定できました。
Fable 5の利用停止とその後のClaudeのアップグレード前後に提出されたPRを、2025年11月から2026年10月まで収集し、最新の提出分がマージされるまで少なくとも4週間の期間を設けました。
短期間の利用可能期間中にFable 5を使用した297人の開発者を主な研究グループに選び、Fable 5の使用記録がなくOpus 4.8を使用した8,908人の開発者を対照群としました。
生産性の主な指標は、提出されたコード変更のうち、7日以内にGitHubプロジェクトで受け入れられた割合とし、利用停止の前、期間中、後の各期間で、提出が受け入れられる割合を比較しました。追加の確認項目には、1時間以内にマージされたPR、マージされずにクローズされたPR、受け取ったコメント数、その後取り消された変更、GitHubの自動チェックでの失敗が含まれていました。
検証
Fable 5へのアクセス停止とその後の再開が開発者の生産性に及ぼした測定可能な影響はほとんどなく、新しいモデルへのアクセスによって、7日以内にマージされたPRの割合はわずか1.4パーセントポイント上昇したものの、その差は「統計的に有意ではない」と判断されました。

利用停止の前、期間中、後におけるFable 5の使用状況とPRのマージ率の比較。左:Fable 5を使って作成されたPRの割合。右:6月22~28日を基準とした7日以内のマージ率の変化。点は推定値、横線は95%信頼区間を示しています。網掛けの行はFable 5を利用できた期間を示しています。モデルの使用状況が大きく変化したにもかかわらず、マージ率にはほとんど変化が見られませんでした。
また、1,208人の開発者による15,000件を超えるコード提出を対象にClaudeの5回のモデルアップグレードを調べたところ、GitHubプロジェクトで受け入れられたコードの割合に改善は確認されませんでした。実際には、その割合は推定で0.9パーセントポイントとわずかに低下しました。
新しいモデルを使う開発者が週ごとに完了した、受け入れ済みの提出件数はわずか2.4%多かったことも分かった。この差は小さすぎて、信頼できる改善があったとは判断できない。ベンチマークのスコアが5~18ポイント上昇した場合でも、生産性の有意な向上は確認されなかった。
新しいモデルはGitHubの自動コードチェックでも性能が向上しておらず、失敗率はほぼ変わらないことが分かった。
論文では、次のように結論づけている。
「ベンチマークでのFable 5の向上が実際の業務における生産性の向上につながらなかった主な理由は、開発者がエージェントに与えるタスクが、すでに旧モデルで実行可能な範囲にあるためだと考えます。」
さらに、次のように続けている。
「私たちの調査結果は、先行研究が警告してきたことを、実際の業務に基づく証拠によって裏付けています。ベンチマークのスコアが、モデルを選ぶ人々にとって意味を持つのは、そのモデルが実際に使われる業務を測定しているという証拠がある場合に限られます[describe]。」
「規制当局や購入者がベンチマークの[score]によってモデルの性能向上を評価するなら、彼らが判断の根拠とする差は、ユーザーの生産性には表れない可能性が高いでしょう。」
結論
産業システムのビジネス面では、一貫性のある年次指標が長年、前提条件となってきた。しかし、AIの分野では、現場で実際に正確な形で再現することがとりわけ難しい。その理由の一つは、ベンチマークを定義する「テストデータ」が、次のモデルの訓練データに取り込まれるまでの速さにあり、そうなるとテストには使えなくなる。このことだけでも、企業のベンチマーク評価や一貫性のある科学的検証の従来の枠組みはほぼ成り立たなくなる。そうした検証では、研究者は、いまや意味を失っている可能性のある従来の指標を覆すことに頼っている。
実際、過去10年間、Computer Visionの研究論文で、ImageNetのような時代遅れの基準がいまだに使われているのを目にしてきたのは驚くべきことだ。その基準が非常に長い歴史を持つことだけが、使われ続けている理由である。
この論文の結果は、開発者を、利用可能で稼働中のシステムに柔軟に適応する、適応力の高い存在として、かなり好意的に描いている。最新のAIでも、その一つ前のAIでも、ほぼ同じ速度で作業を進められるという事実は、手元にあるツールにかかわらず、所要時間や締め切りに合わせて最適化していることを示している。
* 最近のHacker Newsのコメントで指摘されていたように、これはおそらくもはや当てはまらない。「自転車に乗るペリカン」のデータがすでに訓練データに含まれており、そのためテストが汚染されているからだ。
† タイトルは「スコアの高いコーディングモデルでも、作業量は増えなかった」。
††この研究ではほかに2つの問いも提示されているが、今回のテーマに特に関係があるとは思えず、主要な問いと比べても重要性が同程度とは言えないため、ここでは取り上げていない。詳しくは原文のPDFを参照されたい。
初出:2026年11月18日(水)












