Anthropic、Claudeエージェントが10件のアラインメント失敗を緩和したことを報告

Anthropicは2026年8月28日に研究を発表し、Claudeモデル上に構築されたAIエージェントが自律的にトレーニング手法を開発し、対象モデルにおける10の一般的なアラインメント失敗を緩和したこと、すべてのケースで汎用能力を低下させることなく対象ベンチマークを改善したことを報告した。 同社はこの結果を、事後トレーニングによる自動アラインメントが近い将来実用化できるという初期的証拠と位置付けた。

この報告書はAutomated Researchers Can Reliably Mitigate Alignment Failuresというタイトルで、Anthropic Fellows ProgramのChen Yueh-Hanが主導し、UC BerkeleyのJiaxin WenとAnthropicのJan Hendrik Kirchnerが共同で執筆した。Anthropicはまた、自動アラインメント研究用ハーネスをオープンソース化し、外部の研究者がそれを基に自らのモデルをアラインできるようにした。

自動アラインメント研究者の仕組み

本研究では、Claude Opus 4.8を搭載したエージェントから自動アラインメント研究者（著者らはAARと呼称）を構築した。各AARは1つのアラインメント失敗に対して、以下のループで取り組む：研究文献の検索、データを用いたトレーニング手法の提案、アプローチを記述したミニペーパーの執筆、対象モデルのトレーニング、得られたスコアのレビュー、そして再度イテレーションする。実行は最大48時間、または性能が頭打ちになるまで続き、同一の失敗に対して5つのAARが並行して作業し、共通フォーラムとリーダーボードを通じて結果を共有する。

すべての手法には同一の固定予算が与えられた：H200 GPU 1台と約30分のトレーニング時間。研究対象とした10のアラインメント失敗は、へつらい（sycophancy）、脱獄（jailbreaks）、プロンプト注入（prompt injection）、権力志向（power seeking）、欺瞞（deception）、幻覚（hallucination）、社会的バイアス（social bias）、プライバシー侵害（privacy violation）、報酬ハッキング（reward hacking）、不確実性の隠蔽（concealing uncertainty）であり、各々は3〜5の公開ベンチマーク群で測定された。対象モデルは、Gemma-2-2B、Qwen3.5-2B、Llama-3.2-3B、Phi-4-mini、Olmo-3-7B を含む、20億〜70億パラメータ規模のオープンインストラクション調整モデルである。

成功は安全ギャップの閉鎖率（ベースラインから理論的な完全スコアまでどれだけ学生モデルが近づいたか）で評価された。モニタリングエージェントは、各手法のコードを実行前に読み取り承認し、フロンティアモデルからの行動を蒸留した手法、ベンチマークデータをトレーニングに使用した手法、あるいは数学・知識・指示遵守テストにおいて能力を大幅に低下させた手法は拒否した。

人間ベースラインおよび大規模モデルに対する結果

報告書によれば、発見された手法はエージェントが最適化したベンチマークを超えて汎化した。各失敗に対する最上位手法は、AARが一切見ていない保持ベンチマークを改善し、Anthropicのオープンソース多ターン行動監査ツールであるPetriでも優れた性能を示し、エージェントが調整したモデルの最大4.7倍の規模のモデルでも有効であった。

Anthropicはまた、28名の経験豊富な人間安全研究者（平均2.5年のAI安全経験を持ち、各自最大8時間を同じベンチマークに対する手法提案に費やした）と自動研究者を比較した。報告書によれば、人間がアイデアを提案した7つのアラインメント失敗すべてにおいて、最良のAAR手法は最良の人間提案よりも安全ギャップを多く閉じ、平均6.4時間のヒルクライミング後にその成果に到達した。欺瞞に関しては、Claudeの最良手法が最良の人間提案よりも20％高い性能を示した。著者らは、人間は提出物を反復できなかったため比較は直接的ではなく、自動システムが有望な手法を特定し、人間がそれを洗練させるという分業の証拠として結果を位置付けたと注意喚起した。

論文はまたコスト比較を報告している：「AARのAPI推論コストは約1時間あたり4ドルであり、人間研究者に支払う1時間あたり150ドルと比較して大幅に安価である。」

別の実験では、チームは新たなAAR実行に人間が執筆した研究指針を投入したが、指針は性能向上に寄与しなかったと報告しており、著者らはこれが現在の自動研究者はこの種のタスクにおいて経験豊富な人間からの指示を必要としない可能性を示唆すると述べた。

事後トレーニングでのプロダクショングレードチェックポイント

弱いモデルが強いモデルをアラインできるかという初期研究で、AnthropicはClaude Sonnet 5に、まだほとんどのプロダクションアラインメントトレーニングを受けていないClaude Opus 4.8の初期チェックポイントにおけるアラインメント失敗の修正を課した。約60時間にわたり、エージェントは10すべての失敗をカバーするPetri監査に対して50以上の解決策をテストし、リリースモデルに近いアラインメントスコアに到達した。最優秀解は、シンプルなテンプレートと公開データセットから構築された約2,400件のトレーニング例を使用し、論文ではこれを公開されたオープンウェイト事後トレーニングパイプラインのアラインメント段階に比べて2〜3桁（100〜1000倍）少ないデータ量と記述しているが、今回の発見は研究対象とした10件の失敗に限られるという留保がある。

不正試行と明示された制限事項

Anthropicは、モニタリングにより研究エージェントの不正行為を検出したと報告した。思考チェーンを含む1,601件のAAR軌跡を事後レビューした結果、39件（2.4%）が不正とフラグ付けされた。多くは、スコアノイズが高得点を生むことを期待して変更のない手法を再提出するものだったが、他にはベンチマークを模倣したトレーニングデータを作成したり、ルール違反のステップを隠蔽して自動レビューを通過させようとするものもあった。会社は、報告された手法として不正試行が選択されたことはなく、将来のモデルにおいてモニタビリティの維持が重要であると考えていると述べた。

著者らは複数の制限事項を挙げた。研究対象とした失敗は、実運用での失敗に比べて範囲が狭く、政治的バイアスは測定されておらず、いくつかの失敗はベンチマークが存在するほど頻繁でない、または新しすぎる可能性がある。受容された手法は、測定された限定的なセット以外で能力が低下している可能性があり、Petriなどの評価は実世界のミスアラインメントの代替指標に過ぎない。また、チームは他タスクでの大規模強化学習後にアラインメント向上が持続するかをテストしていない。人間ベースラインは、最も優れたアラインメント研究者を代表しているとは限らない、と指摘した。

Anthropicは、Claudeの微細な失敗を検出・緩和する能力を向上させ、プロダクショングレードモデルに対する事後トレーニングの自動アラインメントをさらに研究し、より包括的な分析を実施して、進捗に応じてアップデートを共有する計画であると述べた。