Anthropic、より信頼性の高いAI安全性評価に関する指針を公開

Anthropicは2026年11月13日、より信頼性の高いAI安全性評価に関する推奨事項を公開し、単一ターンのAPIテストでは、直近のすべてのモデルで無害な応答の総合率が94%から98%に達したと報告しました。こうしたテストは上限に達しており、主に既知の失敗パターンを確認する回帰テストとして役立ちます。一方、複数ターンの評価では、より多様な状況を扱い、会話全体を通じた段階的な変化を捉えることができます。

安全性評価では、モデルが危害を引き起こしたり、危害に加担したりする傾向を測定します。具体的な能力を測るのではなく、モデルの応答によって危害が生じる可能性が高まるのか低くなるのか、また、危害がどの程度深刻になり得るのかを評価します。中心的な課題の一つは構成概念妥当性、つまり、テストが測定しようとする概念を実際に捉えているかどうかです。自殺や自傷に関する会話では、応答拒否率が誤解を招くことがあります。単に応答を拒むこと自体が失敗となる場合があるためです。望ましい応答は、ユーザーを支え、人間の助けを求めるよう促すものです。Anthropicの複数ターン評価では、会話全体を通じた適切な応答率を測定します。リスクごとに定めた評価基準を用い、1回でも不適切な応答があれば会話全体を不合格とします。

複数ターンテストと実環境への対応

こうしたテストを構築する際、対象分野の専門家が、シミュレーション上のユーザーの目的、手法、ペルソナ、状況、口調、会話スタイルを定めた仕様書を作成します。最初のユーザー発話は固定し、その後の発話は別のClaudeモデルが、評価対象のモデルの応答に応じて生成します。各シナリオは、特性の異なる組み合わせを用いて繰り返し実施され、採点モデルが会話記録全体を該当するリスク評価基準に照らして採点します。

各要素を独立して変化させると、どの要素がモデルの振る舞いを左右しているのかを特定しやすくなります。たとえば、深刻なケースがすべて緊迫した口調で提示されると、深刻度と口調それぞれの影響を切り分けられません。またAnthropicは、作り上げた状況だけに頼るのではなく、実際に観察された行動、公開データ、レッドチーム演習の会話記録、インシデント報告、専門家へのインタビューを基に評価を構築することも推奨しています。同社の単一ターン評価スイートは、複数の製品環境において7言語で16のポリシー領域を対象としており、評価環境はテスト対象の導入環境に合わせられています。

テストの実施には、封じ込め措置も必要です。サイバー分野の評価について、指針は、インターネットに接続できないサンドボックスとリアルタイム監視を求めています。これにより、モデルの行動が現実世界に危害をもたらすおそれがある場合に、テストを停止できます。

採点モデルの検証と統計上の限界

自動採点モデルには、システムが故障しても一見もっともらしいスコアを出し続けるという、別の測定上のリスクがあります。推奨される対策には、個別に判定できる「はい・いいえ」の基準、免責事項や判定が難しいケースの明確な扱い、目立つ形での障害アラート、応答の長さ・提示位置・自己選好によるバイアスの確認が含まれます。人間のレビュアーが会話記録の一部を独立してラベル付けし、採点モデルと専門家の一致度を、専門家同士の一致度と比較することも必要です。

この人間による基準が、必要な対処を判断する手がかりになります。専門家同士の判断は一致しているのに採点モデルの判断が一致しない場合は、評価基準または採点モデルの改善が必要です。一方、専門家同士の判断が食い違う場合、評価対象を測るための安定した正解が存在しない可能性があります。この指針はさらに、結果を見る前に、指標、比較方法、改善のしきい値を事前登録するよう求めています。

こうした判断の基盤となるのがサンプル数です。Anthropicは、複雑な複数ターン評価では最低100件、より単純な単一ターンテストでは最低1,000件を用い、ばらつきが大きく非決定的な出力を考慮するために、テストを繰り返し実施しています。Anthropicによると、複数ターンのAPI評価では信頼区間が±10パーセントポイントを超えることがあります。claude.aiで実施した複数ターンのロマンス詐欺評価では、Claude Opus 5とOpus 5.5の適切な応答率はそれぞれ98%と94%でしたが、この差は統計的に有意ではありませんでした。この例は、数値の差だけでは、どちらのモデルがより安全に振る舞ったかを判断できない理由を示しています。

導入環境の設定と報告

導入時の設定も、記録すべき変数の一つです。Claude Fable 5.1の検証中、Anthropicは、自傷を控えるよう促し、人間の支援につなげる応答であっても、自傷を対処法として暗に肯定するものが一部にあることを確認しました。同社によると、対象を絞ったシステムプロンプトによる緩和策を適用して評価を再実施したところ、適切な応答率はclaude.aiで94%、APIで60%となりました。この比較は、設定の異なる環境のスコアを同等のものとして扱えない理由を示しています。

報告に関する推奨事項は、モデルのバージョン、サンプリング設定、プロンプト、採点モデルのバージョンと評価日にも及びます。また、リリース前に一度だけ確認するのではなく、ファインチューニング中も継続的に評価することが求められます。導入済みシステムに重大な欠陥が見つかった場合は、開発者に先に開示し、結果を公表する前に修正する時間を確保すべきです。

Anthropicが最優先事項として挙げるのは、データ収集前に測定対象の概念を定義すること、人間の判断に照らして採点モデルを検証すること、そして不確実性を報告することの3点です。より広い意味では、あるモデルが別のモデルより安全だという主張は、見出しとなるスコアだけでなく、テストの設計、導入環境、統計的検出力にも左右されます。