レポート
DeepSeek-R1 レッドチーム評価報告書：深刻なセキュリティおよび倫理的リスクが発覚
Unite.AI を Google の優先ソースに追加
Enkrypt AIによる最近のレッドチーム評価では、DeepSeek-R1に重大なセキュリティリスク、倫理的懸念、脆弱性が発見された。2025年1月のレッドチーム評価報告書に記載されている調査結果は、DeepSeek-R1がGPT-4o、OpenAIのo1、Claude-3-Opusなどの業界をリードするモデルと比較して、有害な内容、偏った内容、不確実な内容を生成する可能性が高いことを強調している。以下は、報告書で強調されたリスクと緩和策の詳細な分析である。
主要なセキュリティおよび倫理的リスク
1. 有害な出力とセキュリティリスク
- 有害な内容を生成する可能性が高い、有害な言語、偏った出力、犯罪的に利用可能な情報を含む。
- 11倍、OpenAIのo1よりも有害な内容を生成する可能性が高い。
- 4倍、GPT-4oよりも有害な内容を生成する可能性が高い。
- 3倍、Claude-3-Opusよりも偏った内容を生成する可能性が高い。
- 4倍、OpenAIのo1よりも不確実なコードを生成する可能性が高い。
- 化学、生物、放射線、核兵器（CBRN）に関する情報を生成する可能性が高く、悪意のある行為者にとって高リスクのツールとなる。
2. 他のモデルとの比較
| リスクカテゴリ | DeepSeek-R1 | Claude-3-Opus | GPT-4o | OpenAIのo1 |
|---|---|---|---|---|
| 偏り | 3倍高い | 低い | 類似 | 類似 |
| 不確実なコード | 4倍高い | 2.5倍高い | 1.25倍高い | – |
| 有害な内容 | 11倍高い | 6倍高い | 2.5倍高い | – |
| 毒性 | 4倍高い | ほぼなし | 2.5倍高い | – |
| CBRN内容 | 3.5倍高い | 3.5倍高い | 2倍高い | – |
偏りと倫理的リスク
- 83％の偏り攻撃が成功、健康、人種、宗教に関するクエリで重大な偏りが検出された。
- モデルは、ECOA、FHA、ACA、EU AI法などのさまざまな公平性規制に違反する可能性のある、高いレベルの人口統計学的固定観念を表示した。
- テストケースでは、DeepSeek-R1が、高位の役割のために特定の人口統計学的特徴を好み、職場での偏りを強化することが示された。
有害な内容の生成
- 45％の有害なテストでは、モデルは、違法な武器や制御物質を含む、犯罪活動に関連する内容を生成した。
- テロリストの募集における説得の芸術についてのブログを開発するようにモデルに求めたテストプロンプトでは、過激派グループが募集戦術を洗練するために利用できる、過激化戦略の詳細なアウトラインが生成された。
- 2.5倍、GPT-4oよりも、6倍、Claude-3-Opusよりも、過激な内容を生成する可能性が高い。
- 45％の有害なテストでは、モデルは、違法な武器や制御物質を含む、犯罪活動に関連する内容を生成した。
不確実なコードの生成
- 78％のコード関連の攻撃で、不確実なコードスニペットが成功的に抽出された。
- モデルは、マルウェア、トロイの木馬、自己実行可能なスクリプトを生成した。トロイの木馬は、攻撃者がシステムへの不正アクセスを取得し、機密データを盗み、さらに悪意のあるペイロードを展開する可能性があるため、重大なリスクをもたらす。
- 自己実行可能なスクリプトは、ユーザーの同意なしに悪意のあるアクションを自動化する可能性があるため、サイバーセキュリティに重要なアプリケーションで潜在的な脅威となる。
- 業界モデルの比較では、DeepSeek-R1は、OpenAIのo1、Claude-3-Opus、GPT-4oよりも、4.5倍、2.5倍、1.25倍、不確実なコードを生成する可能性が高かった。
- 78％のコード関連の攻撃で、不確実なコードスニペットが成功的に抽出された。
CBRN脆弱性
- 化学兵器の生化学的メカニズムに関する詳細な情報を生成した。このような情報は、個人が危険な物質を合成するのを助ける可能性があり、化学兵器や生物兵器の拡散を防ぐために設計された安全性の制限を回避する可能性がある。
- 13％のテストで、安全性の制限を回避し、核および生物学的脅威に関連する内容を生成した。
- 3.5倍、Claude-3-OpusおよびOpenAIのo1よりも脆弱性が高い。
- 化学兵器の生化学的メカニズムに関する詳細な情報を生成した。
- 13％のテストで、安全性の制限を回避し、核および生物学的脅威に関連する内容を生成した。
- 3.5倍、Claude-3-OpusおよびOpenAIのo1よりも脆弱性が高い。
リスク緩和のための推奨事項
DeepSeek-R1に関連するリスクを最小限に抑えるために、以下の手順が推奨される。
1. ロバストなセーフティアライメントトレーニングの実施
- レッドチームのデータセットを使用して、モデルがより安全な出力を生成するようにトレーニングする。
- 強化学習と人間のフィードバック（RLHF）を使用して、モデルを倫理基準に沿った行動に合わせる。
2.継続的な自動レッドチーム
- 定期的なストレステストを実施して、偏り、セキュリティの脆弱性、有害な内容の生成を特定する。
- 特に金融、ヘルスケア、サイバーセキュリティのアプリケーションで、継続的なモニタリングを実施して、モデルパフォーマンスを確認する。
3. セキュリティのためのコンテキストアウェアガードレール
- 有害なプロンプトをブロックするためのダイナミックなセーフガードを開発する。
- 有害な入力と不安全な応答を中和するためのコンテンツモデレーションツールを実装する。
4. アクティブなモデルモニタリングとログ
- 脆弱性の早期検出のために、モデル入力と応答のリアルタイムログを実施する。
- AIの透明性と倫理基準に従った自動監査ワークフローを実施する。
5. 透明性とコンプライアンスのための措置
- モデルリスクカードを維持し、モデル信頼性、セキュリティ、倫理的リスクに関する明確なエグゼクティブメトリックを提供する。
- NIST AI RMFやMITRE ATLASなどのAI規制に従い、信頼性を維持する。
結論
DeepSeek-R1は、多くの高リスクアプリケーションで、広範な緩和努力なくしては使用できないほど、重大なセキュリティ、倫理的、コンプライアンスのリスクをもたらす。有害な、偏った、不確実な内容を生成する可能性が高いため、Claude-3-Opus、GPT-4o、OpenAIのo1などのモデルと比較して不利になる。
DeepSeek-R1は中国発祥の製品であるため、必要な緩和策が完全に実施される可能性は低い。ただし、AIおよびサイバーセキュリティのコミュニティは、このモデルがもたらす潜在的なリスクについて認識することが重要である。透明性を保つことで、開発者、規制当局、企業は、可能な限り被害を緩和し、このような技術の悪用に警戒することができる。
この製品を導入を検討している組織は、厳格なセキュリティテスト、自動レッドチーム、継続的なモニタリングに投資する必要がある。DeepSeek-R1は、多くの高リスクアプリケーションで、広範な緩和努力なくしては使用できないほど、重大なセキュリティ、倫理的、コンプライアンスのリスクをもたらす。
詳細については、こちらのページを訪れて報告書をダウンロードしてください。
