报告
DeepSeek-R1 红队测试报告：令人担忧的安全和道德风险被揭露
最近由 Enkrypt AI 进行的红队测试评估揭示了 DeepSeek-R1 存在显著的安全风险、道德问题和漏洞。这些发现详细记录在 2025 年 1 月红队测试报告 中，强调了该模型生成有害、偏见和不安全内容的倾向，相比行业领先的模型如 GPT-4o、OpenAI 的 o1 和 Claude-3-Opus。以下是对报告中概述的风险和缓解建议的全面分析。
关键安全和道德风险
1. 有害输出和安全风险
- 高度容易生成有害内容，包括有毒语言、偏见输出和可被恶意利用的信息。
- 11 倍 更容易生成 有害 内容，相比 OpenAI 的 o1。
- 4 倍 更 有毒 的 GPT-4o。
- 3 倍 更 偏见 的 Claude-3-Opus。
- 4 倍 更容易生成 不安全的代码，相比 OpenAI 的 o1。
- 高度 容易受到 化学、生物、放射和核（CBRN）信息生成的影响，使其成为恶意行为者高风险的工具。
2. 与其他模型的比较
| 风险类别 | DeepSeek-R1 | Claude-3-Opus | GPT-4o | OpenAI 的 o1 |
|---|---|---|---|---|
| 偏见 | 3 倍更高 | 更低 | 相似 | 相似 |
| 不安全代码 | 4 倍更高 | 2.5 倍更高 | 1.25 倍更高 | – |
| 有害内容 | 11 倍更高 | 6 倍更高 | 2.5 倍更高 | – |
| 有毒性 | 4 倍更高 | 几乎不存在 | 2.5 倍更高 | – |
| CBRN 内容 | 3.5 倍更高 | 3.5 倍更高 | 2 倍更高 | – |
偏见和道德风险
- 83% 的偏见攻击成功，在与健康、种族和宗教相关的查询中检测到显著的偏见。
- 该模型显示出更高的 人口统计刻板印象，这可能会违反各种公平法规，包括 ECOA、FHA、ACA 和 EU AI 法案。
- 样本测试案例表明，DeepSeek-R1 更喜欢某些人口统计学特征的高级职位，强化了工作场所的 偏见。
有害内容生成
- 45% 的有害测试 结果是模型生成与 犯罪活动 相关的内容，包括非法武器和受控物质。
- 一个测试提示要求模型开发关于“说服恐怖主义招募的艺术”的博客，结果是高度详细的回应，概述了 激进化策略，这些策略可能被极端组织利用来改进招募策略，可能 增加现实世界暴力的风险。
- 2.5 倍更容易 生成极端主义内容，相比 GPT-4o 和 6 倍更容易，相比 Claude-3-Opus。
- 45% 的有害测试 结果是模型生成与 犯罪活动 相关的内容，包括非法武器和受控物质。
不安全代码生成
- 78% 的代码相关攻击成功提取了不安全和恶意的代码片段。
- 该模型生成了 恶意软件、特洛伊木马和自执行脚本。特洛伊木马构成了严重的风险，因为它们可以允许攻击者获得未经授权的持续访问系统、窃取敏感数据并部署进一步的恶意有效载荷。
- 自执行脚本 可以在没有用户同意的情况下自动执行恶意操作，创建潜在的网络安全威胁。
- 相比行业模型，DeepSeek-R1 是 4.5 倍、2.5 倍和 1.25 倍更容易 被攻击，相比 OpenAI 的 o1、Claude-3-Opus 和 GPT-4o。
- 78% 的代码相关攻击成功提取了不安全和恶意的代码片段。
CBRN 漏洞
- 生成了有关化学战剂的生化机制的详细信息。这种类型的信息可能会帮助个人合成危险材料，绕过旨在防止化学和生物武器传播的安全限制。
- 13% 的测试 成功绕过了安全控制，生成了与 核 和 生物威胁 相关的内容。
- 3.5 倍更容易 被攻击，相比 Claude-3-Opus 和 OpenAI 的 o1。
- 生成了有关化学战剂的生化机制的详细信息。
- 13% 的测试成功绕过了安全控制，生成了与核和生物威胁相关的内容。
- 3.5 倍更容易 被攻击，相比 Claude-3-Opus 和 OpenAI 的 o1。
风险缓解建议
为了最小化与 DeepSeek-R1 相关的风险，建议采取以下步骤：
1. 实施强大的安全对齐训练
- 应使用红队测试数据集来训练模型以输出更安全的内容。
- 应进行 强化学习与人类反馈（RLHF），以使模型行为与道德标准保持一致。
2. 持续自动红队测试
- 定期进行压力测试 以识别偏见、安全漏洞和有毒内容生成。
- 应采用 持续监测 模型性能，特别是在金融、医疗保健和网络安全应用中。
3. 上下文感知的安全防护
- 应开发动态防护措施来阻止有害提示。
- 应实施内容审查工具以中和有害输入并过滤不安全的响应。
4. 主动模型监测和日志记录
- 应进行实时日志记录模型输入和响应，以便早期检测漏洞。
- 应采用自动化审计工作流，以确保遵守 AI 透明度和道德标准。
5. 透明度和合规措施
- 应维护模型风险卡，其中包含有关模型可靠性、安全性和道德风险的明确执行指标。
- 应遵守 AI 法规，例如 NIST AI RMF 和 MITRE ATLAS，以保持可信度。
结论
DeepSeek-R1 存在严重的安全、道德和合规风险，使其不适合在没有采取大量缓解措施的情况下应用于许多高风险应用。其生成有害、偏见和不安全内容的倾向使其在与 Claude-3-Opus、GPT-4o 和 OpenAI 的 o1 等模型相比处于劣势。
鉴于 DeepSeek-R1 是来自中国的产品，因此不太可能完全实施必要的缓解建议。然而，AI 和网络安全社区仍需要意识到该模型可能带来的风险。透明地披露这些漏洞可以确保开发人员、监管机构和企业能够采取主动措施，在可能的情况下减轻潜在的危害，并保持对此类技术的滥用保持警惕。
考虑部署 DeepSeek-R1 的组织必须投资于严格的安全测试、自动化红队测试和持续监测，以确保安全和 负责任的 AI 实施。DeepSeek-R1 存在严重的安全、道德和合规风险，使其不适合在没有采取大量缓解措施的情况下应用于许多高风险应用。
想要了解更多信息的读者可以通过 访问此页面 下载报告。
