报告
2025 年 AI 安全现状：思科报告的关键见解
随着越来越多的企业采用 AI，了解其安全风险变得比以往任何时候都更加重要。AI 正在重塑行业和工作流程，但同时也引入了新的安全挑战，组织必须解决这些挑战。保护 AI 系统对于维持信任、保障隐私和确保业务运营顺畅至关重要。本文总结了思科最近发布的《2025 年 AI 安全现状》报告的关键见解。它提供了当前 AI 安全状况的概述以及公司未来应考虑的内容。
AI 面临的日益增长的安全威胁
如果 2024 年教会我们任何东西，那就是 AI 的采用速度快于许多组织能够确保其安全。思科的报告指出，约 72% 的组织现在在其业务功能中使用 AI，但只有 13% 的组织感到完全准备好安全地最大化其潜力。这种采用和准备之间的差距主要是由安全问题驱动的，安全问题仍然是更广泛的企业 AI 使用的主要障碍。使这种情况更加令人担忧的是，AI 引入了传统网络安全方法无法完全处理的新类型的威胁。与保护固定系统的传统网络安全不同，AI 带来了动态和适应性的威胁，预测起来更加困难。报告强调了组织应该意识到的几种新出现的威胁：
- 基础设施攻击： AI 基础设施已经成为攻击者的主要目标。一个值得注意的例子是 NVIDIA 容器工具包的 漏洞，这允许攻击者访问文件系统、运行恶意代码和升级权限。同样，Ray，一种用于 GPU 管理的开源 AI 框架，在 一次真实世界的 AI 框架攻击 中被泄露。这些案例表明 AI 基础设施的弱点会影响许多用户和系统。
- 供应链风险： AI 供应链漏洞呈现出另一个重大问题。约 60% 的组织依赖开源 AI 组件或生态系统。这会带来风险，因为攻击者可以损害这些被广泛使用的工具。报告提到了一个名为 Sleepy Pickle 的技术，它允许对手即使在分发后也能篡改 AI 模型。这使得检测变得极其困难。
- AI 特定攻击： 新的攻击技术正在迅速演变。诸如提示注入、越狱和训练数据提取等方法允许攻击者绕过安全控制并访问训练数据集中的敏感信息。
针对 AI 系统的攻击向量
报告强调了恶意行为者用来利用 AI 系统弱点的攻击向量的出现。这些攻击可以在 AI 生命周期的各个阶段发生，从数据收集和模型训练到部署和推理。目标通常是使 AI 以意外的方式行事、泄露私人数据或执行有害操作。
在过去几年中，这些攻击方法变得更加先进，更加难以检测。报告强调了几种类型的攻击向量：
- 越狱： 这种技术涉及创建绕过模型安全措施的对抗性提示。尽管 AI 防御有所改进，但思科的研究表明，即使简单的越狱仍然对像 DeepSeek R1 这样的高级模型有效。
- 间接提示注入： 与直接攻击不同，这种攻击向量涉及间接地操纵输入数据或 AI 模型使用的上下文。攻击者可能提供受损的源材料，如恶意 PDF 或网页，导致 AI 生成意外或有害的输出。这些攻击尤其危险，因为它们不需要直接访问 AI 系统，从而允许攻击者绕过许多传统的防御措施。
- 训练数据提取和污染： 思科的研究人员证明了聊天机器人可以被欺骗以泄露其训练数据的一部分。这引发了人们对数据隐私、知识产权和合规性的严重担忧。攻击者还可以通过注入恶意输入来污染训练数据。令人惊讶的是，仅污染大型数据集（如 LAION-400M 或 COYO-700M）中的 0.01% 的数据，就足以影响模型的行为，而且这可以用很小的预算（约 60 美元）来完成，这使得这些攻击对许多恶意行为者来说都是可行的。
报告强调了这些攻击的当前状态的严重问题，研究人员对高级模型（如 DeepSeek R1 和 Llama 2）实现了 100% 的成功率。这揭示了这些模型使用所带来的关键安全漏洞和潜在风险。此外，报告确定了新的威胁的出现，例如专门针对多模态 AI 模型的 基于语音的越狱 攻击。
思科 AI 安全研究的发现
思科的研究团队已经评估了 AI 安全的各个方面，并揭示了几项关键发现：
- 算法越狱： 研究人员展示了即使顶级 AI 模型也可以被自动欺骗。使用一种称为 树攻击与剪枝 (TAP) 的方法，研究人员绕过了 GPT-4 和 Llama 2 的保护措施。
- 微调风险： 许多企业微调基础模型以提高特定领域的相关性。然而，研究人员发现，微调会削弱内部安全防护。微调后的版本比原始模型更容易受到越狱攻击，产生有害内容的可能性是原始模型的 22 倍。
- 训练数据提取： 思科的研究人员使用一种简单的分解方法欺骗聊天机器人重现新闻文章片段，从而使他们能够重建材料的来源。这对泄露敏感或专有数据构成了风险。
- 数据污染： 思科的团队展示了如何轻松且廉价地污染大规模的网络数据集。仅需花费约 60 美元，研究人员就能够污染像 LAION-400M 或 COYO-700M 这样的数据集的 0.01%。此外，他们强调，这种程度的污染足以在模型行为中引起明显的变化。
AI 在网络犯罪中的作用
AI 不仅仅是一个目标——它也正在成为网络犯罪者的工具。报告指出，自动化和 AI 驱动的社会工程使攻击更加有效，更加难以被发现。从钓鱼骗局到语音克隆，AI 帮助犯罪者创建令人信服和个性化的攻击。报告还确定了恶意 AI 工具的兴起，例如专门为帮助网络犯罪而设计的 DarkGPT，它可以生成钓鱼电子邮件或利用漏洞。使这些工具尤其令人担忧的是它们的可访问性。即使低技能的犯罪者现在也可以创建能够绕过传统防御的高度个性化的攻击。
保护 AI 的最佳实践
鉴于 AI 安全的动态性质，思科建议组织采取以下实用步骤：
- 在整个 AI 生命周期中管理风险： 确定和减少从数据来源、模型训练到部署和监控的每个阶段的风险至关重要。这还包括保护第三方组件、应用强大的防护措施和严格控制访问点。
- 使用成熟的网络安全实践： 虽然 AI 是独特的，但传统的网络安全最佳实践仍然至关重要。诸如访问控制、权限管理和数据丢失防护等技术可以发挥至关重要的作用。
- 关注易受攻击的区域： 组织应该关注最有可能被针对的区域，例如供应链和第三方 AI 应用程序。通过了解弱点所在的位置，企业可以实施更有针对性的防御措施。
- 教育和培训员工： 随着 AI 工具变得更加普遍，培训用户使用 负责任的 AI 和风险意识至关重要。一个知情的员工队伍有助于减少意外数据泄露和滥用。
展望未来
AI 的采用将继续增长，随之而来的是安全风险的演变。世界各地的政府和组织正在认识到这些挑战，并开始建立政策和法规来指导 AI 安全。正如思科的报告所强调的，AI 安全与进步之间的平衡将定义下一个 AI 发展和部署时代。那些将安全与创新并重的组织将最好地应对挑战并抓住新出现的机会。政府和组织正在制定政策和法规来指导 AI 安全。思科的报告强调了 AI 安全与进步之间的平衡将定义 AI 发展和部署的下一个时代。优先考虑安全和创新的组织将最好地应对挑战和抓住新出现的机会。
