即将到来的多模态攻击浪潮：当 AI 工具成为新的攻击面时

随着大型语言模型（LLMs）演变为可以处理文本、图像、语音和代码的多模态系统，它们也成为外部工具和连接器的强大编排者。这种演变带来了一个扩大的攻击面，组织需要注意这一点。

一个典型的例子是社会工程攻击，代理可能会成为受害者，因为它们被训练成像人类一样行事，并且它们的怀疑精神甚至更少。例如，一个代理不太可能能够区分伪造的电子邮件和合法的零售商的电子邮件。

多模态和工具访问的融合将 AI 从助手转变为攻击媒介。攻击者现在可以使用简单的文本提示触发工具误用、执行未经授权的操作或通过合法渠道泄露敏感数据。由于这些功能是为可访问性而设计的，而不是防御，即使低技能的对手也可以利用 AI 系统执行复杂的操作，而无需编写一行代码。

多模态 AI 如何成为攻击链

LLMs 正变得越来越像外部系统的编排者，今天的集成包括从 API 到电子邮件、云存储和代码执行工具等一切。这些连接器通常是为可访问性而构建的，而不是防御。

这带来的弊端是，它可能导致新的攻击浪潮。

一种攻击是提示驱动的工具误用。例如，攻击者可以使用带有提示注入指令的图像，并将其插入电子邮件中。需要使用光学字符识别（OCR）工具来从图像中提取文本。代理被指示回复电子邮件并附上目标的 Google 地图，从而使受害者的位置被泄露。

另一种机制是跨模态防护栏规避。这与工具的入口和出口点之间的防护栏有关。例如，分析 OCR 提取器的输出，可能没有足够强大的防护栏来防止从其输出中发现的提示注入。

还有一些结构上的弱点可以被利用。一个问题是模型和外部工具之间的松散、过于宽松的绑定，这意味着简单的自然语言提示可以触发真实的操作，如运行代码、访问文件或与电子邮件交互。此外，许多这些系统缺乏严格的访问控制，因此 AI 可能具有写入、删除或修改数据的能力，远远超过人类的授权。问题变得更加严重，当你查看连接器和 MCP 风格的扩展时，它们通常带有几乎没有防护栏；一旦附加，它们就扩大了 AI 对个人存储、收件箱和云平台的访问权限，几乎没有任何监督。这些结构上的弱点共同创造了一个环境，在这个环境中，经典的安全问题——数据泄露、沙盒逃逸，甚至内存中毒——都可以通过巧妙设计的提示触发。

新出现的威胁：接下来会发生什么

在这种新常态下，AI 启用的电子邮件和社会工程攻击即将到来。由于攻击者使用 LLMs，钓鱼量将增加；电子邮件提供商如 Google 的正常垃圾邮件过滤器将被绕过。连接到收件箱的 AI 代理增加了钓鱼攻击成功的概率。可能会出现基于电子邮件的威胁，因为用户将代理连接到 Gmail 或 Outlook。

攻击者可以指示 AI 运行整个垃圾邮件或鱼叉式钓鱼活动。在这种情况下，

AI 到 AI 的钓鱼攻击成为可能。

多模态系统越来越多地提供代码执行功能。逃脱路径使攻击者能够突破底层基础设施。沙盒逃逸代表了对供应商来说最大的声誉噩梦。

长期内存中毒和延迟触发器代表了进一步的威胁。持久内存允许隐藏的有效载荷在未来提示时激活。跨模态触发器（例如图像或文本片段）可以触发定时炸弹行为。

为什么多模态攻击如此容易且危险

AI 已经使攻击能力民主化。用户不再需要编码或恶意软件开发技能；自然语言成为恶意软件创建或数据泄露的接口。这意味着即使非技术人员也可以通过提示生成恶意软件或运行活动。

AI 也可以加速和扩大有害操作。多模态代理可以自动执行曾经需要专家努力的工作。代码、电子邮件、研究和侦察可以瞬间产生。

用户过度信任和无意中暴露也促成了 AI 的危害潜力。用户通常不了解 AI 可以访问什么，且默认设置越来越多地自动启用 AI 集成。许多人不知道他们已经授予了 AI 过多的电子邮件或文档访问权限。

多模态安全的原则和控制

组织必须采取措施防止多模态攻击。安全团队需要限制工具访问。应使用选择加入的控制来替换自动启用的集成。他们还应将最小权限访问应用于所有 AI 连接的系统，并删除写入/删除访问权限。这应该包括跨源规则和域白名单（基础设施白名单，而不是 LLM 级别的白名单）。

另一个关键步骤是为工具调用建立明确的防护栏。用结构化、类型化的命令验证替换自然语言触发器。防护栏应同时作为输入和输出的检查点。

其他重要的原则和控制包括：

• 强制执行敏感操作的强烈批准工作流程。
• 避免将用户数据存储在持久模型内存中。应用自动内存清理和来源检查。
• 加强和隔离代码执行环境。
• 监控可疑行为和逃逸尝试。
• 加强用户教育和透明度。
• 在代理执行风险任务时添加更多用户确认。
• 明确指出 AI 工具何时访问电子邮件、文件或云资源。
• 警告用户有关高风险连接器。

如何成功抵御多模态攻击

AI 技术已经迅速演变为业务运营的代理，自然语言本身成为一种攻击形式。多模态和工具访问的融合扩大了攻击面，将 AI 从助手转变为攻击媒介。多模态攻击利用 LLMs 和外部系统之间的松散集成，例如 API、文件存储和自动化平台。随着威胁的演变，组织必须采用明确考虑多模态攻击路径的策略。使用上述最佳实践加强防御对于防止 AI 工具无意中成为攻击者的攻击链中的一个环节至关重要。

因此，组织必须采取措施防止多模态攻击。安全团队需要限制工具访问。应使用选择加入的控制来替换自动启用的集成。他们还应将最小权限访问应用于所有 AI 连接的系统，并删除写入/删除访问权限。这样，组织就可以保护自己免受多模态攻击，并确保 AI 工具不会被用作攻击媒介。