Amanda Rousseau 是 Straiker 的首席 AI 安全研究员，也是一位资深恶意软件逆向工程师，之前曾在 Facebook 的红队和 Microsoft 的攻击性研究与安全工程（MORSE）团队任职，此前还曾在 Endgame、FireEye 和美国国防部网络犯罪中心担任过职务。
随着大型语言模型（LLMs）演变为可以处理文本、图像、语音和代码的多模态系统，它们也成为外部工具和连接器的强大编排者。这种演变带来了一个扩大的攻击面，组织需要注意这一点。一个典型的例子是社会工程攻击，代理可能会成为受害者，因为它们被训练成像人类一样行事，并且它们的怀疑精神甚至更少。例如，一个代理不太可能能够区分伪造的电子邮件和合法的零售商的电子邮件。多模态和工具访问的融合将 AI 从助手转变为攻击媒介。攻击者现在可以使用简单的文本提示触发工具误用、执行未经授权的操作或通过合法渠道泄露敏感数据。由于这些功能是为可访问性而设计的，而不是防御，即使低技能的对手也可以利用 AI 系统执行复杂的操作，而无需编写一行代码。多模态 AI 如何成为攻击链LLMs 正变得越来越像外部系统的编排者，今天的集成包括从 API 到电子邮件、云存储和代码执行工具等一切。这些连接器通常是为可访问性而构建的，而不是防御。这带来的弊端是，它可能导致新的攻击浪潮。一种攻击是提示驱动的工具误用。例如，攻击者可以使用带有提示注入指令的图像，并将其插入电子邮件中。需要使用光学字符识别（OCR）工具来从图像中提取文本。代理被指示回复电子邮件并附上目标的 Google 地图，从而使受害者的位置被泄露。另一种机制是跨模态防护栏规避。这与工具的入口和出口点之间的防护栏有关。例如，分析 OCR 提取器的输出，可能没有足够强大的防护栏来防止从其输出中发现的提示注入。还有一些结构上的弱点可以被利用。一个问题是模型和外部工具之间的松散、过于宽松的绑定，这意味着简单的自然语言提示可以触发真实的操作，如运行代码、访问文件或与电子邮件交互。此外，许多这些系统缺乏严格的访问控制，因此 AI 可能具有写入、删除或修改数据的能力，远远超过人类的授权。问题变得更加严重，当你查看连接器和 MCP 风格的扩展时，它们通常带有几乎没有防护栏；一旦附加，它们就扩大了 AI 对个人存储、收件箱和云平台的访问权限，几乎没有任何监督。这些结构上的弱点共同创造了一个环境，在这个环境中，经典的安全问题——数据泄露、沙盒逃逸，甚至内存中毒——都可以通过巧妙设计的提示触发。新出现的威胁：接下来会发生什么在这种新常态下，AI 启用的电子邮件和社会工程攻击即将到来。由于攻击者使用 LLMs，钓鱼量将增加；电子邮件提供商如 Google 的正常垃圾邮件过滤器将被绕过。连接到收件箱的 AI 代理增加了钓鱼攻击成功的概率。可能会出现基于电子邮件的威胁，因为用户将代理连接到...
