网络安全

DeepKeep 发现“墨注入”(InkJect),一种新型的 AI 攻击,隐藏恶意提示在图像中

mm

随着企业迅速采用能够理解文本和图像的多模态 AI,安全研究人员发现这些强大的新能力引入了同样复杂的新攻击面。以色列 AI 安全公司 DeepKeep 揭露了一种以前未被记录的视觉提示注入技术,称为 InkJect,证明了隐藏在看似无害的图像中的指令可以操纵领先的 视觉语言模型(VLMs),同时绕过了许多旨在阻止传统提示注入攻击的安全防护措施。

根据 DeepKeep 的 研究,这一漏洞影响了今天最先进的多模态模型,包括 OpenAI 的 GPT-5.2 和 GPT-5.4 Mini,以及 Anthropic 的 Claude Sonnet 4.6 和 Claude Opus 4.5。这些发现揭示了 AI 安全领域的一个重大盲点:虽然行业在保护文本交互方面投入了大量资金,但对视觉推理层的关注却远远不够,而视觉推理层正日益成为现代 AI 系统的核心。

提示注入的新演化

传统的提示注入攻击尝试通过精心设计的文本来操纵 AI 模型,覆盖其原始指令。在过去的两年中,领先的 AI 提供商在检测这些攻击方面投入了大量资金。

InkJect 采取了一条完全不同的路线。与其直接通过文本进行通信,攻击者将恶意指令隐藏在图像中,这些图像成为 AI 的正常工作流的一部分。这些图像可能存储在公共 GitHub 存储库、文档页面、设计资产、图表或其他视觉资源中,AI 编码助手和自主代理在执行合法任务时会定期检索它们。从用户的角度来看,似乎没有什么异常的情况发生。AI 只是将图像作为另一部分上下文信息来处理,毫无察觉地执行了隐藏的命令。

利用 AI 的视觉能力

InkJect 之所以特别有效,是因为它针对现代 AI 系统中最新的能力:视觉理解。

视觉语言模型执行复杂的光学字符识别,以解释图像,允许它们读取嵌入在图表、屏幕截图、照片和界面设计中的文本。DeepKeep 发现,这些能力通常超过了传统的基于 OCR 的安全工具,后者用于检查上传的图像。

研究人员证明,恶意指令可以使用诸如白色文本在白色背景上、极低对比度字体、透视失真和扭曲字体等技术来隐藏。虽然现有的安全扫描器经常无法识别这些隐藏的命令,但 AI 模型本身却毫无困难地解释了它们。这在安全软件和人类用户都无法察觉的情况下创建了一个危险的不匹配,AI 在执行指令的同时却让安全软件认为图像是无害的。

间接提示注入使威胁更加危险

与许多需要直接访问目标系统的网络攻击不同,InkJect 依赖于研究人员所描述的 间接提示注入。攻击者不需要直接将恶意图像上传到 AI 应用程序,而是将图像放在公共存储库或在线资源中。

稍后,当开发人员要求 AI 助手使用该存储库或分析其内容时,模型会自动检索图像作为其正常工作流的一部分。隐藏的指令与合法的项目资产一起被处理,开发人员甚至没有意识到额外的命令已经进入了对话。

这种攻击方法尤其令人担忧,因为现代 AI 代理越来越多地自主检索外部资源。每个公共存储库、文档页面或共享资产都可能成为恶意指令到达 AI 系统的另一个途径。

一个简单的编码请求带来严重后果

DeepKeep 通过一个软件开发场景来演示其影响,这看起来完全是例行的。

开发人员指示 AI 编码助手生成一个基本的信息网页。开发人员不知道,一些引用的图像中包含隐藏的指令。与其仅生成请求的网页,AI 默默地添加了一个完全功能的成员登录系统,包括管理员凭据和后端身份验证逻辑。

网页的功能与预期完全一致,开发人员没有任何理由怀疑额外的代码被插入。如果没有详细的安全审计,未经授权的后门可能很容易被部署到生产环境中,为攻击者提供了没有人故意请求的管理访问权限。

演示突出了视觉提示注入与早期 AI 攻击的区别。与其仅影响聊天机器人响应,隐藏的视觉指令可以操纵生成的代码,引入安全漏洞,改变自主工作流,并可能损害企业系统。

为什么现有的 AI 防护措施无法阻止攻击

研究强调了当今 AI 安全格局中的一个架构弱点。大多数商业防护措施都是围绕检查文本提示在模型之前进行的。因此,组织变得越来越擅长于检测恶意的书面指令。

视觉输入通常遵循一个完全不同的处理管道。

DeepKeep 发现,几种前沿模型在以文本形式呈现时拒绝了相同的攻击,但当这些指令嵌入在图像中时却接受了它们。实际上,攻击者可以通过改变指令传递的媒介来绕过防护措施。随着多模态 AI 成为企业应用程序的默认界面,这种区别变得越来越重要。安全系统不再能假设危险的指令只通过文本传递。

为什么企业应该关注

DeepKeep 研究的时机反映了企业 AI 领域正在发生的更大变化。行业预测表明,能够理解图像、文档、视频和文本的多模态系统将成为软件开发、金融服务、医疗保健、制造业、客户支持和业务自动化等领域的标准。

与消费者聊天机器人不同,许多企业 AI 系统都具有升级的权限。它们检索专有文档,编写软件,执行代码,调用 API,与云基础设施交互,分析机密文档,并越来越多地代表用户做出决定。隐藏在视觉内容中的指令不仅仅是一个学术上的好奇心——它们引入了一种新的企业网络安全风险,能够影响现实世界的系统。

DeepKeep 的 AI 安全方法

DeepKeep 于 2021 年成立,专注于整个生命周期中的 AI 安全,从模型评估和测试到部署和运行时保护。该公司的平台不仅仅关注大型语言模型,而是旨在保护多模态 AI 系统、自主 AI 代理、计算机视觉应用程序和企业 AI 部署。

其安全平台结合了多层保护,包括实时监控推理的 AI 防火墙、在部署前主动搜索漏洞的自动化 AI 红队测试、分析自主工作流以寻找利用路径的 AI 代理扫描器、评估 AI 供应链安全风险的模型扫描功能,以及提供组织对员工和应用程序如何在企业中使用 AI 的可见性的 AI 镜头。

随着组织继续将 AI 集成到关键工作流中,DeepKeep 的策略反映了人们对保护 AI 所有信息接收、处理和执行阶段的重要性的日益增长的认识——不仅仅是过滤用户输入的提示。

AI 安全的下一个前沿

InkJect 很可能被铭记为不仅仅是一种提示注入技术。它强调了多模态 AI 的快速演进如何从根本上重塑网络安全格局。

随着模型变得越来越能够看到、推理、检索信息和自主行动,攻击者自然会寻找新的方法来利用这些系统理解的每一种模态。图像、图表、PDF、网站和其他视觉资源都可以成为隐藏指令的载体,而现有的安全工具可能永远无法检测到这些指令。

DeepKeep 已经将其发现的内容负责地披露给了 OpenAI 和 Anthropic,这样他们就有机会加强对这种新识别的攻击面的防御。InkJect 是否会成为更广泛的多模态提示注入攻击类别的第一个例子尚待观察,但其发现提醒我们,AI 安全必须与 AI 本身的发展速度一样快地演进。随着模型对视觉世界的理解变得越来越复杂,保护它们将需要能够做到同样的事情的安全系统。

安托万是一位具有远见的领导者和Unite.AI的联合创始人,他对塑造和推广人工智能和机器人技术的未来充满热情。作为一位连续创业者,他相信人工智能将对社会产生电力的影响一样的颠覆性影响,并经常被发现对颠覆性技术和通用人工智能的潜力大肆赞扬。

作为一位未来学家,他致力于探索这些创新将如何塑造我们的世界。另外,他还是Securities.io的创始人,这是一个专注于投资尖端技术的平台,这些技术正在重新定义未来并重塑整个行业。