Eli Vovsha, Data Science Manager at Fortra

一个无法防止的提示注入攻击：是美好的愿望还是真正的担忧？

在这篇文章中，我想让读者参与一个思维实验。我将论证，在不太遥远的未来，一种特定的提示注入攻击将基本上不可防止。我的论点将更具推测性，而不是具体的，所以我并不试图说服你任何事情。相反，我邀请你探索这些想法。在开始之前，作为任何有说服力的作家一样，我想讨论一下国际象棋和国际象棋引擎。超人级国际象棋引擎和关于人类经验的断言国际象棋中一个更好的方面是，它缺乏在其他学科中的客观地度量玩家质量或实力的能力。用于此目的的ELO评分系统有其缺陷，但它提供了一个非常好的粗略估计，这个估计随着时间的推移而保持。2700或更高的评分通常被认为是世界级(世界前30名)。世界上最好的玩家刚刚低于2850。没有人类达到过2900的评分。 在90年代中期，我们看到第一个达到世界级水平的人工智能引擎（深蓝）。这一里程碑的实际意义是各级别的玩家都广泛采用引擎进行练习和分析。事实上，引擎的使用对于世界顶级玩家来说是必不可少的。然而，对于这些世界级引擎的几代人来说，审查他们推荐的动作（即输出）是至关重要的。甚至还创造了一个特殊的格式，称为“高级国际象棋”，在这种格式中，人类与引擎一起竞争，人类+机器的组合被认为比机器本身更优越。 大约20年后，深度学习和强化学习在国际象棋引擎中取得了关键进展，引擎达到了超人级水平（大约3200 ELO）。但是，一旦这个水平在2017年被突破，发生了两件非常令人惊讶的事情。第一件事是完全可以预料的；引擎成为99%所有位置的“真理”来源。在实践中，这意味着我们进入了“盲目信任”引擎的时代。现在，人类几乎不可能提出比引擎更好的动作。尽管“高级国际象棋”很有趣，但现在已经变得毫无意义；人类几乎不会对游戏做出任何贡献。但第二件事让大多数国际象棋玩家感到震惊。这些超人级神经（即深神经网络）引擎有时会以“浪漫”的风格玩游戏。换句话说，他们会做出动作，其价值只能在很多步之后才能被欣赏，远远超出了任何人类或世界级引擎的计算能力。它非常像引擎已经对某些位置发展出了“感觉”或“直觉”。除了这种直觉是人类无法理解或模仿的。 换句话说，超人级神经引擎可以做出超出人类认知地平线的动作。这是这里的关键点；问题不是可解释性的问题。相反，人类无法理解为什么引擎推荐一个动作，而不需要展开位置并观察结果很多步之后，即展开整个可能的游戏序列。因此，我们有一个不可逾越的能力差距。客观来说，最优的方法是接受引擎输出而不进行审查。我可以总结我的断言如下：国际象棋是超人级人工智能在某些领域有效地独立运行的存在证明。启用人工智能系统在没有人类审查的情况下做出决定将是部署此类系统的最优方式。由于我的断言可能显得很明显或不值得注意，所以我想强调几个细微差别。假设我们有一个在复杂、关键任务中表现出超人级水平的人工智能系统，并且具有具体、不可逆转的后果。我的主张有两个含义： 该系统将被部署在没有人类审查的情况下做出决定，尽管存在固有的风险 从监控此类系统中获得的见解不会阻止有害的决定；损害已经造成 系统输出审查和监控正是防御提示注入的最后两层防御。因此，我们的假设提示注入攻击可以通过针对适当的系统来绕过这些层。 这是我脑海中的一种非常现实的场景。特定领域的超人级人工智能系统不是AGI，大多数专家认为此类系统就在眼前。我们也不必假设决定是时间敏感的，只要任务足够复杂以使人类审查变得不可行就足够了。 当然，我们到目前为止只绕过了两层防御，幸运的是，已经开发了几层其他防御。为了解决其余问题，让我们深入探讨使提示注入难以防御的核心要素。什么是提示注入？提示注入是通过精心设计的输入来操纵大型语言模型（LLM），使LLM在不知不觉中执行攻击者的意图。它可以被视为人工智能的社会工程学。重要的是，它不是传统的软件漏洞。提示注入攻击利用了LLM的固有漏洞。由于LLM将系统提示和用户提示都作为文本序列来处理，因此它们无法内在地区分合法和有害的指令。因此，漏洞基本上是有意为之，而不是偶然为之。提示注入技术提示注入通常被认为是大型语言模型应用程序的第一个风险。有几个原因说明为什么会这样。最明显的因素是注入技术的多样性，这些技术已经被开发出来。粗略地将它们分为四类，最著名的技术包括： 基于语法的：使用特殊字符、表情符号或替代语言 间接的：使用外部来源（从站点获取）、编码（base 64）或多模式引用（图像中的文本） “让我们假装”：引入一种操纵性的风格，例如角色扮演、假设情景、情感诉求、道德框架和格式转换 暴力破解：明显地尝试通过蛮力、强化或负面提示来“强迫”模型指令 多样性本身就为应用程序开发人员带来了挑战，但这些攻击也在迅速演变。下面图表的左侧描述了2023年初的状态，而右侧反映了今天的攻击性质。LLM应用程序开发人员还必须考虑标准的可用性与安全性权衡。他们当然可以引入每一个适当的防御层和设计模式，但代价是什么？防御层会增加显著的延迟，并引入假阳性（FP）- 错误地将安全提示标记为恶意的提示，这两个因素都会对用户体验产生负面影响。因此，在实践中，某种程度的妥协是不可避免的，并且没有“银弹”解决方案。 然而，在这篇文章中，我并不是真正感兴趣于这种永无止境的猫鼠游戏。相反，我正在探索是否可以构造出一种原则上不可防御的攻击。从开发人员/防御者的角度来看，只有一个关键的洞察：在提示中分离指令和数据是解决提示注入风险的基本问题我们可以假设权衡不是一个因素，并且可以使用任何防御层或技术。在这个（强）的假设下，是否有可能构造出一种情景，在这种情景中，提示中的指令-数据分离基本上是不可能的？DNA类比一旦问题被以指令-数据分离的形式表述出来，我的最初想法就是使用生物学作为类比。 考虑一个细胞和一段DNA（称为基因）。基因通过转录和翻译提供构建蛋白质的指令。它还编码影响蛋白质结构和功能的信息。因此，基因同时决定了要构建什么以及如何构建它，或者我是这么认为的。然而，这是错误的，因为一个基因不会决定如何解释自己。在基因水平上，没有等同于指令执行的东西。“如何”完全外化到细胞机制中。 因此，即使我无法摆脱这样的感觉，即未来几代LLM（或更准确地说，它们演化而成的系统）将在更大程度上类似于生物机器，但所提出的类比仍然不起作用。我们不能用一个细胞代替LLM，用一个基因代替一个提示，然后对基因进行注入，这最终会导致“有缺陷”的蛋白质被构建。似乎更有成效的是坚持使用自然语言和需要语义解释的任务。剥去防御层不应该令人惊讶的是，多层防御策略被认为在阻止提示注入攻击方面更有效。下面的图像显示了最常见的防御层及其使用的技术。我们已经在上面讨论了最后两层（输出、监控），所以让我们关注前四层。 考虑输入层，假设对提示进行清理或验证将在检测间接攻击方面非常成功是合理的。然而，如果注入是直接的，并且如上所述，依赖于语义解释，那么清理可能是无关紧要的（没有什么可清理的），而验证默认是不可行的，因为计算必须完成以识别问题。 在检测层中，基本上没有限制可以构建的防护措施。事实上，你甚至可以使用一个专用的LLM进行注入检测。但是，同样，分类器或异常检测器很难在语义中巧妙隐藏的毒素中标记一个提示为可疑的。 模型层可以在任务范围狭窄且微调可行时非常有效。同样的论点可以应用于系统层，当工具的使用是可预测的时。然而，直观地讲，两者都不会对解释器的偏离提出警告。纸牌屋当我开始写这篇文章时，我的目的是大致描述一个“不可防御”的提示注入攻击。也许我最终采取了“非构造性”的方法，通过在现有的防御层中打孔。防御技术继续迅速演变，攻击面也在迅速扩大。这个游戏没有结束的迹象。然而，我也相信我们不会再玩这个游戏太久了。我猜测，未来成功的提示注入仍将在自然语言中进行，但人类无法理解的语言；我猜测它将由一个系统自动发现，或者是专门为此目的而构建的，或者可能是在处理相关任务（例如，在某个表示空间中搜索语义歧义）时偶然发现的。 承认我们正在失去控制并且觉得这是最合理的事情，总有一种令人不快的感觉。你可以把它看作是“直觉证明”，证明某些攻击是不可阻挡的。如果这让你感到不安，你会很高兴地知道GPT 5.2认为这个论点“并非具有争议或新颖性”，并建议我不要“过多地强调这个观点”，并将文章削减40%。