AI 智能体能记住规则，却仍会在压缩后违反规则

上下文压缩是指将与 AI 聊天机器人进行的一系列复杂交流提炼成摘要，之后的互动不再以完整对话历史为依据，而是基于这份摘要继续进行。从内存使用的角度看，这就像是“重新开始”，也是应对 AI 对话中上下文窗口限制的一种解决方案。

这种方法最初应用于智能体式 AI，后来也扩展到了Claude；而 Gemini 的上下文压缩尚未从开发者讨论阶段走向实际应用，ChatGPT 则不采用上下文压缩，而是选择直接结束聊天。

如果你一次使用 Codex（本质上是一个在获得权限后能够实际更改你电脑内容的 ChatGPT 版本）超过 30 分钟，就会看到它不时提示正在压缩上下文；在此期间，你无法继续与它互动：

Codex 暂停片刻，压缩它对一场已持续三周的会话的记忆。

不过，压缩完成后，与你交谈的对象依靠的是你看不到的、有选择性的笔记，而非对聊天发展过程的完整记忆。

AI 违规者

今年 6 月，中国论文《治理衰退》证实，上下文压缩可能会悄然从智能体的上下文中移除长期有效的规则，导致它执行此前禁止的操作：

摘自 2026 年 6 月关于《治理衰退》的论文：上下文压缩如何导致 AI 智能体违反它此前一直遵守的规则。如果压缩后的摘要未包含这条规则，智能体之后可能会执行被禁止的操作。攻击者可以利用这一过程，而恢复这条规则则可以避免违规。 来源

在七种模型中，违规率从压缩前的 0% 上升到压缩后的 30%，某些情况下甚至达到 59%。实际而言，这意味着智能体可能会无视重要指令，例如不要联系任何没有 [our-company] 电子邮件地址的人——其潜在后果显而易见。

7 月，宾夕法尼亚州立大学和 IBM 在此研究基础上发表了《迷失于上下文》，发现上下文压缩可能会丢弃规定 AI 应如何执行任务的指令，却保留任务本身。在三种设置下进行的测试中，压缩器平均只保留了 17% 的这类指令。

8 月，一个美国学术合作团队提出了 TRACE，指出即使智能体仍能找回所需信息，上下文压缩也可能扰乱其执行。在测试中，智能体会忘记自己在任务中的进度、重复已完成的工作，并且在多次运行中的可靠性下降。

ARCBench

本月，来自荷兰的一项研究带来了新的见解：ARCBench研究发现，智能体经过上下文压缩后可能仍保留了规则，但违反规则的可能性仍会大幅增加。在规则确实保留下来的测试中，与保留完整对话历史相比，压缩后发生违规的频率是前者的 2.6 倍：

摘自这篇新论文：一个概念框架图，展示上下文压缩如何影响智能体遵守操作规则的情况。如果规则在压缩后仍然保留，智能体可能会拒绝之后提出的同一请求；如果规则被遗漏，它则可能照做。外部文档能够影响哪些信息会被保留。出于排版需要，此图由源论文中的纵向原图调整而来。来源

这项研究区分了两种情况：规则在压缩过程中丢失，以及规则得以保留、但随后遭到违反。由此，研究人员得以首次分别衡量遗忘和不服从所产生的影响。

在使用 DeepSeek-V4-Flash、GLM-5.3-Flash、Qwen3.7-Flash 和 GPT-Luna 进行的测试中，70.1% 的压缩运行保留了完整规则。在规则得以保留的运行中，与完整对话历史相比，违规发生的频率高出 2.6 倍。

传统意义上的上下文确实是一个影响因素：在上下文完整时，以组织政策形式提出的规则没有引发任何违规；但经过压缩后，违规率升至 30.6% 和 22.2%。

现有最强的防御措施能在 99% 的摘要中保留规则，但仍未能让违规率恢复到攻击发生前的水平。这表明，在压缩过程中成功保留规则，并不一定意味着智能体仍有能力——或意愿——遵守规则。

论文指出：

“[We]研究发现，压缩导致违规增加，主要原因并非规则被删除：在规则仍然保留的压缩运行中，违规发生率仍是保留完整历史记录时的 2.6 倍。

“此外，压缩会改变智能体违规时的推理过程。不同的压缩策略、严格的压缩预算限制以及规则的传达渠道，都会影响合规情况。”

作为补救措施，论文建议加强对压缩过程中丢失规则的保留，但智能体不遵守仍被保留的规则这一问题依然没有解决。”

“防御措施能够恢复规则，但在攻击下，合规性仍会减弱。因此，规则保留情况并不足以作为衡量合规性的替代指标。未来研究可以利用 ARCBench 解释智能体为何仍会违反已保留的规则，测试自适应攻击与防御，并涵盖更多模型、领域，以及更长且经过多次压缩的会话。”

方法

ARCBench 扩展了开源工具框架 pi 的功能。该框架拥有原生的压缩流程，以及智能体循环、工具调用和原生压缩功能。该基准会重现这样的情境：智能体在一项长期任务中持续遵守一条规则，随后累积的历史记录被压缩，接着智能体收到一项会违反该规则的请求；研究人员再通过其工具调用检查智能体的行为：

ARCBench 评估流程。先向智能体提供任务和操作规则，再按照不同配置应用攻击与防御，对其历史记录进行压缩。随后检查智能体的工具调用行为，以确定规则是否得到保留，以及是否得到遵守。

ARCBench 包含 17 个案例，涵盖泄露受保护数据、访问受限资源、未经授权的操作，以及绕过或省略必要控制措施等情形，对应于 OWASP 风险类别。

这些案例改编自 Governance Decay 和 COMPINT，另增四个案例，以确保个人规则和组织规则分别都涵盖全部四种违规类型。

该基准可从五个方面进行配置：规则的传达方式、上下文的压缩方法、可用于压缩的词元预算、攻击类型，以及所采用的防御措施：

ARCBench 提供五个变量，用于测试在不同的上下文压缩方式、规则传达方式、攻击和防御下，规则遵守情况会如何变化。

规则可以作为直接指令或持久指令提供，可以嵌入文档中，也可以通过政策工具检索。

数据与测试

研究评估了 10 种压缩方法，包括 7 种生成式策略和 3 种选择式方法。每个案例都重复运行多次；如果智能体至少有一次违反规则，就记录为失败。研究人员认为，相较于对多次运行的表现取平均值，这种做法更适合安全测试，因为智能体即使只是偶尔执行被禁止的操作，仍然是不安全的。

随后，研究人员使用 GPT-6-Luna-Pro、Qwen-3.8-flash 和 Claude-Sonnet-4.6 检查压缩后的历史记录，并将每条规则归类为完整保留、弱化或缺失。研究采用多数判定；对于意见不一致的情况，则由人工标注人员进行检查。此外，研究人员还手动标注了另一组由 50 份摘要构成的样本，以检验评审模型判断的一致性。

当一条完整保留的规则遭到违反时，研究人员会使用 GPT-6-Luna-Pro、GPT-6.1-Sol 和 Claude Sonnet 5.5 检查智能体的推理过程。研究人员根据以下情形对违规进行分类：智能体将后续请求视为允许其推翻规则；认为该操作不在规则适用范围内；没有提及该规则；或者识别出规则却仍置之不理。

测试使用的四个模型通过 OpenRouter 访问，分别为 DeepSeek-V4-Flash;、GLM-5.3-Flash、Qwen3.7-Flash 和 GPT-Luna。每次运行中，都使用同一个模型压缩对话历史，并依据生成的上下文采取行动，这与 pi 的默认行为一致。这些模型通过 OpenRouter 访问。

共进行了七项研究，其中大多数压缩测试使用了 Hermes。在第一项研究中，17项任务分别在四种模型和两种规则提供方式下进行测试，共形成136个案例。每个案例都在保留原始对话的情况下运行三次，并在对话压缩后再运行三次。

七项 ARCBench 研究的配置，按研究问题分组。绿色高亮单元格表示每项研究中有所变化的因素，灰色单元格表示保持不变的设置；每个案例运行三次，攻击与防御研究 S6 和 S7 则增加至六次。

测试探讨了三个问题：压缩后出现的违规行为源自何处？；不同的压缩配置会如何改变违规行为的来源？；以及 针对压缩器的攻击和防御会如何影响违规行为的来源？。

压缩后出现的违规行为源自何处？

首批结果显示，压缩后违反规则的比例有所上升：完整保留历史记录时为9.6%，压缩后则升至37.8%。不过，在经过压缩的运行中，规则仅在3%的情况下完全丢失；在70.1%的情况下，规则完整保留，在26.9%的情况下则部分保留：

结果显示各模型在压缩前后违反规则的频率。尽管违规行为大幅增加，大多数规则仍得到完整或部分保留；Qwen 的增幅最大，违规率达到61.8%。

这一区别意义重大。在规则经压缩后完整保留的单次运行中，仍有21.1%最终发生违规；而在保留原始历史记录时，这一比例为8.1%。规则仅部分保留时，违规率升至29.4%；规则完全未保留时，则升至83.3%。

研究还考察了规则仍完整保留时违规行为是如何发生的。在压缩后才出现的违规行为中，45.9%的情况下，后续请求被理解为可以继续执行的许可；27%的情况下，规则似乎被忽视；21.6%的情况下，模型先承认规则适用，却仍然违反了规则：

结果显示压缩前后违反规则的原因。对于仅在压缩后出现的违规行为，后续请求最常被视为可以继续执行的许可（45.9%）；27%的情况下，模型忽视了仍然保留的规则；21.6%的情况下，模型虽承认规则适用，却仍继续执行。

不同的压缩配置会如何改变违规行为的来源？

规则的提供方式对遵守规则的表现有显著影响。在完整保留对话时，对于由用户亲自提供的规则，违规率分别为25%和16.1%；但如果规则是通过组织文件或政策工具提供的，则没有记录到违规行为：

规则的提供方式、压缩策略和令牌预算如何影响违规行为及规则保留情况。与选择性方法相比，生成式压缩更可靠地保留了规则；预算不超过300个令牌时，规则几乎全部丢失。

压缩后，所有四种渠道的违规率都上升，其中直接用户指令的违规率达到56.3%，政策工具规则的违规率达到22.2%。规则保留率的变化相对较小，介于65.7%和74%之间。作者认为，后续用户请求可能会被理解为取代个人规则，但用户无法推翻组织层面的规则。

针对压缩器的攻击和防御会如何影响违规行为的来源？

仅仅用额外材料填满上下文几乎没有影响，违规率反而从37.8%降至34.3%。针对压缩器的注入攻击则有效得多，使违规率升至46.3%，并将规则完整保留率从70.1%降至42.5%。

最强的攻击名为 escape，它将违规率从23.5%提高到58.8%，并使规则保留率从96.1%降至66.7%。即使规则仍然保留，违规率也从13.3%翻倍至26.5%。

测试结果显示，攻击和防御对上下文压缩后规则遵循情况的影响。定向注入增加了违规行为并降低规则保留率，而最强防御将规则保留率恢复至99%，但未能完全恢复规则遵循情况。

最强防御在99%的运行中保住了规则，但智能体仍在29.4%的情况下违反了规则；相比之下，没有受到攻击时这一比例为23.5%。换句话说，确保智能体仍记得规则，并不能保证它会遵守规则。

结论

从逻辑上看，当上下文在一个很长的对话线程中被压缩几十次、几百次时，似乎会产生某种“复印机效应”（例如我从10月中旬起一直在Codex*中处理的那个线程，直到今天上午还在继续——这是一场宏大的实验性人工智能辅助软件开发）。

和核心系统提示词一样，我们看不到这些对迄今为止行动经过的压缩摘要。我自己的零星观察表明，核心任务能够在压缩后保留下来，大部分关键信息也能留存。不过，我并没有身处那种噩梦般的情境：一句“把这封邮件发给所有人”的指令，本意只是发给公司里的所有人，结果却发给了汇总后的公司联系人名单中的每一个人。真够糟糕。

我想我大概是老了，但这无疑是能给这个智能体起的最难记、最平淡乏味、最有“企业米色”气息的名字。我总是记不住它。

首次发布于2026年11月12日，星期四