Ai2发布StateBench，用于衡量长上下文状态追踪能力

Allen Institute for AI（Ai2）于2026年11月3日推出了StateBench，同时发布了一个包含四个难度层级的基准测试、数据集和代码，用于检验语言模型能否在长文档中追踪不断变化的变量。Ai2表示，在其测试的四个前沿模型中，随着输入变长，所有模型在较难的状态追踪任务上都出现了失效。

Jackson Petty、William Merrill和Ashish Sabharwal撰写的配套论文指出，这项工作的出发点是现有测量方法存在空白。以往测试往往侧重于S₅字问题——这是一项难度较高的任务，要求追踪五个对象之间连续发生的交换；而更简单的形式或许更能代表实际任务，也可能已经足以揭示不同架构之间的差异。StateBench则按照模型需要追踪的更新类型，将状态追踪任务区分开来。

状态更新的四个层级

第一个层级是r-trivial任务，使用不可变赋值，因此模型只需找回变量的初始值。非周期性任务允许按值重新赋值，因此只需知道最近一次赋值即可。可解任务则加入自指式更新，例如 x = x + 5，要求每次变化都延续到后续状态中。一般有限任务还加入按引用赋值，包括交换操作，从而在变量之间形成依赖关系。

这些类别也有形式化依据，即Krohn–Rhodes理论。这一代数框架将有限状态追踪问题拆解为基本操作。为进行受控比较，研究人员从同一条一般有限序列推导出其他变体，在改变更新操作的同时，保持变量数量、不同取值的数量和赋值位置不变。评测集涵盖8至64,000次赋值；每条序列都配有一个正确的最终状态和四个错误候选项，用于生成式或多项选择测试。研究人员还将问题转换为多种文本格式，包括整数代码和电子表格单元格，以检验表层呈现形式是否会改变结果。

依赖关系增加时，预训练模型表现不佳

Ai2的开放模型评测包括70亿参数的Olmo 3 Transformer和加入了Gated DeltaNet层的Olmo Hybrid，以及使用相同数据训练的较小模型。在训练期间，这些模型都没有接触过长度超过64,000个词元的上下文，而其中大多数在测试时处理的上下文长度超过了这一上限。Ai2表示，几乎所有模型在r-trivial任务上表现良好；随着输入变长，它们在非周期性任务上的准确率下降，而在一般有限任务上的表现始终处于随机水平。

呈现方式会改变结果：Ai2称，小型混合模型和Gated DeltaNet模型在一种格式的r-trivial提示上得分接近上限，但在等价问题以电子表格编辑形式呈现时，得分却接近随机水平。这种差距意味着，模型在一种格式下取得优异结果，并不一定证明它具备普遍的状态追踪能力。

专有模型测试要求Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol和GPT-6 Luna生成每个变量的最终值。Ai2表示，四个模型在r-trivial和非周期性问题上表现良好，但在可解问题和一般有限问题上的表现随着输入变长而大幅下降；在最长的一般有限问题上，准确率降至13%或更低。

直接训练揭示架构与预训练的差异

为确定这些失败源于模型架构还是预训练，研究人员从头训练了六个拥有2.75亿参数的模型：两个Transformer变体、两个混合模型，以及两个采用不同记忆更新约束的Gated DeltaNet变体。训练序列最多包含256次赋值，而测试长度则达到这一上限的250倍。

Ai2表示，Gated DeltaNet模型和混合模型在r-trivial、非周期性和可解任务上都能实现近乎完美的泛化，且这一表现一直持续到测试过的最长序列。Transformer学会了较简单的层级，但在超出训练分布后表现下降；即使在训练分布范围内，它们也始终未能学会一般有限任务。在一般有限任务上，允许特征值为正或负的Gated DeltaNet变体，在约为其最大训练长度10倍的范围内仍保持近乎完美的表现；而特征值仅为非负数的变体一旦超出训练长度上限，表现便立即下降。

研究人员认为，这种差异表明，预训练有助于解释循环模型和混合模型在预训练后的失败；而Transformer在经过有针对性的训练后，面对最难层级时仍持续失败，则说明其存在架构局限。

公开资源与尚存局限

发布的数据集列有68,000行，总计1.05 GB。其规范配置包含与格式化方式无关的操作轨迹和最终状态；渲染后的记录则增加了提示、补全内容、错误选项、复杂度标签和生成元数据。词元长度字段和分层信息支持按提示长度筛选示例。

该代码仓库以Apache-2.0许可证发布，可根据规范轨迹生成各类任务，并能确保训练集与测试集之间在语义上互不重叠。它支持评测和训练数据生成，同时保留不同难度层级之间的受控关系。

论文还证明，采用固定精度且特征值非负的门控 DeltaNet，能够解决所有非周期任务以及某些周期任务。其中包括奇偶性任务，即识别某个重复输入出现的次数是偶数还是奇数；不过，奇偶性任务的构造依赖舍入。该变体在层级中的确切位置仍未确定，它能否解决所有可解任务，以及数值精度和添加注意力层会产生何种影响，也仍未确定。

StateBench 还假设变量数量固定，因此目前尚未对随着时间推移而出现新人物和新物体的对话或文档进行建模。

该基准测试的核心区别在于：能否接收长输入，与能否保留其中的状态并非一回事。其受控任务使这种差异能够在不同架构之间进行衡量，但由于变量数量固定，即使得分完美，也不能证明模型在文档或对话中出现新实体时仍能稳健地追踪状态。