AI21 Labs 发布 LIFT-Bench，旨在遏制强化学习训练中的奖励投机

AI21 Labs 于 2026 年 10 月 25 日发布了 LIFT-Bench。这是一项指令遵循基准测试，其中每项约束都限定在文档的某个章节内，并且会对任务内容本身进行评分。公司还同时发布了 LIFT-Train——包含 34,258 项任务的配套训练集，以及用于生成这两者的开放流程。

一篇配套论文《LIFT：用于评估和训练指令遵循的范围限定约束》（作者为 Eran Goldstein、Yuval Belfer、Yonatan Belinkov 和 Daniel Gissin）于 2026 年 10 月 20 日提交至 arXiv。论文摘要指出，IFEval 等常见指令遵循基准测试评估的是那些可通过程序轻松验证的约束，而同一类约束随后又被用作强化学习的奖励信号；这种设计可能导致奖励投机，使模型偏离主要任务。

基准测试背后的训练实验

在随发布内容一同刊出的博客文章中，AI21 表示，该项目始于一项真实实验，表面看来取得了成功。实验使用 IFTrain（文章称其为指令遵循领域首选的开放数据集）提供强化学习奖励，使奖励值升至 1.0，并将 IFEval 提高了 5 分、IFBench 提高了 16 分。然而，当模型被要求撰写一章关于辛亥革命的架空历史，且任何一个词的重复次数都不得超过四次时，它只给出了一个词作为回答：“China”。

据该公司称，这并非偶然失误，而是系统性问题：到第 390 步时，回答的中位长度已从 114 个词缩短至 18 个词；有 38% 的回答在不足 30 个词的情况下得分至少达到 0.8。AI21 将这种崩溃归因于奖励机制的结构：IFTrain 的检查器与 IFEval 的检查器类似，会用代码检查整份回答是否满足约束，却不会评估任务是否完成，因此模型即使放弃任务，也不会因此受到惩罚。该公司表示，现有修补方案仍未弥补这一缺陷：IFBench 增加了一个奖励模型分类器，评估的是总体质量，而非具体任务；AdvancedIF 则使用内容评分标准进行训练，但其评分标准生成器、训练数据和强化学习代码均未开放。

范围限定约束与经过验证的评判器

LIFT-Bench 将每项约束关联到文档大纲中的一个章节，并且只依据该章节的文本对其评分；AI21 将这种设计称为“范围限定约束”。每个章节包含两类约束：一类可通过代码验证，例如要求章节使用德语，或要求某个关键词至少出现三次；另一类由大语言模型评判，明确规定该章节必须涵盖哪些内容。内容评判类约束与格式约束计入同一项得分。范围限定设计还使约束密度——即分配给单个章节的约束数量——成为任务生成时设定的一个参数。

所有任务均为合成生成：主题取自维基百科，大纲和约束由大语言模型生成，采样器则控制分配给各章节的约束数量。该基准测试包含 784 项测试任务，分为十个子集：短文档约有四个章节，长文档约有九个章节，两者分别设有四种约束密度；此外还有两个无大纲的平面子集，其中每项约束都适用于整份回答，与 IFEval 等现有基准测试的做法相同。

由于同一评判器既为基准测试评分，也负责发放强化学习奖励，AI21 在选定评判器之前，先用 305 个由人工标注的示例测试了候选评判器。该公司报告称，一个未限定范围的 Gemma-4-31B 评判器将其中 292 个示例判定为满足要求，但实际上只有 227 个确实满足要求；一个未限定范围的 Qwen2.5-32B 的宏平均 F1 分数为 0.44，与始终回答“是”所得的 0.43 大致相同。将评判器限定在每项约束所管辖的文本范围内，使宏平均 F1 分数提高了 11 至 19 分，这是所有受测变量中影响最大的一项；AI21 最终选择了范围限定版 Gemma-4-31B。发布的各个子集中，每项任务都将 google/gemma-4-31B-it 指定为评判器；代码库提醒，只有使用相同评判器的测试结果才可比较。在结构化子集中，结构约束占总分权重的 10%，内容约束占 90%；平面任务不含结构约束，因此全部权重都归于内容。

基准测试揭示的当前模型表现

AI21 使用每项任务八个样本评估了 17 个模型。该公司报告称，在结构化任务上，GPT-5.5 的平均得分为 0.96；而在平面任务上，没有任何模型达到 0.85，领先的闭源模型平均得分介于 0.65 和 0.72 之间。论文作者也指出，前沿模型在该基准测试较难的子集上表现不佳。AI21 表示，结构化任务与平面任务之间的差距并非由约束数量造成：只看约束不超过十项的任务时，除 Qwen3.8-A95B 外，所有模型在平面任务上的得分仍然较低；并且只有结构化任务能够获得的、与大纲相关的分数仅占总分的 10%。

该公司还报告称，模型在两种任务设置下的排名也会发生变化。在纳入跟踪的九个主要模型中，GPT-5.5 在结构化任务上排名第一，在平面任务上排名第五；总体平均得分最高的两个模型则是开放权重模型 Kimi K3 和 DeepSeek V4 Pro。在保持某一章节的约束不变、同时增加文档其他部分约束的情况下，Kimi K3 每增加一个密度等级便损失 0.4% 的得分，GPT-5.5 损失 1.5%，而 GPT-5 nano 损失 5.5%。

以基准测试得分作为奖励进行训练

LIFT-Train 将基准分数原样用作强化学习（RL）奖励，覆盖同一生成器生成的34,258项任务；代码库指出，同一个 constraint_reward 标量既用作基准指标，也用作奖励，没有单独的奖励模型。AI21 使用 GRPO 分别在 LIFT-Train 和 IFTrain 上训练 Qwen2.5-7B。在 IFTrain 上，奖励在第180步达到1.0，而答案中位数长度从114词降至第390步时的18词。在 LIFT-Train 上，答案中位数长度保持在约390至530词之间，且没有高分答案短于30词。

仅包含平面任务的 LIFT-Train 子集，其表层格式与 IFTrain 相同，但奖励中仍保留内容，也顺利完成了训练。AI21 表示，这说明起决定作用的是奖励中的内容，而非格式；同时也指出，两组数据集的主题仍然不同：一个来自 Wikipedia，另一个来自 WildChat。在经过180个 GRPO 步骤后，对五个基准进行的评估显示，每种训练方案都在各自对应的基准上胜出；在同样对内容进行评分的 AdvancedIF 和 ComplexBench 上，IFTrain 的表现有所下滑，而 LIFT-Train 保持稳定。AI21 将这些小幅差异视为避免性能退化，而非普遍性的胜利。

AI21 报告称，分别针对每种范围训练 Qwen3-32B，并采用混合训练时，仅使用结构化任务训练的模型在平面任务上达到0.805，仅使用平面任务训练的模型在结构化任务上达到0.798；混合训练的得分则分别为0.896和0.919，而由易到难的课程安排没有带来差异。在总结中，该公司建议，训练模型遵循指令的团队应衡量任务本身，而不应只看规则；应对照人工标注检查评审器；应依据限定范围内的评估结果，而非平面排行榜选择基础模型；并应将评估结果用作奖励，同时跟踪答案长度及奖励曲线。

可用性

LIFT-Bench、LIFT-Train 和合成流程以 Apache-2.0 许可证在 GitHub 上提供，基准数据划分则托管在 Hugging Face Hub，名称为 ai21labs/LIFTBench。任务以 PrimeIntellect 的 verifiers 库原生支持的格式生成，用于评估和强化学习（RL）训练；代码库还发布了一个由5个划分组成的 prime-rl 训练混合数据集，包含17,129项任务。可验证的约束类型包括语言、大小写规范、关键词数量、表情符号数量，以及与大纲匹配的文档结构。