AI21 Labs выпускает LIFT-Bench, чтобы ограничить накрутку вознаграждения при обучении с подкреплением

AI21 Labs выпустила LIFT-Bench 25 октября 2026 года. Это бенчмарк для оценки следования инструкциям, в котором каждое ограничение привязано к отдельному разделу документа, а содержание самой задачи также оценивается. Одновременно компания представила LIFT-Train — обучающую версию бенчмарка, состоящую из 34 258 задач, — и открытый конвейер, с помощью которого были созданы оба набора.

Сопутствующая статья «LIFT: Scoped Constraints for Evaluating and Training Instruction Following» («LIFT: ограничения, привязанные к разделам, для оценки и обучения следованию инструкциям») Эрена Голдштейна, Юваля Белфера, Йонатана Белинкова и Даниэля Гиссина была отправлена на arXiv 20 октября 2026 года. В аннотации говорится, что распространённые бенчмарки для оценки следования инструкциям, такие как IFEval, проверяют ограничения, которые легко оценить программно; затем эти же ограничения используются как сигналы вознаграждения при обучении с подкреплением. Такая конструкция может приводить к накрутке вознаграждения и отвлекать модели от основной задачи.

Обучение, которое легло в основу бенчмарка

В опубликованной вместе с выпуском записи в блоге AI21 сообщает, что проект начался с реального эксперимента, который на бумаге выглядел успешным. В ходе обучения источником вознаграждений при обучении с подкреплением служил IFTrain, который в записи называют основным открытым набором данных для следования инструкциям. В результате вознаграждение достигло 1,0, а показатели IFEval выросли на 5 пунктов, а IFBench — на 16. Однако, когда модель попросили написать главу альтернативной истории о Синьхайской революции, не повторяя ни одного слова более четырёх раз, она ответила одним словом: «China».

По данным компании, сбой был систематическим, а не случайным: к шагу 390 медианная длина ответа сократилась со 114 до 18 слов, а 38% ответов получили оценку не ниже 0,8, уложившись менее чем в 30 слов. AI21 объясняет это особенностями структуры вознаграждения: проверяющие модули IFTrain, как и в IFEval, программно проверяют ограничения во всём ответе, но никак не оценивают, выполнена ли сама задача. Поэтому отказ от её выполнения ничего не стоит модели. По словам компании, существующие исправления не устраняют этот пробел: IFBench добавляет классификатор модели вознаграждения, который оценивает общее качество, а не выполнение конкретной задачи; AdvancedIF обучается на критериях оценки содержания, но его генератор критериев, обучающие данные и код для обучения с подкреплением закрыты.

Ограничения, привязанные к разделам, и проверенная модель-судья

LIFT-Bench привязывает каждое ограничение к одному разделу структуры документа и оценивает его только по тексту этого раздела. AI21 называет такой подход ограничениями с заданной областью действия. В каждом разделе предусмотрено два типа ограничений: проверяемые программным кодом — например, требование написать раздел на немецком языке или использовать ключевое слово не менее трёх раз, — и проверяемые языковой моделью (LLM), где указано, что именно должен охватывать раздел. Ограничения, проверяемые моделью, учитываются в той же оценке, что и форматирование. Привязка к разделам также превращает плотность ограничений — их количество в одном разделе — в параметр, задаваемый при генерации задачи.

Все задачи синтетические: темы берутся из Википедии, структуры документов и ограничения создаёт LLM, а сэмплер регулирует, сколько ограничений приходится на каждый раздел. В бенчмарке 784 тестовые задачи, разделённые на десять частей: короткие документы примерно из четырёх разделов и длинные — примерно из девяти, каждый вариант представлен на четырёх уровнях плотности ограничений. Кроме того, есть две части с плоской структурой, без плана документа: в них каждое ограничение распространяется на весь ответ, как в существующих бенчмарках, например IFEval.

Поскольку одна и та же модель-судья оценивает бенчмарк и назначает вознаграждение при обучении с подкреплением, перед выбором AI21 проверила кандидатов на 305 примерах с человеческой разметкой. По данным компании, модель-судья Gemma-4-31B без привязки ограничений к разделам приняла 292 примера, хотя условиям соответствовали только 227; модель-судья Qwen2.5-32B с такой же настройкой получила макро-F1 0,44 — примерно столько же, сколько 0,43 у модели, всегда отвечающей «да». Привязка модели-судьи к тексту, на который распространяется каждое ограничение, повысила макро-F1 на 11–19 пунктов — это был самый значительный эффект среди всех проверенных переменных. В итоге AI21 выбрала Gemma-4-31B с привязкой к разделам. В опубликованных частях набора в каждой задаче указана google/gemma-4-31B-it в качестве модели-судьи; в репозитории предупреждают, что сравнивать оценки можно только между запусками с одной и той же моделью-судьёй. В структурированных частях набора на структурные ограничения приходится 10% веса оценки, а на ограничения по содержанию — 90%. В задачах с плоской структурой структурных ограничений нет, поэтому весь вес приходится на содержание.

Что бенчмарк показывает о современных моделях

AI21 оценила 17 моделей, используя по восемь примеров для каждой задачи. По данным компании, на задачах со структурой GPT-5.5 в среднем набирает 0,96, тогда как на задачах с плоской структурой ни одна модель не превышает 0,85, а средние результаты ведущих закрытых моделей находятся в диапазоне от 0,65 до 0,72. Авторы статьи также отмечают, что передовые модели плохо справляются с наиболее сложными подмножествами бенчмарка. По мнению AI21, разница между задачами со структурой и без неё не объясняется количеством ограничений: даже если учитывать только задачи с десятью ограничениями или меньше, все модели, кроме Qwen3.8-A95B, по-прежнему показывают более низкие результаты на задачах с плоской структурой. Кроме того, на структурные пункты, которые можно заработать только в задачах со структурой, приходится 10% оценки.

По данным компании, меняются и позиции моделей в двух режимах. Среди девяти основных отслеживаемых моделей GPT-5.5 занимает первое место на задачах со структурой и пятое — на задачах с плоской структурой. Два лучших результата по среднему показателю в целом принадлежат моделям с открытыми весами Kimi K3 и DeepSeek V4 Pro. Если оставить ограничения одного раздела без изменений, но добавить ограничения в остальные разделы документа, результат Kimi K3 снижается на 0,4% с каждым шагом увеличения плотности, GPT-5.5 — на 1,5%, а GPT-5 nano — на 5,5%.

Обучение с использованием оценки бенчмарка в качестве вознаграждения

LIFT-Train без изменений использует оценку бенчмарка в качестве вознаграждения RL для 34 258 задач, созданных тем же генератором; в репозитории отмечается, что один и тот же скаляр constraint_reward служит и метрикой бенчмарка, и вознаграждением, без отдельной модели вознаграждения. AI21 обучала Qwen2.5-7B с помощью GRPO на LIFT-Train и IFTrain. На IFTrain вознаграждение достигло 1,0 к 180-му шагу, а медианная длина ответа сократилась со 114 слов до 18 к 390-му шагу. На LIFT-Train медианная длина ответа оставалась в диапазоне от 390 до 530 слов, и ни один ответ с высокой оценкой не был короче 30 слов.

Выборка LIFT-Train, включавшая только плоские задачи и соответствовавшая внешнему формату IFTrain, но сохранявшая содержание в вознаграждении, также успешно прошла обучение. По словам AI21, это указывает на то, что решающим фактором было содержание вознаграждения, а не формат; при этом компания отмечает, что тематика наборов данных различается: Wikipedia и WildChat. По итогам 180 шагов GRPO каждый вариант обучения показал лучший результат на собственном бенчмарке из пяти; на AdvancedIF и ComplexBench, где также оценивается содержание, показатели IFTrain снизились, тогда как LIFT-Train сохранил стабильность. AI21 характеризует небольшую разницу в результатах как отсутствие регресса, а не как общую победу.

Как сообщает AI21, при обучении Qwen3-32B отдельно на задачах каждого типа и на их смеси обучение только на структурированных задачах дало результат 0,805 на плоских задачах, а обучение только на плоских — 0,798 на структурированных; для смеси эти показатели составили 0,896 и 0,919 соответственно. Учебная программа с постепенным переходом от простых задач к сложным не повлияла на результат. В своем резюме компания советует командам, обучающим модели следованию инструкциям, оценивать сами задачи, а не только правила; проверять работу оценщика на человеческих разметках; выбирать базовую модель по результатам оценки в целевой области, а не по плоскому рейтингу; а также использовать оценку в качестве вознаграждения и отслеживать длину ответов наряду с кривой вознаграждения.

Доступность

LIFT-Bench, LIFT-Train и конвейер синтеза доступны на GitHub по лицензии Apache-2.0; разделы бенчмарка размещены на Hugging Face Hub под именем ai21labs/LIFTBench. Задачи создаются в формате, который библиотека verifiers от PrimeIntellect принимает напрямую для оценки и обучения с подкреплением (RL); в репозитории также опубликована смесь из пяти разделов для обучения prime-rl, включающая 17 129 задач. К проверяемым типам ограничений относятся язык, правила использования регистра, количество ключевых слов, количество эмодзи и структура документа, соответствующая плану.