AI21 Labs випускає LIFT-Bench, щоб запобігти маніпулюванню винагородою під час навчання з підкріпленням

AI21 Labs випустила LIFT-Bench 25 жовтня 2026 року — тест для оцінювання виконання інструкцій, у якому кожне обмеження стосується окремого розділу документа, а також оцінюється зміст самого завдання. Одночасно компанія представила LIFT-Train — відповідний навчальний набір із 34 258 завдань — і відкритий конвеєр, за допомогою якого створила обидва набори.

Супровідну наукову статтю «LIFT: обмеження, прив’язані до розділів, для оцінювання та навчання виконання інструкцій» Ерan Goldstein, Yuval Belfer, Yonatan Belinkov і Daniel Gissin подали до arXiv 20 жовтня 2026 року. В її анотації зазначено, що поширені тести виконання інструкцій, зокрема IFEval, оцінюють обмеження, які можна легко перевірити програмно; ті самі обмеження потім використовують як сигнали винагороди під час навчання з підкріпленням; а така конструкція може призвести до маніпулювання винагородою, через яке моделі відходять від основного завдання.

Навчальний запуск, що став основою тесту

У дописі в блозі, опублікованому разом із релізом, AI21 повідомляє, що проєкт почався з реального експерименту, який на папері здавався успішним. У цьому запуску IFTrain — набір даних із відкритим доступом для виконання інструкцій, який у дописі названо основним у цій галузі, — використовували як джерело винагороди для навчання з підкріпленням. У результаті винагорода зросла до 1,0, показник IFEval підвищився на 5 пунктів, а IFBench — на 16 пунктів. Однак, коли модель попросили написати розділ альтернативної історії про Сіньхайську революцію, не повторюючи жодного слова більше ніж чотири рази, вона відповіла одним словом: «China».

За словами компанії, це була системна проблема, а не випадковий збій: до кроку 390 медіанна довжина відповіді скоротилася зі 114 слів до 18, а 38% відповідей набрали щонайменше 0,8 бала, маючи менш як 30 слів. AI21 пов’язує цей провал із побудовою системи винагороди: перевірки в IFTrain, як і в IFEval, за допомогою коду перевіряють обмеження в усьому тексті відповіді, але ніяк не оцінюють, чи виконано саме завдання. Тому відмова від завдання нічого не коштує моделі. За словами компанії, наявні виправлення не усувають цієї проблеми: IFBench додає класифікатор на основі моделі винагороди, який оцінює загальну якість, а не конкретне завдання, тоді як AdvancedIF навчається на рубриках оцінювання змісту, але залишає закритими генератор рубрик, навчальні дані та код для навчання з підкріпленням.

Обмеження, прив’язані до розділів, і перевірений оцінювач

LIFT-Bench прив’язує кожне обмеження до одного розділу структури документа й оцінює його лише за текстом цього розділу. AI21 називає такий підхід обмеженнями, прив’язаними до розділів. Для кожного розділу передбачено два типи обмежень: ті, що перевіряються кодом, наприклад вимога написати розділ німецькою або використати ключове слово щонайменше тричі, і ті, що перевіряються великою мовною моделлю (LLM) та визначають, які теми має охопити розділ. Обмеження другого типу враховуються в тому самому підсумковому балі, що й форматування. Прив’язка до розділів також перетворює щільність обмежень — кількість обмежень для одного розділу — на параметр, який задають під час створення завдання.

Усі завдання синтетичні: теми беруть із Вікіпедії, структуру й обмеження генерує велика мовна модель, а семплер визначає, скільки обмежень припадає на кожен розділ. Тест містить 784 тестові завдання, розподілені між десятьма піднаборами: короткі документи приблизно з чотирма розділами й довгі — приблизно з дев’ятьма, для кожного типу передбачено чотири рівні щільності обмежень; крім того, є два плоскі піднабори без структури, у яких кожне обмеження поширюється на всю відповідь, як у наявних тестах на кшталт IFEval.

Оскільки той самий оцінювач визначає результат тесту й призначає винагороду для навчання з підкріпленням, AI21 перевірила кандидатів на цю роль на 305 прикладах, оцінених людьми, перш ніж обрати одного з них. За даними компанії, оцінювач Gemma-4-31B без прив’язки до розділів зарахував 292 приклади, хоча вимоги було виконано лише в 227 із них; оцінювач Qwen2.5-32B без такої прив’язки отримав макро-F1 0,44 — приблизно стільки ж, скільки 0,43 у разі, якщо завжди відповідати «так». Прив’язка оцінювача до тексту, якого стосується кожне обмеження, підвищила макро-F1 на 11–19 пунктів — це найбільший ефект серед усіх перевірених змінних. Зрештою AI21 обрала Gemma-4-31B із прив’язкою до розділів. У випущених піднаборах у кожному завданні як оцінювач зазначено google/gemma-4-31B-it, а в репозиторії застерігають, що результати можна порівнювати лише між запусками з тим самим оцінювачем. У структурованих піднаборах обмеження структури становлять 10% ваги оцінки, а обмеження змісту — 90%; у плоских завданнях структурних обмежень немає, тож на зміст припадає вся вага.

Що тест показує про сучасні моделі

AI21 оцінила 17 моделей, використавши по вісім зразків для кожного завдання. За даними компанії, у структурованих завданнях середній результат GPT-5.5 становить 0,96, тоді як у плоских завданнях жодна модель не перевищує 0,85, а середні результати найкращих закритих моделей перебувають у межах від 0,65 до 0,72. Автори статті також зазначають, що найпотужніші моделі погано справляються зі складнішими піднаборами тесту. За даними AI21, різницю між структурованими й плоскими завданнями не можна пояснити кількістю обмежень: навіть якщо враховувати лише завдання з десятьма обмеженнями або меншою кількістю, усі моделі, крім Qwen3.8-A95B, мають нижчі результати в плоских завданнях. Крім того, бали за структуру, які можна отримати лише в структурованих завданнях, становлять 10% загальної оцінки.

За даними компанії, у цих двох режимах змінюються й рейтинги. Серед дев’яти основних моделей, за якими ведеться спостереження, GPT-5.5 посідає перше місце в структурованих завданнях і п’яте — у плоских, а два найкращі загальні середні результати належать моделям із відкритими вагами Kimi K3 і DeepSeek V4 Pro. Якщо зберегти обмеження одного розділу незмінними, але додавати обмеження до решти документа, результат Kimi K3 знижується на 0,4% з кожним кроком щільності, GPT-5.5 — на 1,5%, а GPT-5 nano — на 5,5%.

Навчання з використанням оцінки тесту як винагороди

LIFT-Train без змін використовує оцінку бенчмарку як винагороду RL для 34 258 завдань, створених тим самим генератором; у репозиторії зазначено, що той самий скаляр constraint_reward слугує і метрикою бенчмарку, і винагородою, без окремої моделі винагороди. AI21 навчила Qwen2.5-7B за допомогою GRPO на LIFT-Train та IFTrain. На IFTrain винагорода досягла 1,0 на 180-му кроці, тоді як медіанна довжина відповіді зменшилася зі 114 слів до 18 на 390-му кроці. На LIFT-Train медіанна довжина відповіді залишалася в межах приблизно 390–530 слів, і жодна відповідь із високою оцінкою не була коротшою за 30 слів.

Підмножина LIFT-Train лише з плоскими завданнями, що відповідала зовнішньому формату IFTrain, але зберігала зміст у винагороді, також успішно пройшла навчання. За словами AI21, це вказує на те, що вирішальним чинником є зміст у винагороді, а не формат, хоча теми наборів даних усе ж різняться: Wikipedia та WildChat. На п’яти бенчмарках після 180 кроків GRPO кожен варіант навчання показав найкращий результат на власному бенчмарку; на AdvancedIF і ComplexBench, де також оцінюється зміст, IFTrain погіршив результати, тоді як LIFT-Train зберіг їх на попередньому рівні. AI21 характеризує невеликі відмінності як уникнення регресу, а не загальну перемогу.

Як повідомляє AI21, під час окремого навчання Qwen3-32B на кожному обсязі даних і на їхній суміші навчання лише на структурованих завданнях дало результат 0,805 на плоских завданнях, а навчання лише на плоских — 0,798 на структурованих; для суміші відповідні показники становили 0,896 і 0,919. Навчальна програма з поступовим переходом від простих завдань до складних не вплинула на результати. У підсумку компанія радить командам, які навчають моделі виконувати інструкції, оцінювати саме завдання, а не лише правила; перевіряти оцінювач на людських оцінках; обирати базову модель за результатами оцінювання у визначеному обсязі завдань, а не за загальним рейтингом на плоских завданнях; використовувати оцінювання як винагороду й водночас відстежувати довжину відповідей разом із кривою винагороди.

Доступність

LIFT-Bench, LIFT-Train і конвеєр синтезу доступні на GitHub за ліцензією Apache-2.0; розбиття бенчмарку розміщено на Hugging Face Hub за адресою ai21labs/LIFTBench. Завдання формуються у форматі, який бібліотека verifiers від PrimeIntellect підтримує безпосередньо для оцінювання та навчання RL; у репозиторії також опубліковано навчальну суміш prime-rl із п’ятьма розбиттями, що містить 17 129 завдань. Типи обмежень, які можна перевірити, охоплюють мову, правила використання великих і малих літер, кількість ключових слів, кількість емодзі та структуру документа, що відповідає плану.