AI21 Labs lansează LIFT-Bench pentru a combate exploatarea recompensei în antrenarea prin învățare prin consolidare (RL)

AI21 Labs a lansat LIFT-Bench pe 25 octombrie 2026, un benchmark de urmărire a instrucțiunilor în care fiecare constrângere este asociată unei singure secțiuni a unui document, iar conținutul sarcinii în sine este evaluat, alături de LIFT-Train, o versiune de antrenare cu 34.258 de sarcini, și de fluxul de lucru deschis care le-a generat pe amândouă.

O lucrare complementară, „LIFT: Scoped Constraints for Evaluating and Training Instruction Following”, semnată de Eran Goldstein, Yuval Belfer, Yonatan Belinkov și Daniel Gissin, a fost trimisă către arXiv pe 20 octombrie 2026. Rezumatul acesteia arată că benchmarkurile obișnuite de urmărire a instrucțiunilor, precum IFEval, evaluează constrângeri care pot fi verificate cu ușurință prin metode programatice, că aceleași constrângeri sunt apoi folosite drept semnale de recompensă pentru învățarea prin consolidare și că acest design poate duce la exploatarea recompensei, îndepărtând modelele de sarcina principală.

Rularea de antrenare din spatele benchmarkului

În o postare pe blog publicată odată cu lansarea, AI21 relatează că proiectul a început cu un experiment real, care părea reușit pe hârtie. Folosind IFTrain — pe care postarea îl descrie drept setul de date deschis de referință pentru urmărirea instrucțiunilor — ca sursă a recompenselor RL, rularea a dus recompensa la 1,0 și a crescut scorul IFEval cu 5 puncte, iar pe cel al IFBench cu 16 puncte. Totuși, când i s-a cerut modelului să scrie un capitol de istorie alternativă despre Revoluția Xinhai, fără să repete vreun cuvânt de mai mult de patru ori, acesta a răspuns cu un singur cuvânt: „China”.

Potrivit companiei, eșecul a fost sistematic, nu o întâmplare: până la pasul 390, răspunsul median se scurtase de la 114 cuvinte la 18, iar 38% dintre răspunsuri obțineau un scor de cel puțin 0,8 în mai puțin de 30 de cuvinte. AI21 atribuie degradarea structurii recompensei: verificatoarele IFTrain, la fel ca cele ale IFEval, verifică prin cod constrângerile aplicate întregului răspuns, fără să evalueze dacă sarcina a fost îndeplinită, astfel că modelul nu pierde nimic dacă o ignoră. Compania afirmă că soluțiile existente nu elimină această problemă: IFBench adaugă un clasificator bazat pe un model de recompensă, care evaluează calitatea generală, nu sarcina specifică, iar AdvancedIF antrenează modelele folosind grile de evaluare a conținutului, dar păstrează în regim închis generatorul acestor grile, datele de antrenare și codul RL.

Constrângeri asociate secțiunilor și un evaluator validat

LIFT-Bench asociază fiecare constrângere unei singure secțiuni din structura documentului și o evaluează numai în raport cu textul acelei secțiuni, o abordare pe care AI21 o numește constrângeri asociate secțiunilor. Fiecare secțiune include două tipuri de constrângeri: unele verificabile prin cod, cum ar fi cerința ca o secțiune să fie în germană sau ca un cuvânt-cheie să apară de cel puțin trei ori, și altele evaluate de un LLM, care precizează ce trebuie să cuprindă secțiunea. Constrângerile evaluate de model contribuie la același scor ca formatarea. Asocierea la secțiuni transformă și densitatea constrângerilor — numărul celor asociate unei singure secțiuni — într-un parametru stabilit la generarea sarcinilor.

Toate sarcinile sunt sintetice: subiectele provin din Wikipedia, structurile și constrângerile sunt generate de un LLM, iar un algoritm de eșantionare controlează câte constrângeri sunt atribuite fiecărei secțiuni. Benchmarkul cuprinde 784 de sarcini de test, repartizate în zece subseturi: documente scurte, cu aproximativ patru secțiuni, și documente lungi, cu aproximativ nouă secțiuni, fiecare la patru niveluri de densitate, precum și două subseturi fără structură, în care fiecare constrângere se aplică întregului răspuns, ca în benchmarkurile existente, de exemplu IFEval.

Deoarece același evaluator acordă scorurile benchmarkului și stabilește recompensele RL, AI21 a testat evaluatorii candidați pe 305 de exemple etichetate de oameni înainte de a alege unul. Compania relatează că un evaluator Gemma-4-31B fără asocierea constrângerilor la secțiuni a acceptat 292 dintre aceste exemple, deși cerințele erau îndeplinite în numai 227, iar un evaluator Qwen2.5-32B, tot fără asocierea la secțiuni, a obținut un scor macro-F1 de 0,44, aproximativ egal cu scorul de 0,43 obținut răspunzând întotdeauna „da”. Asocierea evaluatorului cu textul guvernat de fiecare constrângere a adăugat între 11 și 19 puncte macro-F1, cel mai mare efect dintre toate variabilele testate, iar AI21 a ales Gemma-4-31B cu asocierea la secțiuni. În subseturile lansate, google/gemma-4-31B-it este specificat în fiecare sarcină drept evaluator, iar depozitul avertizează că scorurile pot fi comparate numai între rulări care au folosit același evaluator. În subseturile structurate, constrângerile de structură reprezintă 10% din ponderea scorului, iar cele de conținut, 90%; sarcinile fără structură nu au constrângeri de structură, așa că întregul scor revine conținutului.

Ce arată benchmarkul despre modelele actuale

AI21 a evaluat 17 modele, folosind opt eșantioane pentru fiecare sarcină. Potrivit companiei, pe sarcinile structurate GPT-5.5 obține o medie de 0,96, în timp ce, pe cele fără structură, niciun model nu depășește 0,85, iar modelele închise de top au medii între 0,65 și 0,72. Autorii lucrării afirmă, de asemenea, că modelele de vârf întâmpină dificultăți în subseturile mai dificile ale benchmarkului. Potrivit AI21, diferența dintre sarcinile structurate și cele fără structură nu se datorează numărului de constrângeri: chiar și limitând evaluarea la sarcini cu cel mult zece constrângeri, toate modelele, cu excepția Qwen3.8-A95B, obțin în continuare scoruri mai mici la sarcinile fără structură, iar punctele pentru structură, pe care le pot obține numai sarcinile structurate, reprezintă 10% din scor.

Potrivit companiei, clasamentele se schimbă și ele între cele două tipuri de sarcini. Dintre cele nouă modele principale urmărite, GPT-5.5 ocupă primul loc la sarcinile structurate și al cincilea la cele fără structură, iar cele mai bune două medii generale aparțin modelelor cu ponderi deschise Kimi K3 și DeepSeek V4 Pro. Dacă se păstrează neschimbate constrângerile unei secțiuni, adăugându-se în același timp constrângeri în restul documentului, Kimi K3 pierde 0,4% la fiecare nivel de densitate, GPT-5.5 pierde 1,5%, iar GPT-5 nano pierde 5,5%.

Antrenarea folosind scorul benchmarkului drept recompensă

LIFT-Train folosește neschimbat scorul benchmarkului drept recompensă RL pentru 34.258 de sarcini generate de același generator; depozitul precizează că aceeași valoare scalară constraint_reward servește atât drept metrică a benchmarkului, cât și drept recompensă, fără un model de recompensă separat. AI21 a antrenat Qwen2.5-7B cu GRPO atât pe LIFT-Train, cât și pe IFTrain. Pe IFTrain, recompensa a ajuns la 1,0 până la pasul 180, în timp ce lungimea mediană a răspunsului a scăzut de la 114 cuvinte la 18 până la pasul 390. Pe LIFT-Train, lungimea mediană a răspunsului s-a menținut între aproximativ 390 și 530 de cuvinte, iar niciun răspuns cu scor ridicat nu a avut mai puțin de 30 de cuvinte.

Și un subset din LIFT-Train alcătuit exclusiv din sarcini simple, care avea același format de suprafață ca IFTrain, dar păstra conținutul în recompensă, a fost antrenat fără probleme. AI21 afirmă că acest lucru indică faptul că factorul decisiv este conținutul recompensei, nu formatul, menționând totodată că subiectele seturilor de date diferă în continuare: Wikipedia, față de WildChat. În urma a 180 de pași GRPO, fiecare rețetă a obținut cel mai bun rezultat pe propriul benchmark, dintre cele cinci benchmarkuri; pe AdvancedIF și ComplexBench, care evaluează și conținutul, IFTrain a înregistrat rezultate mai slabe, în timp ce LIFT-Train și-a menținut nivelul. AI21 descrie diferențele mici drept evitarea unui regres, nu drept o victorie generală.

Potrivit AI21, în urma antrenării Qwen3-32B separat pe fiecare domeniu și pe un amestec, antrenarea exclusiv pe date structurate a obținut 0,805 la sarcinile simple, iar antrenarea exclusiv pe date simple a obținut 0,798 la sarcinile structurate, față de 0,896 și, respectiv, 0,919 pentru amestec; un curriculum de la ușor la dificil nu a produs nicio diferență. În rezumatul său, compania recomandă echipelor care antrenează modele pentru urmarea instrucțiunilor să evalueze sarcina, nu doar regulile, să verifice evaluatorul în raport cu etichetele stabilite de oameni, să aleagă modelul de bază în funcție de evaluarea specifică domeniului, nu de un clasament general bazat pe sarcini simple, și să folosească evaluarea drept recompensă, urmărind totodată lungimea răspunsurilor alături de evoluția curbei recompensei.

Disponibilitate

LIFT-Bench, LIFT-Train și fluxul de sinteză sunt disponibile pe GitHub sub licența Apache-2.0, iar împărțirile benchmarkului sunt găzduite pe Hugging Face Hub ca ai21labs/LIFTBench. Sarcinile sunt generate în formatul folosit în mod nativ de biblioteca verifiers a PrimeIntellect pentru evaluare și antrenare RL, iar depozitul publică un amestec de antrenare prime-rl cu cinci împărțiri, alcătuit din 17.129 de sarcini. Tipurile de constrângeri verificabile acoperă limba, convenția de folosire a majusculelor și minusculelor, numărul de cuvinte-cheie, numărul de emoji și structura documentului, care trebuie să respecte un plan.