AI21 Labs wprowadza LIFT-Bench, aby ograniczyć wykorzystywanie luk w funkcji nagrody podczas uczenia ze wzmocnieniem

AI21 Labs opublikowało LIFT-Bench 25 października 2026 r. To benchmark do oceny stosowania się do instrukcji, w którym każde ograniczenie przypisane jest do jednej sekcji dokumentu, a wynik uwzględnia także samą treść zadania. Wraz z nim opublikowano LIFT-Train — odpowiednik treningowy obejmujący 34 258 zadań — oraz otwarty potok, który wygenerował oba zbiory.

Artykuł towarzyszący, „LIFT: ograniczenia przypisane do zakresu w ocenie i uczeniu stosowania się do instrukcji” autorstwa Erana Goldsteina, Yuvala Belfera, Yonatana Belinkova i Daniela Gissina, został przesłany do arXiv 20 października 2026 r. W abstrakcie stwierdzono, że popularne benchmarki oceniające stosowanie się do instrukcji, takie jak IFEval, sprawdzają ograniczenia, które można łatwo zweryfikować programowo; te same ograniczenia służą następnie jako sygnały nagrody w uczeniu ze wzmocnieniem, a takie rozwiązanie może prowadzić do wykorzystywania luk w funkcji nagrody i odciągać modele od głównego zadania.

Trening, który doprowadził do powstania benchmarku

We wpisie na blogu opublikowanym wraz z premierą AI21 informuje, że projekt rozpoczął się od rzeczywistego eksperymentu, który na papierze wyglądał na udany. W eksperymencie wykorzystano IFTrain, opisany we wpisie jako najczęściej wybierany otwarty zbiór danych do oceny stosowania się do instrukcji, do generowania nagród w uczeniu ze wzmocnieniem. Wynik nagrody wzrósł do 1,0, a wyniki IFEval i IFBench poprawiły się odpowiednio o 5 i 16 punktów. Kiedy jednak model poproszono o napisanie rozdziału historii alternatywnej o rewolucji Xinhai, w którym żadne słowo nie mogło powtórzyć się więcej niż cztery razy, odpowiedział jednym słowem: „Chiny”.

Według firmy nie była to przypadkowa wpadka, lecz systematyczna porażka: w kroku 390 mediana długości odpowiedzi spadła ze 114 do 18 słów, a 38% odpowiedzi uzyskało wynik co najmniej 0,8, mimo że miało mniej niż 30 słów. AI21 przypisuje ten spadek konstrukcji funkcji nagrody: weryfikatory IFTrain, podobnie jak te w IFEval, sprawdzają za pomocą kodu ograniczenia w całej odpowiedzi, ale nie oceniają, czy wykonano zadanie. Model nic więc nie traci, rezygnując z jego realizacji. Jak twierdzi firma, istniejące poprawki nie rozwiązują tego problemu: IFBench dodaje klasyfikator oparty na modelu nagrody, który ocenia ogólną jakość zamiast konkretnego zadania, a AdvancedIF trenuje modele na kryteriach oceny treści, ale nie udostępnia generatora tych kryteriów, danych treningowych ani kodu do uczenia ze wzmocnieniem.

Ograniczenia przypisane do zakresu i zweryfikowany oceniający

LIFT-Bench przypisuje każde ograniczenie do jednej sekcji konspektu dokumentu i ocenia je wyłącznie na podstawie tekstu tej sekcji; AI21 nazywa to podejście ograniczeniami przypisanymi do zakresu. W każdej sekcji występują dwa rodzaje ograniczeń: weryfikowalne, sprawdzane przez kod — na przykład wymóg napisania sekcji po niemiecku lub użycia danego słowa kluczowego co najmniej trzy razy — oraz oceniane przez LLM, które określają, jakie zagadnienia sekcja ma obejmować. Ograniczenia oceniane przez LLM wliczają się do tego samego wyniku co formatowanie. Przypisanie ograniczeń do zakresu sprawia również, że ich gęstość — liczba ograniczeń przypisanych do jednej sekcji — staje się parametrem ustalanym podczas generowania zadań.

Wszystkie zadania są syntetyczne: tematy pochodzą z Wikipedii, a konspekty i ograniczenia są generowane przez LLM; próbnik kontroluje liczbę ograniczeń przypadających na każdą sekcję. Benchmark obejmuje 784 zadania testowe w dziesięciu podziałach: krótkie dokumenty liczące około czterech sekcji i długie, liczące około dziewięciu sekcji, w każdym przypadku przy czterech poziomach gęstości, a także dwa podziały płaskie bez konspektu. W tych ostatnich każde ograniczenie dotyczy całej odpowiedzi, tak jak w istniejących benchmarkach, na przykład IFEval.

Ponieważ ten sam oceniający punktuje benchmark i przyznaje nagrodę w uczeniu ze wzmocnieniem, przed wyborem AI21 przetestowało kandydatów na 305 przykładach oznaczonych przez ludzi. Firma podaje, że nieograniczony do konkretnego zakresu oceniający Gemma-4-31B zaakceptował 292 przykłady, choć wymagania spełniono tylko w 227 z nich; nieograniczony do konkretnego zakresu Qwen2.5-32B uzyskał wynik macro-F1 równy 0,44, zbliżony do 0,43 osiąganego przez model, który zawsze odpowiada „tak”. Przypisanie oceniającego do tekstu, którego dotyczy dane ograniczenie, zwiększyło wynik macro-F1 o 11–19 punktów — był to największy wpływ spośród wszystkich testowanych zmiennych — i AI21 wybrało Gemma-4-31B z przypisaniem do zakresu. W opublikowanych podziałach jako oceniającego dla każdego zadania wskazano google/gemma-4-31B-it, a repozytorium zaznacza, że wyniki można porównywać wyłącznie między przebiegami wykorzystującymi tego samego oceniającego. W podziałach strukturalnych ograniczenia dotyczące struktury odpowiadają za 10% wagi wyniku, a ograniczenia dotyczące treści za 90%; zadania płaskie nie zawierają ograniczeń strukturalnych, więc treść odpowiada w nich za całą wagę wyniku.

Co benchmark mówi o obecnych modelach

AI21 oceniło 17 modeli, wykorzystując po osiem próbek na zadanie. W zadaniach strukturalnych GPT-5.5 uzyskuje średnio 0,96, podaje firma; w zadaniach płaskich żaden model nie przekracza 0,85, a średnie wyniki czołowych modeli zamkniętych mieszczą się w przedziale od 0,65 do 0,72. Autorzy artykułu również stwierdzają, że modele najnowszej generacji mają trudności z trudniejszymi podzbiorami benchmarku. Według AI21 różnica między zadaniami strukturalnymi a płaskimi nie wynika z liczby ograniczeń: nawet po ograniczeniu analizy do zadań z najwyżej dziesięcioma ograniczeniami wszystkie modele poza Qwen3.8-A95B nadal uzyskują niższe wyniki w zadaniach płaskich, a punkty za konspekt, które można zdobyć tylko w zadaniach strukturalnych, odpowiadają za 10% wyniku.

Jak podaje firma, zmieniają się także rankingi w obu typach zadań. Spośród dziewięciu głównych śledzonych modeli GPT-5.5 zajmuje pierwsze miejsce w zadaniach strukturalnych, a piąte w płaskich; dwa najlepsze średnie wyniki ogółem należą do modeli z otwartymi wagami Kimi K3 i DeepSeek V4 Pro. Gdy pozostawiono bez zmian ograniczenia dotyczące jednej sekcji, a następnie dodawano ograniczenia do reszty dokumentu, wynik Kimi K3 spadał o 0,4% na każdy poziom gęstości, GPT-5.5 — o 1,5%, a GPT-5 nano — o 5,5%.

Trening z wykorzystaniem wyniku benchmarku jako nagrody

LIFT-Train wykorzystuje wynik benchmarku bez zmian jako nagrodę RL w przypadku 34 258 zadań z tego samego generatora; w repozytorium zaznaczono, że ta sama wartość skalarna constraint_reward służy zarówno jako metryka benchmarku, jak i nagroda, bez oddzielnego modelu nagrody. AI21 trenowało Qwen2.5-7B za pomocą GRPO na LIFT-Train i IFTrain. W przypadku IFTrain nagroda osiągnęła 1,0 w 180. kroku, a mediana długości odpowiedzi spadła ze 114 słów do 18 w 390. kroku. W przypadku LIFT-Train mediana długości odpowiedzi utrzymywała się na poziomie około 390–530 słów, a żadna wysoko punktowana odpowiedź nie miała mniej niż 30 słów.

Wycinek LIFT-Train obejmujący wyłącznie zadania płaskie, który miał taki sam format powierzchniowy jak IFTrain, ale uwzględniał treść w nagrodzie, również pozwolił na bezproblemowe trenowanie. Według AI21 wskazuje to, że czynnikiem decydującym jest treść uwzględniona w nagrodzie, a nie format, firma zaznacza jednak, że tematyka zbiorów danych nadal się różni — Wikipedia kontra WildChat. W pięciu benchmarkach po 180 krokach GRPO każda z metod osiągnęła najlepszy wynik na własnym benchmarku; w AdvancedIF i ComplexBench, które również oceniają treść, wyniki IFTrain pogorszyły się, podczas gdy LIFT-Train utrzymał stabilny poziom. AI21 określa niewielkie różnice jako uniknięcie regresji, a nie ogólne zwycięstwo.

Jak informuje AI21, podczas trenowania Qwen3-32B osobno na każdym zakresie i na ich mieszance, trenowanie wyłącznie na danych strukturalnych przyniosło wynik 0,805 w zadaniach płaskich, a trenowanie wyłącznie na danych płaskich — 0,798 w zadaniach strukturalnych, wobec odpowiednio 0,896 i 0,919 w przypadku mieszanki. Program nauczania od łatwiejszych do trudniejszych zadań nie przyniósł różnicy. W podsumowaniu firma zaleca zespołom trenującym modele w zakresie wykonywania instrukcji, by mierzyły wykonanie zadania, a nie tylko przestrzeganie reguł, weryfikowały oceniający model za pomocą ludzkich etykiet, wybierały model bazowy na podstawie ewaluacji w określonym zakresie, a nie rankingu dla zadań płaskich, oraz wykorzystywały ewaluację jako nagrodę i jednocześnie śledziły długość odpowiedzi wraz z przebiegiem krzywej nagrody.

Dostępność

LIFT-Bench, LIFT-Train i potok syntezy są dostępne w GitHubie na licencji Apache-2.0, a podziały benchmarku udostępniono w Hugging Face Hub pod nazwą ai21labs/LIFTBench. Zadania są generowane w formacie natywnie obsługiwanym przez bibliotekę verifiers firmy PrimeIntellect na potrzeby ewaluacji i trenowania RL, a w repozytorium udostępniono mieszankę treningową prime-rl z pięcioma podziałami, obejmującą 17 129 zadań. Weryfikowalne typy ograniczeń obejmują język, konwencję stosowania wielkich i małych liter, liczbę słów kluczowych, liczbę emoji oraz strukturę dokumentu zgodną z konspektem.