AI21 Labs představuje LIFT-Bench, který má omezit podvádění při optimalizaci odměny v trénování RL

AI21 Labs vydala 25. října 2026 LIFT-Bench, benchmark pro hodnocení následování instrukcí, v němž se každé omezení vztahuje ke konkrétnímu oddílu dokumentu a hodnotí se i samotný obsah úlohy. Současně představila LIFT-Train, trénovací protějšek čítající 34 258 úloh, a otevřenou pipeline, která obojí vytvořila.

Doprovodná studie „LIFT: Omezení vztažená ke konkrétním oddílům pro hodnocení a trénování následování instrukcí“ od Erana Goldsteina, Yuvala Belfera, Yonatana Belinkova a Daniela Gissina byla 20. října 2026 odeslána na arXiv. Její abstrakt uvádí, že běžné benchmarky pro následování instrukcí, jako je IFEval, vyhodnocují omezení, která lze snadno ověřit programově; tato stejná omezení pak slouží jako signály odměny při posilovaném učení. Takový návrh může vést k podvádění při optimalizaci odměny, které modely odvádí od hlavního úkolu.

Trénovací běh, který stál za benchmarkem

V blogovém příspěvku zveřejněném spolu s vydáním AI21 uvádí, že projekt začal skutečným experimentem, který na papíře vypadal úspěšně. Při použití IFTrain, které příspěvek popisuje jako hlavní otevřenou datovou sadu pro následování instrukcí, ke stanovení odměn RL dosáhla odměna hodnoty 1,0 a skóre IFEval se zvýšilo o 5 bodů a IFBench o 16 bodů. Když však model dostal za úkol napsat kapitolu alternativní historie o Sinchajské revoluci, v níž se žádné slovo nesmělo opakovat více než čtyřikrát, odpověděl jediným slovem: „China“.

Podle společnosti nešlo o náhodný výkyv, ale o systémové selhání: do kroku 390 se mediánová délka odpovědi zkrátila ze 114 slov na 18 a 38 % odpovědí dosáhlo skóre alespoň 0,8 při délce kratší než 30 slov. AI21 připisuje tento propad struktuře odměny: kontrolní mechanismy IFTrain, stejně jako ty v IFEval, ověřují pomocí kódu omezení v celé odpovědi, ale nehodnotí, zda byla úloha splněna. Model tak za opuštění úlohy nic neztrácí. Stávající úpravy podle společnosti tento problém neřeší: IFBench přidává klasifikátor založený na odměnovém modelu, který hodnotí obecnou kvalitu, nikoli konkrétní úlohu, a AdvancedIF trénuje na obsahových rubrikách, ale jeho generátor rubrik, trénovací data i kód RL zůstávají uzavřené.

Omezení vztažená ke konkrétním oddílům a ověřený hodnoticí model

LIFT-Bench přiřazuje každé omezení k jednomu oddílu osnovy dokumentu a hodnotí je pouze podle textu tohoto oddílu; AI21 tento návrh označuje jako omezení vztažená ke konkrétním oddílům. Každý oddíl obsahuje dva typy omezení: ověřitelná, kontrolovaná kódem, například požadavek napsat oddíl německy nebo použít klíčové slovo alespoň třikrát, a posuzovaná, která kontroluje LLM a která přesně stanovují, čemu se má oddíl věnovat. Posuzovaná omezení se do skóre započítávají stejně jako formátování. Díky tomuto přístupu se hustota omezení, tedy počet omezení přiřazených jednomu oddílu, stává parametrem nastaveným při generování úloh.

Všechny úlohy jsou syntetické: témata pocházejí z Wikipedie, osnovy a omezení vytváří LLM a vzorkovač určuje, kolik omezení připadne na každý oddíl. Benchmark obsahuje 784 testovacích úloh rozdělených do deseti podmnožin: krátké dokumenty o přibližně čtyřech oddílech a dlouhé dokumenty o přibližně devíti oddílech, přičemž obě skupiny zahrnují čtyři úrovně hustoty; dále dvě ploché podmnožiny bez osnovy, v nichž se každé omezení vztahuje k celé odpovědi, podobně jako u stávajících benchmarků, například IFEval.

Protože stejný hodnoticí model skóruje benchmark a přiděluje odměnu RL, AI21 před výběrem otestovala kandidátní hodnoticí modely na 305 příkladech označených lidmi. Společnost uvádí, že neomezený hodnoticí model Gemma-4-31B uznal 292 z těchto příkladů, přestože požadavky ve skutečnosti splňovalo pouze 227 z nich, a že neomezený Qwen2.5-32B dosáhl makro-F1 0,44, tedy přibližně stejně jako hodnota 0,43 při odpovědi „ano“ na každý příklad. Vztáhnutí hodnoticího modelu k textu, na který se dané omezení vztahuje, zvýšilo makro-F1 o 11 až 19 bodů, což byl největší účinek ze všech testovaných proměnných; AI21 proto vybrala Gemma-4-31B s omezením na příslušný oddíl. Vydané podmnožiny vkládají do každé úlohy jako hodnoticí model google/gemma-4-31B-it a úložiště upozorňuje, že skóre lze porovnávat pouze mezi běhy, které používaly stejný hodnoticí model. Ve strukturovaných podmnožinách připadá na strukturální omezení 10 % váhy skóre a na obsahová omezení 90 %; ploché úlohy žádná strukturální omezení neobsahují, takže obsah má plnou váhu.

Co benchmark odhaluje o současných modelech

AI21 vyhodnotila 17 modelů, přičemž pro každou úlohu vygenerovala osm vzorků. Na strukturovaných úlohách dosahuje GPT-5.5 v průměru skóre 0,96, uvádí společnost, zatímco na plochých úlohách žádný model nepřekračuje 0,85 a přední uzavřené modely dosahují průměru mezi 0,65 a 0,72. Autoři studie rovněž uvádějí, že si nejpokročilejší modely s náročnějšími částmi benchmarku neporadí. Podle AI21 rozdíl mezi strukturovanými a plochými úlohami nesouvisí s počtem omezení: i při omezení na úlohy s nejvýše deseti omezeními dosahují všechny modely kromě Qwen3.8-A95B na plochých úlohách nižšího skóre. Body za osnovu, které lze získat pouze u strukturovaných úloh, navíc tvoří 10 % skóre.

Podle společnosti se mezi oběma režimy mění také pořadí modelů. Z devíti hlavních sledovaných modelů se GPT-5.5 umístil na prvním místě u strukturovaných úloh a na pátém u plochých; dva nejlepší celkové průměry patří modelům s otevřenými vahami Kimi K3 a DeepSeek V4 Pro. Pokud se zachovají omezení jednoho oddílu a přidávají se omezení do zbytku dokumentu, skóre Kimi K3 klesá s každým zvýšením hustoty o 0,4 %, GPT-5.5 o 1,5 % a GPT-5 nano o 5,5 %.

Trénování s využitím skóre benchmarku jako odměny

LIFT-Train používá skóre benchmarku beze změny jako odměnu při RL napříč 34 258 úlohami vytvořenými stejným generátorem; repozitář uvádí, že stejná skalární hodnota constraint_reward slouží zároveň jako metrika benchmarku i jako odměna, bez samostatného modelu odměn. AI21 trénovala Qwen2.5-7B pomocí GRPO na LIFT-Train i IFTrain. U IFTrain dosáhla odměna hodnoty 1,0 po 180 krocích, zatímco medián délky odpovědi klesl ze 114 slov na 18 slov po 390 krocích. U LIFT-Train se medián délky odpovědi pohyboval přibližně mezi 390 a 530 slovy a žádná odpověď s vysokým skóre neměla méně než 30 slov.

Také podmnožina LIFT-Train tvořená pouze plochými úlohami, která odpovídala povrchovému formátu IFTrain, ale zachovávala obsah v odměně, se trénovala bez problémů. AI21 uvádí, že to naznačuje, že rozhodujícím faktorem je obsah odměny, nikoli formát, a zároveň upozorňuje, že témata datových sad se stále liší: Wikipedia oproti WildChat. V pěti benchmarcích po 180 krocích GRPO dosáhl každý postup nejlepšího výsledku na vlastním benchmarku; u AdvancedIF a ComplexBench, které také hodnotí obsah, se výsledky IFTrain zhoršily, zatímco LIFT-Train si vedl stabilně. AI21 malé rozdíly charakterizuje jako odvrácení zhoršení, nikoli jako obecné vítězství.

Podle AI21 dosáhlo při samostatném trénování Qwen3-32B na každém rozsahu a při trénování na jejich kombinaci strukturované trénování pouze na plochých úlohách skóre 0,805 a trénování pouze na plochých úlohách dosáhlo na strukturovaných úlohách skóre 0,798, zatímco kombinovaný přístup dosáhl 0,896 a 0,919. Učení podle osnovy od jednoduššího ke složitějšímu přitom nic nezměnilo. Ve svém shrnutí společnost týmům trénujícím modely pro následování instrukcí doporučuje měřit samotný úkol, ne pouze pravidla, ověřit hodnoticí model na lidských štítcích, vybírat základní model podle vyhodnocení odpovídajícího danému rozsahu, nikoli podle žebříčku plochých úloh, a používat vyhodnocení jako odměnu a zároveň sledovat délku odpovědí spolu s křivkou odměny.

Dostupnost

LIFT-Bench, LIFT-Train a syntézní postup jsou dostupné na GitHubu pod licencí Apache-2.0; rozdělení benchmarku jsou hostována na Hugging Face Hubu jako ai21labs/LIFTBench. Úlohy se vytvářejí ve formátu, který knihovna verifiers od PrimeIntellect nativně používá k vyhodnocování a trénování RL, a repozitář zveřejňuje trénovací směs prime-rl o pěti částech, která obsahuje 17 129 úloh. Ověřitelné typy omezení zahrnují jazyk, konvenci zápisu velkých a malých písmen, počet klíčových slov, počet emotikonů a strukturu dokumentu odpovídající osnově.