AI21 Labs lancerer LIFT-Bench for at begrænse belønningsmanipulation i RL-træning

AI21 Labs lancerede LIFT-Bench den 25. oktober 2026. Det er en benchmark til evaluering af instruktionsfølgning, hvor hver begrænsning er knyttet til ét afsnit i et dokument, og selve opgaveindholdet indgår i bedømmelsen. Samtidig lancerede virksomheden LIFT-Train, en pendant til træning med 34.258 opgaver, samt den åbne pipeline, der genererede begge dele.

En ledsagende artikel, ”LIFT: Scoped Constraints for Evaluating and Training Instruction Following” af Eran Goldstein, Yuval Belfer, Yonatan Belinkov og Daniel Gissin, blev indsendt til arXiv den 20. oktober 2026. I artiklens abstract står der, at almindelige benchmarks for instruktionsfølgning, såsom IFEval, evaluerer begrænsninger, der let kan verificeres programmatisk, og at de samme begrænsninger derefter bruges som belønningssignaler i forstærkningslæring. Dette design kan føre til belønningsmanipulation, der får modellerne til at fjerne sig fra hovedopgaven.

Træningsforløbet bag benchmarken

I et blogindlæg, der blev offentliggjort sammen med lanceringen, fortæller AI21, at projektet begyndte med et reelt eksperiment, der så vellykket ud på papiret. Kørslen brugte IFTrain, som blogindlægget beskriver som det foretrukne åbne datasæt til instruktionsfølgning, som kilde til RL-belønninger. Det løftede belønningen til 1,0 og øgede resultatet på IFEval med 5 point og på IFBench med 16 point. Men da modellen blev bedt om at skrive et kapitel i en alternativ historie om Xinhai-revolutionen, hvor intet ord måtte gentages mere end fire gange, svarede den med ét enkelt ord: ”China”.

Ifølge virksomheden var fejlen systematisk og ikke et tilfælde: Ved trin 390 var medianlængden på svarene faldet fra 114 ord til 18, og 38 % af svarene fik mindst 0,8 point med under 30 ord. AI21 tilskriver sammenbruddet belønningens opbygning: IFTrains kontrolfunktioner, ligesom IFEvals, verificerer begrænsninger ved hjælp af kode på tværs af hele svaret, men intet vurderer, om opgaven blev udført. Derfor koster det ikke modellen noget at opgive opgaven. Ifølge virksomheden løser eksisterende lappeløsninger ikke dette problem: IFBench tilføjer en klassifikator i en belønningsmodel, som vurderer den generelle kvalitet frem for den specifikke opgave, mens AdvancedIF træner på indholdskriterier, men holder sin kriteriegenerator, sine træningsdata og sin RL-kode lukket.

Afsnitsspecifikke begrænsninger og en valideret dommer

LIFT-Bench knytter hver begrænsning til ét afsnit i dokumentets disposition og vurderer den kun ud fra teksten i det pågældende afsnit. AI21 kalder dette design for afsnitsspecifikke begrænsninger. Hvert afsnit har to slags begrænsninger: begrænsninger, der kan verificeres med kode, for eksempel at et afsnit skal være på tysk, eller at et nøgleord skal forekomme mindst tre gange, og begrænsninger, der vurderes af en LLM, og som præciserer, hvad afsnittet skal omhandle. De begrænsninger, der vurderes, tæller med i samme score som formateringen. Ved at knytte begrænsningerne til bestemte afsnit bliver det også muligt at indstille tætheden af begrænsninger – antallet af begrænsninger knyttet til ét enkelt afsnit – som en parameter under genereringen af opgaverne.

Alle opgaver er syntetiske: Emnerne kommer fra Wikipedia, dispositionerne og begrænsningerne fra en LLM, og en sampler styrer, hvor mange begrænsninger der knyttes til hvert afsnit. Benchmarken indeholder 784 testopgaver fordelt på ti opdelinger: korte dokumenter med omkring fire afsnit og lange dokumenter med omkring ni afsnit, hver med fire niveauer af begrænsningstæthed, samt to flade opdelinger uden disposition. I de flade opdelinger gælder hver begrænsning for hele svaret, som i eksisterende benchmarks såsom IFEval.

Fordi den samme dommer både bedømmer benchmarken og fastsætter RL-belønningen, afprøvede AI21 mulige dommere på 305 eksempler, der var mærket af mennesker, før virksomheden valgte en. Ifølge virksomheden godkendte en Gemma-4-31B-dommer uden afgrænsning 292 af eksemplerne, selvom kun 227 faktisk opfyldte kravene. En Qwen2.5-32B-dommer uden afgrænsning opnåede en makro-F1-score på 0,44, omtrent det samme som scoren på 0,43 ved altid at svare ja. Når dommeren blev afgrænset til den tekst, som hver begrænsning vedrører, steg makro-F1-scoren med 11 til 19 point – den største effekt af alle de afprøvede variabler – og AI21 valgte Gemma-4-31B med afgrænsning. De offentliggjorte opdelinger angiver google/gemma-4-31B-it som dommer i hver opgave, og arkivet advarer om, at scorer kun kan sammenlignes på tværs af kørsler, hvor den samme dommer er brugt. I de strukturerede opdelinger vægter begrænsninger for struktur 10 % af scoren og begrænsninger for indhold 90 %. Flade opgaver har ingen strukturbegrænsninger, så indholdet tæller for hele scoren.

Hvad benchmarken viser om de nuværende modeller

AI21 evaluerede 17 modeller med otte stikprøver pr. opgave. På strukturerede opgaver opnår GPT-5.5 ifølge virksomheden et gennemsnit på 0,96, mens ingen model på flade opgaver kommer over 0,85, og de førende lukkede modeller har gennemsnit på mellem 0,65 og 0,72. Artikelforfatterne skriver ligeledes, at de mest avancerede modeller har svært ved benchmarkens vanskeligere delmængder. Ifølge AI21 skyldes forskellen mellem strukturerede og flade opgaver ikke antallet af begrænsninger: Selv når man kun ser på opgaver med højst ti begrænsninger, scorer alle modeller undtagen Qwen3.8-A95B stadig lavere på flade opgaver, og de point for dispositionen, som kun kan opnås på strukturerede opgaver, udgør 10 % af scoren.

Ifølge virksomheden ændrer rangeringen sig også mellem de to opgavetyper. Blandt de ni primære modeller, der følges, ligger GPT-5.5 på førstepladsen på strukturerede opgaver og på femtepladsen på flade opgaver, mens de to højeste samlede gennemsnit tilhører open weight-modellerne Kimi K3 og DeepSeek V4 Pro. Hvis man fastholder begrænsningerne i ét afsnit og tilføjer begrænsninger til resten af dokumentet, falder Kimi K3 med 0,4 % pr. tæthedstrin og GPT-5.5 med 1,5 %, mens GPT-5 nano falder med 5,5 %.

Træning med benchmarkscoren som belønning

LIFT-Train bruger benchmarkens score uændret som RL-belønning på tværs af 34.258 opgaver fra den samme generator. I repositoriet står der, at den samme constraint_reward-skalærværdi både fungerer som benchmarkmål og belønning, uden en separat belønningsmodel. AI21 trænede Qwen2.5-7B med GRPO på LIFT-Train og IFTrain. På IFTrain nåede belønningen 1,0 ved trin 180, mens medianlængden af svarene faldt fra 114 ord til 18 ved trin 390. På LIFT-Train lå medianlængden af svarene på omkring 390 til 530 ord, og ingen svar med høj score var kortere end 30 ord.

Et udsnit af LIFT-Train med kun flade opgaver, der matcher IFTrains overfladeformat, men stadig har indhold i belønningen, kunne også trænes uden problemer. AI21 siger, at det tyder på, at indholdet i belønningen snarere end formatet er den afgørende faktor, men bemærker samtidig, at datasættenes emner stadig er forskellige: Wikipedia sammenlignet med WildChat. På tværs af fem benchmarks efter 180 GRPO-trin klarede hver opskrift sig bedst på sit eget benchmark; på AdvancedIF og ComplexBench, som også vurderer indhold, gik IFTrain tilbage, mens LIFT-Train holdt niveauet. AI21 beskriver de små forskelle som et udtryk for, at man undgår en tilbagegang, snarere end en generel forbedring.

AI21 oplyser, at træning af Qwen3-32B separat på hvert omfang og på en blanding gav følgende resultater: Træning udelukkende på strukturerede opgaver nåede 0,805 på flade opgaver, og træning udelukkende på flade opgaver nåede 0,798 på strukturerede opgaver, mod henholdsvis 0,896 og 0,919 for blandingen. Et curriculum fra lette til svære opgaver gjorde ingen forskel. I sin opsummering anbefaler virksomheden teams, der træner modeller til at følge instruktioner, at måle selve opgaven og ikke kun reglerne, kontrollere dommeren i forhold til menneskelige mærkninger, vælge basismodellen ud fra evalueringen af det afgrænsede område frem for en flad rangliste og bruge evalueringen som belønning, samtidig med at svarenes længde følges sammen med belønningskurven.

Tilgængelighed

LIFT-Bench, LIFT-Train og syntesepipelinen er tilgængelige på GitHub under en Apache-2.0-licens, og benchmarkopdelingerne ligger på Hugging Face Hub som ai21labs/LIFTBench. Opgaverne udsendes i det format, som PrimeIntellects verifiers-bibliotek bruger direkte til evaluering og RL-træning, og repositoriet indeholder en træningsblanding til prime-rl fordelt på fem opdelinger med 17.129 opgaver. De verificerbare begrænsningstyper omfatter sprog, regler for store og små bogstaver, antal nøgleord, antal emojis og dokumentstruktur, der matcher en disposition.