AI21 Labs lanserer LIFT-Bench for å begrense belønningshacking i RL-trening

AI21 Labs lanserte LIFT-Bench 25. oktober 2026, en referanse for instruksjonsfølging der hver begrensning er knyttet til én del av et dokument, og selve oppgaveinnholdet blir vurdert. Samtidig lanserte selskapet LIFT-Train, en tilsvarende treningsressurs med 34 258 oppgaver, og den åpne datapipelinen som genererte begge.

En tilhørende artikkel, «LIFT: Scoped Constraints for Evaluating and Training Instruction Following» av Eran Goldstein, Yuval Belfer, Yonatan Belinkov og Daniel Gissin, ble sendt inn til arXiv 20. oktober 2026. I sammendraget står det at vanlige referanser for instruksjonsfølging, som IFEval, vurderer begrensninger som enkelt kan kontrolleres automatisk, at de samme begrensningene deretter brukes som belønningssignaler i forsterkningslæring, og at denne utformingen kan føre til belønningshacking som trekker modellene bort fra hovedoppgaven.

Treningsforsøket bak referanseverktøyet

I et blogginnlegg publisert sammen med lanseringen forteller AI21 at prosjektet begynte med et faktisk eksperiment som så vellykket ut på papiret. Ved å bruke IFTrain, som innlegget beskriver som det foretrukne åpne datasettet for instruksjonsfølging, som kilde til RL-belønning, fikk forsøket belønningen opp i 1,0 og økte resultatet på IFEval med 5 poeng og på IFBench med 16 poeng. Men da modellen ble bedt om å skrive et kapittel med alternativ historie om Xinhai-revolusjonen, der ingen ord skulle gjentas mer enn fire ganger, svarte den med ett eneste ord: «China».

Ifølge selskapet var feilen systematisk, ikke et tilfeldig avvik: innen trinn 390 hadde medianlengden på svarene falt fra 114 ord til 18, og 38 % av svarene oppnådde minst 0,8 poeng med færre enn 30 ord. AI21 mener at sammenbruddet skyldes hvordan belønningen er utformet: Kontrollene i IFTrain, i likhet med dem i IFEval, verifiserer begrensninger med kode for hele svaret, men vurderer ikke om oppgaven faktisk er utført. Dermed koster det ikke modellen noe å utelate selve oppgaven. Ifølge selskapet løser ikke eksisterende tiltak dette problemet: IFBench legger til en klassifikator basert på en belønningsmodell, som vurderer generell kvalitet snarere enn den konkrete oppgaven, mens AdvancedIF trener på innholdskriterier, men holder generatoren for vurderingskriterier, treningsdataene og RL-koden lukket.

Avgrensede begrensninger og en validert dommer

LIFT-Bench knytter hver begrensning til én del av en dokumentdisposisjon og vurderer den bare opp mot teksten i den delen. AI21 kaller dette avgrensede begrensninger. Hver del har to typer begrensninger: begrensninger som kan kontrolleres med kode, for eksempel at en del skal være på tysk eller at et nøkkelord skal brukes minst tre ganger, og begrensninger som vurderes av en LLM og angir hva delen må dekke. Begrensninger som vurderes av en modell, teller med i samme poengsum som formateringen. Avgrensningen gjør også begrensningstetthet – antallet begrensninger knyttet til én enkelt del – til en parameter som fastsettes når oppgavene genereres.

Alle oppgavene er syntetiske: Temaene hentes fra Wikipedia, mens disposisjoner og begrensninger genereres av en LLM. En utvalgsfunksjon styrer hvor mange begrensninger som knyttes til hver del. Referanseverktøyet omfatter 784 testoppgaver fordelt på ti delsett: korte dokumenter med omtrent fire deler og lange dokumenter med omtrent ni deler, hver med fire tetthetsnivåer, samt to flate delsett uten disposisjon. I disse gjelder hver begrensning hele svaret, slik det gjør i eksisterende referanser som IFEval.

Fordi den samme dommeren vurderer referanseverktøyet og deler ut RL-belønningen, testet AI21 aktuelle dommere mot 305 eksempler merket av mennesker før selskapet valgte én. Selskapet rapporterer at en Gemma-4-31B-dommer uten avgrensning godtok 292 av eksemplene, selv om bare 227 faktisk oppfylte kravene, og at en Qwen2.5-32B-dommer uten avgrensning fikk 0,44 i makro-F1, omtrent det samme som 0,43-resultatet man får ved alltid å svare ja. Ved å avgrense dommeren til teksten hver begrensning gjelder for, økte makro-F1 med 11 til 19 poeng – den største effekten av alle variablene som ble testet – og AI21 valgte Gemma-4-31B med avgrensning. I de utgitte delsettene er google/gemma-4-31B-it oppført som dommer i hver oppgave, og repositoriet advarer om at resultater bare kan sammenlignes mellom kjøringer som brukte samme dommer. I strukturerte delsett utgjør strukturbegrensninger 10 % av poengvekten og innholdsbegrensninger 90 %. Flate oppgaver har ingen strukturbegrensninger, så innholdet utgjør hele poengvekten.

Hva referanseverktøyet viser om dagens modeller

AI21 evaluerte 17 modeller med åtte prøver per oppgave. På strukturerte oppgaver får GPT-5.5 i gjennomsnitt 0,96, rapporterer selskapet, mens ingen modell får over 0,85 på flate oppgaver, og de ledende lukkede modellene får i gjennomsnitt mellom 0,65 og 0,72. Forfatterne av artikkelen sier også at de mest avanserte modellene sliter med de vanskeligere delsettene i referanseverktøyet. Ifølge AI21 skyldes ikke forskjellen mellom strukturerte og flate oppgaver mengden begrensninger: Selv når man bare ser på oppgaver med ti begrensninger eller færre, får alle modeller unntatt Qwen3.8-A95B fortsatt lavere poengsum på flate oppgaver. Poengene for disposisjonen, som bare kan oppnås på strukturerte oppgaver, utgjør 10 % av poengsummen.

Ifølge selskapet endres også rangeringene mellom de to oppgavetypene. Blant de ni viktigste modellene som følges, kommer GPT-5.5 på førsteplass på strukturerte oppgaver og femteplass på flate oppgaver. De to høyeste gjennomsnittsresultatene totalt tilhører modellene med åpne vekter Kimi K3 og DeepSeek V4 Pro. Når begrensningene i én del holdes uendret mens det legges til begrensninger i resten av dokumentet, faller resultatet for Kimi K3 med 0,4 % per tetthetstrinn og for GPT-5.5 med 1,5 %, mens GPT-5 nano faller med 5,5 %.

Trening med referanseverktøyets poengsum som belønning

LIFT-Train bruker benchmarkens poengsum uendret som RL-belønning på tvers av 34 258 oppgaver fra samme generator. I repositoriet står det at den samme constraint_reward-skalarverdien brukes både som benchmarkmåling og belønning, uten en separat belønningsmodell. AI21 trente Qwen2.5-7B med GRPO på LIFT-Train og IFTrain. På IFTrain nådde belønningen 1,0 ved steg 180, mens medianlengden på svarene falt fra 114 ord til 18 ord ved steg 390. På LIFT-Train holdt medianlengden seg på rundt 390 til 530 ord, og ingen svar med høy poengsum var kortere enn 30 ord.

Også et delsett av LIFT-Train med bare flate oppgaver – som samsvarer med IFTrains overflateformat, men beholder innholdet i belønningen – lot seg trene uten problemer. AI21 sier at dette tyder på at det er innholdet i belønningen, ikke formatet, som er avgjørende, samtidig som selskapet påpeker at datasettene fortsatt har ulike temaer: Wikipedia versus WildChat. På fem benchmarker etter 180 GRPO-steg vant hver oppskrift på sin egen benchmark. På AdvancedIF og ComplexBench, som også måler innhold, gikk IFTrain tilbake, mens LIFT-Train holdt seg stabil. AI21 beskriver de små utslagene som et tegn på at man unngår tilbakegang, snarere enn en generell seier.

AI21 opplyser at trening av Qwen3-32B separat på hvert omfang og på en blanding ga en poengsum på 0.805 for trening med bare strukturerte oppgaver på flate oppgaver, og 0.798 for trening med bare flate oppgaver på strukturerte oppgaver. Til sammenligning ga blandingen 0.896 og 0.919. Et treningsopplegg fra enkle til vanskelige oppgaver gjorde ingen forskjell. I oppsummeringen anbefaler selskapet team som trener modeller til å følge instruksjoner, å måle selve oppgaven, ikke bare reglene, kontrollere vurderingsmodellen mot menneskelige etiketter, velge grunnmodellen ut fra evalueringen for det aktuelle omfanget i stedet for en generell resultatliste, og bruke evalueringen som belønning samtidig som de følger med på svarlengden langs belønningskurven.

Tilgjengelighet

LIFT-Bench, LIFT-Train og syntesepipelinen er tilgjengelige på GitHub under Apache-2.0-lisensen, og benchmarkoppdelingene er tilgjengelige på Hugging Face Hub som ai21labs/LIFTBench. Oppgavene genereres i formatet som PrimeIntellects verifiers-bibliotek bruker direkte til evaluering og RL-trening, og repositoriet publiserer en prime-rl-treningsblanding med fem oppdelinger og 17 129 oppgaver. Verifiserbare begrensningstyper omfatter språk, regler for bruk av store og små bokstaver, antall nøkkelord, antall emojier og dokumentstruktur som samsvarer med en disposisjon.