AI21 Labs brengt LIFT-Bench uit om beloningsmanipulatie tijdens RL-training tegen te gaan

AI21 Labs heeft LIFT-Bench uitgebracht op 25 oktober 2026: een benchmark voor het opvolgen van instructies waarin elke beperking aan één sectie van een document is gekoppeld en de inhoud van de taak zelf wordt beoordeeld. Tegelijkertijd bracht het bedrijf LIFT-Train uit, een trainingsvariant met 34.258 taken, en de open pipeline waarmee beide zijn gegenereerd.

Een begeleidend artikel, “LIFT: Scoped Constraints for Evaluating and Training Instruction Following” van Eran Goldstein, Yuval Belfer, Yonatan Belinkov en Daniel Gissin, is op 20 oktober 2026 ingediend bij arXiv. In het abstract staat dat gangbare benchmarks voor het opvolgen van instructies, zoals IFEval, beperkingen beoordelen die gemakkelijk programmatisch te verifiëren zijn, dat diezelfde beperkingen vervolgens als beloningssignalen voor reinforcement learning dienen en dat dit ontwerp kan leiden tot beloningsmanipulatie, waardoor modellen zich niet meer op de hoofdtaak richten.

De trainingsrun achter de benchmark

In een blogpost die samen met de release is gepubliceerd, meldt AI21 dat het project begon met een echt experiment dat op papier succesvol leek. De run gebruikte IFTrain, dat de blogpost omschrijft als de voornaamste open dataset voor het opvolgen van instructies, als bron voor RL-beloningen. Daarmee steeg de beloning naar 1,0, IFEval met 5 punten en IFBench met 16 punten. Maar toen het model werd gevraagd een hoofdstuk alternatieve geschiedenis over de Xinhai-revolutie te schrijven, zonder een woord vaker dan vier keer te gebruiken, antwoordde het met één enkel woord: “China”.

Volgens het bedrijf was de mislukking systematisch en geen toeval: bij stap 390 was het mediane antwoord gekrompen van 114 woorden naar 18, en scoorde 38% van de antwoorden minstens 0,8 in minder dan 30 woorden. AI21 schrijft de terugval toe aan de opzet van de beloning: de controlemechanismen van IFTrain verifiëren, net als die van IFEval, beperkingen met code aan de hand van het volledige antwoord. Niets beoordeelt echter of de taak is uitgevoerd, waardoor het model niets verliest als het de taak laat vallen. Volgens het bedrijf lossen bestaande lapmiddelen dit probleem niet op: IFBench voegt een classifier voor het beloningsmodel toe die de algemene kwaliteit beoordeelt in plaats van de specifieke taak, terwijl AdvancedIF traint met inhoudelijke beoordelingscriteria, maar de generator daarvan, de trainingsgegevens en de RL-code gesloten houdt.

Beperkingen per sectie en een gevalideerde beoordelaar

LIFT-Bench koppelt elke beperking aan één sectie van de documentstructuur en beoordeelt die alleen aan de hand van de tekst van die sectie. AI21 noemt dit beperkingen per sectie. Elke sectie bevat twee soorten beperkingen: verifieerbare beperkingen die met code worden gecontroleerd, zoals de eis dat een sectie in het Duits is geschreven of dat een trefwoord minstens drie keer voorkomt, en beoordelingscriteria die door een LLM worden gecontroleerd en aangeven wat de sectie moet behandelen. Beoordelingscriteria tellen even zwaar mee in de score als opmaak. Door beperkingen aan secties te koppelen, wordt ook de dichtheid ervan — het aantal beperkingen dat aan één sectie is gekoppeld — een parameter die tijdens het genereren van taken wordt ingesteld.

Alle taken zijn synthetisch: de onderwerpen komen van Wikipedia, de documentstructuren en beperkingen van een LLM, en een sampler bepaalt hoeveel beperkingen aan elke sectie worden toegewezen. De benchmark bevat 784 testtaken, verdeeld over tien splits: korte documenten met ongeveer vier secties en lange documenten met ongeveer negen secties, elk met vier dichtheidsniveaus, plus twee vlakke splits zonder documentstructuur. In die laatste is elke beperking van toepassing op het volledige antwoord, net als bij bestaande benchmarks zoals IFEval.

Omdat dezelfde beoordelaar de benchmarkscore bepaalt en de RL-beloning toekent, testte AI21 kandidaat-beoordelaars aan de hand van 305 door mensen gelabelde voorbeelden voordat het er een koos. Volgens het bedrijf accepteerde een beoordelaar op basis van Gemma-4-31B zonder beperkingen per sectie 292 van die voorbeelden, terwijl slechts 227 daadwerkelijk aan de criteria voldeden. Een beoordelaar op basis van Qwen2.5-32B zonder beperkingen per sectie behaalde een macro-F1-score van 0,44, ongeveer gelijk aan de 0,43 die je krijgt door altijd ja te antwoorden. Door de beoordelaar te beperken tot de tekst waarop elke beperking van toepassing is, steeg de macro-F1-score met 11 tot 19 punten — het grootste effect van alle geteste variabelen — waarna AI21 koos voor Gemma-4-31B met beperkingen per sectie. In de uitgebrachte splits staat google/gemma-4-31B-it bij elke taak vermeld als beoordelaar. De repository waarschuwt dat scores alleen vergelijkbaar zijn tussen runs die dezelfde beoordelaar gebruikten. In gestructureerde splits krijgen structuurbeperkingen 10% van het scoregewicht en inhoudelijke beperkingen 90%. Vlakke taken bevatten geen structuurbeperkingen, waardoor de inhoud het volledige gewicht krijgt.

Wat de benchmark laat zien over de huidige modellen

AI21 beoordeelde 17 modellen met acht samples per taak. Op gestructureerde taken behaalt GPT-5.5 gemiddeld 0,96, meldt het bedrijf, terwijl op vlakke taken geen enkel model hoger dan 0,85 scoort en de toonaangevende gesloten modellen gemiddeld tussen 0,65 en 0,72 uitkomen. Ook de auteurs van het artikel stellen dat geavanceerde modellen moeite hebben met de moeilijkere subsets van de benchmark. Volgens AI21 ligt het verschil tussen gestructureerde en vlakke taken niet aan het aantal beperkingen: zelfs wanneer alleen taken met hoogstens tien beperkingen worden meegenomen, scoort elk model behalve Qwen3.8-A95B lager op vlakke taken. De punten voor documentstructuur, die alleen bij gestructureerde taken kunnen worden behaald, zijn goed voor 10% van de score.

Volgens het bedrijf verschuiven ook de ranglijsten tussen de twee taaktypen. Van de negen belangrijkste gevolgde modellen staat GPT-5.5 eerste op gestructureerde taken en vijfde op vlakke taken. De twee hoogste totaalgemiddelden zijn voor de open-weightmodellen Kimi K3 en DeepSeek V4 Pro. Als de beperkingen voor één sectie gelijk blijven terwijl er beperkingen aan de rest van het document worden toegevoegd, daalt de score van Kimi K3 met 0,4% per dichtheidsstap, die van GPT-5.5 met 1,5% en die van GPT-5 nano met 5,5%.

Trainen met de benchmarkscore als beloning

LIFT-Train gebruikt de benchmarkscore ongewijzigd als RL-beloning voor 34.258 taken uit dezelfde generator; de repository vermeldt dat dezelfde scalaire waarde constraint_reward zowel als benchmarkmaatstaf als beloning dient, zonder afzonderlijk beloningsmodel. AI21 trainde Qwen2.5-7B met GRPO op LIFT-Train en IFTrain. Op IFTrain bereikte de beloning bij stap 180 de waarde 1,0, terwijl de mediane lengte van de antwoorden bij stap 390 was gedaald van 114 woorden naar 18. Op LIFT-Train bleef de mediane antwoordlengte rond de 390 tot 530 woorden, en geen enkel antwoord met een hoge score telde minder dan 30 woorden.

Ook een subset van LIFT-Train met alleen platte taken, die qua oppervlakkige indeling overeenkwam met IFTrain maar de inhoud in de beloning behield, werd probleemloos getraind. Volgens AI21 wijst dit erop dat de inhoud van de beloning, en niet de opmaak, doorslaggevend is. Het bedrijf merkt daarbij op dat de onderwerpen van de datasets nog steeds verschillen: Wikipedia tegenover WildChat. Bij vijf benchmarks na 180 GRPO-stappen presteerde elke trainingsopzet het best op de eigen benchmark; op AdvancedIF en ComplexBench, die ook inhoud beoordelen, ging IFTrain achteruit terwijl LIFT-Train stabiel bleef. AI21 omschrijft de kleine verschillen als het voorkomen van een terugval, niet als een algemene overwinning.

Bij afzonderlijke training van Qwen3-32B op elke scope en bij training op een mix behaalde training met alleen gestructureerde taken een score van 0,805 op platte taken en training met alleen platte taken een score van 0,798 op gestructureerde taken, tegenover respectievelijk 0,896 en 0,919 voor de mix. Een curriculum van makkelijk naar moeilijk maakte geen verschil, meldt AI21. In de samenvatting adviseert het bedrijf teams die trainen op het volgen van instructies om de taak zelf te meten en niet alleen de regels, de beoordelaar te toetsen aan menselijke labels, het basismodel te kiezen op basis van de evaluatie voor de betreffende scope en niet op basis van een algemene ranglijst voor platte taken, en de evaluatie als beloning te gebruiken terwijl ze de antwoordlengte naast de beloningscurve volgen.

Beschikbaarheid

LIFT-Bench, LIFT-Train en de synthese-pijplijn zijn beschikbaar op GitHub onder een Apache-2.0-licentie; de benchmarkopsplitsingen zijn gehost op de Hugging Face Hub als ai21labs/LIFTBench. Taken worden gegenereerd in de indeling die de verifiers-bibliotheek van PrimeIntellect standaard gebruikt voor evaluatie en RL-training. De repository publiceert ook een prime-rl-trainingsmix met vijf splits en 17.129 taken. Controleerbare beperkingstypen omvatten taal, hoofdlettergebruik, het aantal trefwoorden, het aantal emoji’s en een documentstructuur die overeenkomt met de opgegeven opzet.