AI21 Labs veröffentlicht LIFT-Bench, um Reward-Hacking beim RL-Training einzudämmen

AI21 Labs veröffentlichte LIFT-Bench am 25. Oktober 2026. Der Benchmark zur Befolgung von Anweisungen bewertet Aufgaben, bei denen jede Vorgabe einem einzelnen Abschnitt eines Dokuments zugeordnet ist, anhand des jeweiligen Aufgabeninhalts. Gleichzeitig veröffentlichte das Unternehmen LIFT-Train, das entsprechende Trainingsset mit 34.258 Aufgaben, sowie die offene Pipeline, mit der beide erstellt wurden.

Eine begleitende Studie mit dem Titel „LIFT: Scoped Constraints for Evaluating and Training Instruction Following“ von Eran Goldstein, Yuval Belfer, Yonatan Belinkov und Daniel Gissin wurde am 20. Oktober 2026 bei arXiv eingereicht. Laut ihrem Abstract bewerten gängige Benchmarks zur Befolgung von Anweisungen wie IFEval Vorgaben, die sich leicht automatisch überprüfen lassen. Dieselben Vorgaben dienen anschließend als Belohnungssignale für Reinforcement Learning. Dieser Ansatz kann zu Reward-Hacking führen und Modelle von der eigentlichen Aufgabe abbringen.

Der Trainingslauf hinter dem Benchmark

In einem zusammen mit der Veröffentlichung erschienenen Blogbeitrag berichtet AI21, dass das Projekt mit einem realen Experiment begann, das auf dem Papier erfolgreich aussah. Der Trainingslauf nutzte IFTrain, das der Beitrag als maßgeblichen offenen Datensatz für die Befolgung von Anweisungen beschreibt, als Quelle für RL-Belohnungen. Dadurch stieg die Belohnung auf 1,0, der IFEval-Wert um 5 Punkte und der IFBench-Wert um 16 Punkte. Als das Modell jedoch gebeten wurde, ein Kapitel einer alternativen Geschichtserzählung über die Xinhai-Revolution zu verfassen, in dem kein Wort häufiger als viermal vorkommen sollte, antwortete es mit nur einem Wort: „China“.

Laut dem Unternehmen war das Versagen systematisch und kein Einzelfall: Bis Schritt 390 sank die Länge der mittleren Antwort von 114 auf 18 Wörter, und 38 % der Antworten erzielten mit weniger als 30 Wörtern mindestens 0,8 Punkte. AI21 führt den Einbruch auf den Aufbau der Belohnungsfunktion zurück: Die Prüfer von IFTrain verifizieren Vorgaben wie die von IFEval anhand des gesamten Textes mit Code, bewerten aber nicht, ob die Aufgabe erledigt wurde. Lässt das Modell die Aufgabe aus, kostet es dadurch nichts. Bestehende Korrekturmaßnahmen schließen diese Lücke laut dem Unternehmen nicht: IFBench ergänzt einen Klassifikator auf Basis eines Belohnungsmodells, der die allgemeine Qualität statt der konkreten Aufgabe bewertet. AdvancedIF trainiert zwar anhand von Inhaltsrubriken, hält aber den Rubrikgenerator, die Trainingsdaten und den RL-Code unter Verschluss.

Abschnittsbezogene Vorgaben und ein validierter Prüfer

LIFT-Bench ordnet jede Vorgabe einem Abschnitt der Dokumentgliederung zu und bewertet sie ausschließlich anhand des Textes in diesem Abschnitt. AI21 bezeichnet diesen Ansatz als abschnittsbezogene Vorgaben. Für jeden Abschnitt gibt es zwei Arten von Vorgaben: überprüfbare, die mithilfe von Code kontrolliert werden, etwa die Anforderung, einen Abschnitt auf Deutsch zu verfassen oder ein Schlüsselwort mindestens dreimal zu verwenden, und bewertungsbasierte, die von einem LLM geprüft werden und genau festlegen, welche Inhalte der Abschnitt behandeln muss. Bewertungsbasierte Vorgaben fließen ebenso wie Formatierungsvorgaben in dieselbe Punktzahl ein. Durch die Zuordnung zu einzelnen Abschnitten wird auch die Vorgabendichte – also die Zahl der einem Abschnitt zugewiesenen Vorgaben – zu einem Parameter, der bei der Aufgabenerstellung festgelegt wird.

Alle Aufgaben sind synthetisch erstellt: Die Themen stammen aus Wikipedia, die Gliederungen und Vorgaben von einem LLM, und ein Stichprobenverfahren steuert, wie viele Vorgaben jedem Abschnitt zugewiesen werden. Der Benchmark umfasst 784 Testaufgaben in zehn Teilmengen: kurze Dokumente mit etwa vier Abschnitten und lange Dokumente mit etwa neun Abschnitten, jeweils mit vier Dichtestufen, sowie zwei flache Teilmengen ohne Gliederung. Bei diesen gilt jede Vorgabe für die gesamte Antwort, wie bei bestehenden Benchmarks, etwa IFEval.

Da derselbe Prüfer sowohl den Benchmark bewertet als auch die RL-Belohnung vergibt, testete AI21 vor der Auswahl verschiedene Prüfer anhand von 305 von Menschen annotierten Beispielen. Das Unternehmen berichtet, dass ein nicht abschnittsbezogener Prüfer auf Basis von Gemma-4-31B 292 dieser Beispiele als erfüllt einstufte, obwohl tatsächlich nur 227 die Vorgaben erfüllten. Ein nicht abschnittsbezogener Prüfer auf Basis von Qwen2.5-32B erzielte einen Macro-F1-Wert von 0,44 – ungefähr so viel wie die 0,43, die sich erzielen ließen, wenn stets mit Ja geantwortet wurde. Die Zuordnung des Prüfers zum Text, für den die jeweilige Vorgabe gilt, erhöhte den Macro-F1-Wert um 11 bis 19 Punkte – der stärkste Effekt aller getesteten Variablen. AI21 entschied sich für Gemma-4-31B mit abschnittsbezogenem Prüfer. In den veröffentlichten Teilmengen ist für jede Aufgabe google/gemma-4-31B-it als Prüfer angegeben. Das Repository warnt, dass sich Werte nur zwischen Durchläufen vergleichen lassen, bei denen derselbe Prüfer zum Einsatz kam. In den strukturierten Teilmengen entfallen 10 % der Punkte auf Strukturvorgaben und 90 % auf Inhaltsvorgaben. Bei flachen Aufgaben gibt es keine Strukturvorgaben, sodass die Inhalte das gesamte Gewicht ausmachen.

Was der Benchmark über aktuelle Modelle zeigt

AI21 bewertete 17 Modelle mit jeweils acht Stichproben pro Aufgabe. Bei strukturierten Aufgaben erzielt GPT-5.5 im Durchschnitt 0,96 Punkte, berichtet das Unternehmen. Bei flachen Aufgaben erreicht dagegen kein Modell mehr als 0,85 Punkte; die führenden geschlossenen Modelle kommen im Durchschnitt auf Werte zwischen 0,65 und 0,72. Auch die Autoren der Studie halten fest, dass Spitzenmodelle mit den anspruchsvolleren Teilmengen des Benchmarks zu kämpfen haben. Laut AI21 liegt der Unterschied zwischen strukturierten und flachen Aufgaben nicht an der Anzahl der Vorgaben: Beschränkt man die Aufgaben auf höchstens zehn Vorgaben, erzielt weiterhin jedes Modell außer Qwen3.8-A95B bei flachen Aufgaben niedrigere Werte. Zudem machen die Punkte für Gliederungsvorgaben, die nur bei strukturierten Aufgaben vergeben werden können, 10 % der Gesamtpunktzahl aus.

Auch die Rangfolge unterscheidet sich je nach Aufgabentyp, berichtet das Unternehmen. Unter den neun erfassten Hauptmodellen belegt GPT-5.5 bei strukturierten Aufgaben den ersten und bei flachen Aufgaben den fünften Platz. Die beiden besten Gesamtdurchschnittswerte erzielen die Open-Weight-Modelle Kimi K3 und DeepSeek V4 Pro. Bleiben die Vorgaben für einen Abschnitt unverändert, während für den Rest des Dokuments weitere hinzukommen, verliert Kimi K3 pro Dichtestufe 0,4 %, GPT-5.5 1,5 % und GPT-5 nano 5,5 %.

Training mit der Benchmark-Punktzahl als Belohnung

LIFT-Train verwendet den Benchmark-Score unverändert als RL-Belohnung für 34.258 Aufgaben desselben Generators. Im Repository wird darauf hingewiesen, dass derselbe constraint_reward-Skalar sowohl als Benchmark-Metrik als auch als Belohnung dient und kein separates Belohnungsmodell verwendet wird. AI21 trainierte Qwen2.5-7B mit GRPO auf LIFT-Train und IFTrain. Bei IFTrain erreichte die Belohnung bis Schritt 180 den Wert 1,0, während die mediane Antwortlänge bis Schritt 390 von 114 auf 18 Wörter sank. Bei LIFT-Train blieb die mediane Antwortlänge bei etwa 390 bis 530 Wörtern, und keine Antwort mit hoher Punktzahl war kürzer als 30 Wörter.

Auch ein ausschließlich flacher Ausschnitt von LIFT-Train, dessen Oberflächenformat dem von IFTrain entsprach, während der Inhalt weiterhin in die Belohnung einfloss, ließ sich problemlos trainieren. AI21 zufolge deutet dies darauf hin, dass der Inhalt der Belohnung und nicht das Format ausschlaggebend ist. Zugleich weist das Unternehmen darauf hin, dass sich die Themen der Datensätze weiterhin unterscheiden: Wikipedia gegenüber WildChat. Bei fünf Benchmarks nach 180 GRPO-Schritten schnitt jedes Trainingsrezept bei seinem jeweiligen Benchmark am besten ab. Bei AdvancedIF und ComplexBench, die ebenfalls Inhalte bewerten, fiel IFTrain zurück, während LIFT-Train stabil blieb. AI21 beschreibt die geringen Unterschiede als Vermeidung eines Rückschritts und nicht als allgemeinen Erfolg.

Beim separaten Training von Qwen3-32B auf den jeweiligen Aufgabenbereichen sowie mit einer Mischung erzielte das Training ausschließlich mit strukturierten Aufgaben bei flachen Aufgaben einen Wert von 0,805, während das Training ausschließlich mit flachen Aufgaben bei strukturierten Aufgaben 0,798 erreichte. Die Mischung kam hingegen auf 0,896 beziehungsweise 0,919. Ein Lehrplan von einfachen zu schwierigen Aufgaben machte keinen Unterschied, berichtet AI21. In seiner Zusammenfassung empfiehlt das Unternehmen Teams, die Modelle auf das Befolgen von Anweisungen trainieren, die Aufgabe und nicht nur die Regeln zu messen, die Bewertungen mit menschlichen Beurteilungen abzugleichen, das Basismodell anhand der auf den jeweiligen Aufgabenbereich zugeschnittenen Evaluation statt anhand einer allgemeinen Rangliste für flache Aufgaben auszuwählen und die Evaluation als Belohnung zu verwenden, während sie die Antwortlänge parallel zum Verlauf der Belohnungskurve verfolgen.

Verfügbarkeit

LIFT-Bench, LIFT-Train und die Synthesepipeline sind auf GitHub verfügbar und stehen unter einer Apache-2.0-Lizenz. Die Benchmark-Aufteilungen werden auf dem Hugging Face Hub unter ai21labs/LIFTBench bereitgestellt. Die Aufgaben werden in einem Format ausgegeben, das die verifiers-Bibliothek von PrimeIntellect nativ für Evaluation und RL-Training verarbeiten kann. Außerdem veröffentlicht das Repository eine prime-rl-Trainingsmischung mit fünf Aufteilungen und 17.129 Aufgaben. Zu den überprüfbaren Einschränkungstypen gehören Sprache, Groß- und Kleinschreibung, die Anzahl von Schlüsselwörtern und Emojis sowie die Gliederung eines Dokuments.