AI21 Labs lance LIFT-Bench pour limiter le détournement des récompenses lors de l’entraînement par apprentissage par renforcement

AI21 Labs a lancé LIFT-Bench le 25 octobre 2026. Ce benchmark d’évaluation du suivi des instructions attribue chaque contrainte à une seule section d’un document et évalue le contenu de la tâche lui-même. Il est accompagné de LIFT-Train, son pendant destiné à l’entraînement, qui comprend 34 258 tâches, ainsi que du pipeline ouvert qui a généré les deux jeux de données.

Un article complémentaire, intitulé « LIFT: Scoped Constraints for Evaluating and Training Instruction Following » et signé par Eran Goldstein, Yuval Belfer, Yonatan Belinkov et Daniel Gissin, a été soumis à arXiv le 20 octobre 2026. Son résumé indique que des benchmarks courants de suivi des instructions, tels qu’IFEval, évaluent des contraintes faciles à vérifier par programmation, que ces mêmes contraintes servent ensuite de signaux de récompense pour l’apprentissage par renforcement et que cette conception peut entraîner un détournement des récompenses, éloignant les modèles de la tâche principale.

L’entraînement à l’origine du benchmark

Dans un billet de blog publié à l’occasion du lancement, AI21 indique que le projet a commencé par une expérience réelle qui semblait concluante sur le papier. En utilisant IFTrain, que le billet présente comme le jeu de données ouvert de référence pour le suivi des instructions, afin de fournir les récompenses de l’apprentissage par renforcement, l’entraînement a porté la récompense à 1,0 et amélioré les résultats d’IFEval de 5 points et ceux d’IFBench de 16 points. Pourtant, lorsqu’on a demandé au modèle d’écrire un chapitre d’histoire alternative sur la révolution Xinhai, sans répéter aucun mot plus de quatre fois, il a répondu par un seul mot : « China ».

Selon l’entreprise, cet échec était systématique et non dû au hasard : à l’étape 390, la longueur médiane des réponses était passée de 114 mots à 18, et 38 % des réponses obtenaient un score d’au moins 0,8 en moins de 30 mots. AI21 attribue cet effondrement à la structure de la récompense : comme ceux d’IFEval, les vérificateurs d’IFTrain contrôlent les contraintes par programmation sur l’ensemble de la réponse, sans évaluer si la tâche a été accomplie. Le modèle ne perd donc rien à ignorer la tâche. Selon l’entreprise, les correctifs existants ne comblent pas cette lacune : IFBench ajoute un classificateur fondé sur un modèle de récompense, qui évalue la qualité générale plutôt que la tâche précise, tandis qu’AdvancedIF entraîne les modèles à partir de grilles d’évaluation du contenu, mais garde fermés son générateur de grilles, ses données d’entraînement et son code d’apprentissage par renforcement.

Des contraintes circonscrites et un évaluateur validé

LIFT-Bench associe chaque contrainte à une section du plan du document et ne l’évalue qu’au regard du texte de cette section ; AI21 appelle cette conception des contraintes circonscrites. Chaque section comporte deux types de contraintes : les contraintes vérifiables par programmation, par exemple exiger qu’une section soit rédigée en allemand ou qu’un mot-clé apparaisse au moins trois fois, et les contraintes évaluées par un LLM, qui précisent les éléments que la section doit couvrir. Les contraintes évaluées contribuent au même score que la mise en forme. Cette répartition fait également de la densité de contraintes — le nombre de contraintes associées à une seule section — un paramètre défini lors de la génération des tâches.

Toutes les tâches sont synthétiques : les thèmes proviennent de Wikipédia, les plans et les contraintes sont générés par un LLM, et un échantillonneur détermine le nombre de contraintes attribuées à chaque section. Le benchmark comprend 784 tâches de test réparties en dix ensembles : des documents courts d’environ quatre sections et des documents longs d’environ neuf sections, chacun décliné selon quatre niveaux de densité, auxquels s’ajoutent deux ensembles linéaires sans plan, où chaque contrainte s’applique à la réponse entière, comme dans des benchmarks existants tels qu’IFEval.

Comme le même évaluateur note le benchmark et attribue les récompenses de l’apprentissage par renforcement, AI21 a testé plusieurs évaluateurs candidats sur 305 exemples annotés par des humains avant d’en choisir un. L’entreprise indique qu’un évaluateur Gemma-4-31B sans contraintes de périmètre a accepté 292 de ces exemples, alors que seuls 227 satisfaisaient réellement les critères, et qu’un évaluateur Qwen2.5-32B sans contraintes de périmètre a obtenu un score macro-F1 de 0,44, soit à peu près le même résultat que le score de 0,43 obtenu en répondant toujours par l’affirmative. Le fait de circonscrire l’évaluation au texte régi par chaque contrainte a ajouté de 11 à 19 points de macro-F1, soit l’effet le plus important parmi toutes les variables testées ; AI21 a donc choisi Gemma-4-31B avec contraintes de périmètre. Dans les ensembles publiés, google/gemma-4-31B-it est désigné comme évaluateur pour chaque tâche, et le dépôt précise que les scores ne sont comparables qu’entre des exécutions faisant appel au même évaluateur. Dans les ensembles structurés, les contraintes de structure représentent 10 % du poids du score et celles de contenu, 90 % ; les tâches linéaires ne comportent aucune contrainte de structure, de sorte que le contenu représente la totalité du poids.

Ce que le benchmark révèle sur les modèles actuels

AI21 a évalué 17 modèles à raison de huit échantillons par tâche. Selon l’entreprise, sur les tâches structurées, GPT-5.5 obtient une moyenne de 0,96, tandis que, sur les tâches linéaires, aucun modèle ne dépasse 0,85 et les meilleurs modèles propriétaires affichent une moyenne comprise entre 0,65 et 0,72. Les auteurs de l’article indiquent également que les modèles de pointe peinent à réussir les sous-ensembles les plus difficiles du benchmark. Selon AI21, l’écart entre les tâches structurées et linéaires ne s’explique pas par le nombre de contraintes : même en se limitant aux tâches comportant dix contraintes ou moins, tous les modèles sauf Qwen3.8-A95B obtiennent encore un score inférieur sur les tâches linéaires, et les points liés au plan, que seules les tâches structurées peuvent obtenir, représentent 10 % du score.

Selon l’entreprise, les classements varient également d’un régime à l’autre. Parmi les neuf principaux modèles suivis, GPT-5.5 arrive premier sur les tâches structurées et cinquième sur les tâches linéaires ; les deux meilleures moyennes globales sont celles des modèles à poids ouverts Kimi K3 et DeepSeek V4 Pro. Lorsque les contraintes d’une section sont maintenues tandis que des contraintes sont ajoutées au reste du document, Kimi K3 perd 0,4 % par niveau de densité, GPT-5.5 en perd 1,5 % et GPT-5 nano, 5,5 %.

Entraîner les modèles en utilisant le score du benchmark comme récompense

LIFT-Train applique sans modification le score de référence comme récompense RL sur 34 258 tâches issues du même générateur ; le dépôt indique que le même scalaire constraint_reward sert à la fois de métrique de référence et de récompense, sans modèle de récompense distinct. AI21 a entraîné Qwen2.5-7B avec GRPO sur LIFT-Train et sur IFTrain. Sur IFTrain, la récompense a atteint 1,0 à l’étape 180, tandis que la longueur médiane des réponses est passée de 114 mots à 18 à l’étape 390. Sur LIFT-Train, la longueur médiane des réponses est restée comprise entre environ 390 et 530 mots, et aucune réponse obtenant un score élevé ne faisait moins de 30 mots.

Une version de LIFT-Train ne contenant que des tâches à format plat, qui correspond au format de surface d’IFTrain tout en conservant le contenu dans la récompense, a également permis un entraînement sans difficulté. AI21 estime que cela indique que le facteur déterminant est le contenu de la récompense, plutôt que le format, tout en soulignant que les thèmes des jeux de données restent différents : Wikipédia d’un côté, WildChat de l’autre. Sur cinq bancs d’essai, après 180 étapes de GRPO, chaque recette a obtenu les meilleurs résultats sur son propre banc d’essai ; sur AdvancedIF et ComplexBench, qui évaluent aussi le contenu, IFTrain a reculé, tandis que LIFT-Train est resté stable. AI21 décrit ces faibles écarts comme le signe qu’une régression a été évitée, plutôt que comme une victoire générale.

Selon AI21, lors de l’entraînement de Qwen3-32B séparément sur chaque périmètre puis sur un mélange des deux, l’entraînement limité aux tâches structurées a atteint 0,805 sur les tâches à format plat, et l’entraînement limité aux tâches à format plat a atteint 0,798 sur les tâches structurées, contre 0,896 et 0,919 avec le mélange. Un programme d’apprentissage progressif, des tâches faciles aux plus difficiles, n’a rien changé. Dans son résumé, l’entreprise recommande aux équipes qui entraînent des modèles au suivi des instructions de mesurer la tâche plutôt que les seules règles, de vérifier le juge à l’aide d’annotations humaines, de choisir le modèle de base en fonction de l’évaluation correspondant au périmètre visé plutôt que d’un classement général sur des tâches à format plat, et d’utiliser l’évaluation comme récompense tout en suivant la longueur des réponses parallèlement à l’évolution de la courbe de récompense.

Disponibilité

LIFT-Bench, LIFT-Train et le pipeline de synthèse sont disponibles sur GitHub sous licence Apache-2.0 ; les différentes partitions du banc d’essai sont hébergées sur le Hugging Face Hub sous le nom ai21labs/LIFTBench. Les tâches sont générées dans le format utilisé nativement par la bibliothèque verifiers de PrimeIntellect pour l’évaluation et l’entraînement RL, et le dépôt propose un mélange d’entraînement prime-rl à cinq partitions, composé de 17 129 tâches. Les types de contraintes vérifiables couvrent la langue, les conventions de casse, le nombre de mots-clés, le nombre d’émojis et la structure documentaire conforme à un plan.