AI21 Labs lanza LIFT-Bench para frenar la manipulación de recompensas en el entrenamiento de RL

AI21 Labs lanzó LIFT-Bench el 25 de octubre de 2026, un benchmark de seguimiento de instrucciones en el que cada restricción se aplica a una sola sección de un documento y se evalúa también el contenido de la tarea, junto con LIFT-Train, una versión para entrenamiento con 34.258 tareas, y el proceso abierto que generó ambos.

Un artículo complementario, «LIFT: Scoped Constraints for Evaluating and Training Instruction Following», de Eran Goldstein, Yuval Belfer, Yonatan Belinkov y Daniel Gissin, se envió a arXiv el 20 de octubre de 2026. En su resumen se afirma que los benchmarks habituales de seguimiento de instrucciones, como IFEval, evalúan restricciones que se pueden verificar fácilmente de forma programática; que esas mismas restricciones se usan después como señales de recompensa para el aprendizaje por refuerzo; y que este diseño puede dar lugar a la manipulación de recompensas, que aleja a los modelos de la tarea principal.

El entrenamiento que dio origen al benchmark

En una entrada de blog publicada junto con el lanzamiento, AI21 cuenta que el proyecto comenzó con un experimento real que, sobre el papel, parecía haber dado buenos resultados. Al usar IFTrain —que la entrada describe como el conjunto de datos abierto de referencia para el seguimiento de instrucciones— como fuente de recompensas de RL, el entrenamiento elevó la recompensa a 1,0 y mejoró IFEval en 5 puntos e IFBench en 16 puntos. Sin embargo, cuando se le pidió al modelo que escribiera un capítulo de historia alternativa sobre la Revolución de Xinhai sin repetir ninguna palabra más de cuatro veces, respondió con una sola palabra: «China».

Según la empresa, el fallo fue sistemático y no un caso aislado: para el paso 390, la longitud mediana de las respuestas había caído de 114 palabras a 18, y el 38 % de las respuestas obtenía una puntuación de al menos 0,8 con menos de 30 palabras. AI21 atribuye el desplome a la estructura de la recompensa: los verificadores de IFTrain, al igual que los de IFEval, comprueban las restricciones mediante código aplicado a la respuesta completa, pero no se evalúa si se realizó la tarea, por lo que el modelo no pierde nada al ignorarla. Según la empresa, las soluciones existentes no resuelven ese problema: IFBench añade un clasificador de modelo de recompensa que evalúa la calidad general, en lugar de la tarea específica, y AdvancedIF entrena con rúbricas de contenido, pero mantiene cerrados el generador de rúbricas, los datos de entrenamiento y el código de RL.

Restricciones delimitadas y un evaluador validado

LIFT-Bench asigna cada restricción a una sección del esquema del documento y la evalúa únicamente en relación con el texto de esa sección; AI21 denomina a este diseño «restricciones delimitadas». Cada sección incluye dos tipos de restricciones: las verificables mediante código, como exigir que una sección esté escrita en alemán o que una palabra clave aparezca al menos tres veces, y las evaluadas por un LLM, que especifican qué debe abarcar la sección. Las restricciones evaluadas por el modelo cuentan en la misma puntuación que el formato. La delimitación también convierte la densidad de restricciones —el número de restricciones asignadas a una sola sección— en un parámetro que se establece durante la generación de tareas.

Todas las tareas son sintéticas: los temas proceden de Wikipedia, y un LLM genera los esquemas y las restricciones; además, un muestreador controla cuántas restricciones se asignan a cada sección. El benchmark incluye 784 tareas de prueba repartidas en diez particiones: documentos cortos de unas cuatro secciones y documentos largos de unas nueve secciones, cada uno con cuatro niveles de densidad, además de dos particiones sin estructura, en las que todas las restricciones se aplican a la respuesta completa, como en benchmarks existentes, por ejemplo IFEval.

Como el mismo evaluador puntúa el benchmark y asigna la recompensa de RL, AI21 probó posibles evaluadores con 305 ejemplos etiquetados por personas antes de elegir uno. La empresa informa de que un evaluador Gemma-4-31B sin restricciones de alcance aceptó 292 de esos ejemplos, aunque solo se cumplían realmente 227, y de que un Qwen2.5-32B sin restricciones de alcance obtuvo una macro-F1 de 0,44, aproximadamente igual a la puntuación de 0,43 que se consigue respondiendo siempre que sí. Delimitar la evaluación al texto al que se aplica cada restricción aumentó la macro-F1 entre 11 y 19 puntos, el mayor efecto de cualquier variable probada, y AI21 eligió Gemma-4-31B con restricciones de alcance. En las particiones publicadas, cada tarea especifica google/gemma-4-31B-it como evaluador, y el repositorio advierte que las puntuaciones solo se pueden comparar entre ejecuciones que hayan usado el mismo evaluador. En las particiones estructuradas, las restricciones de estructura representan el 10 % de la ponderación de la puntuación y las de contenido, el 90 %; las tareas sin estructura no incluyen restricciones de estructura, por lo que el contenido recibe toda la ponderación.

Qué revela el benchmark sobre los modelos actuales

AI21 evaluó 17 modelos con ocho muestras por tarea. En las tareas estructuradas, GPT-5.5 obtiene una media de 0,96, informa la empresa, mientras que en las tareas sin estructura ningún modelo supera 0,85 y los principales modelos cerrados promedian entre 0,65 y 0,72. Los autores del artículo también señalan que los modelos de vanguardia tienen dificultades con los subconjuntos más exigentes del benchmark. Según AI21, la diferencia entre las tareas estructuradas y las que no tienen estructura no se debe a la cantidad de restricciones: al limitar el análisis a tareas con diez restricciones o menos, todos los modelos salvo Qwen3.8-A95B siguen obteniendo puntuaciones más bajas en las tareas sin estructura; además, los puntos del esquema que solo pueden obtenerse en las tareas estructuradas representan el 10 % de la puntuación.

Según la empresa, las clasificaciones también varían entre los dos tipos de tareas. De los nueve modelos principales incluidos en el seguimiento, GPT-5.5 ocupa el primer puesto en las tareas estructuradas y el quinto en las que no tienen estructura; además, los dos mejores promedios generales corresponden a los modelos de pesos abiertos Kimi K3 y DeepSeek V4 Pro. Si se mantienen fijas las restricciones de una sección y se añaden restricciones al resto del documento, Kimi K3 pierde un 0,4 % por cada nivel de densidad y GPT-5.5 pierde un 1,5 %, mientras que GPT-5 nano pierde un 5,5 %.

Entrenamiento con la puntuación del benchmark como recompensa

LIFT-Train aplica sin cambios la puntuación del benchmark como recompensa de RL en 34,258 tareas del mismo generador; el repositorio señala que el mismo valor escalar de constraint_reward sirve tanto como métrica del benchmark como recompensa, sin un modelo de recompensa independiente. AI21 entrenó Qwen2.5-7B con GRPO en LIFT-Train y en IFTrain. En IFTrain, la recompensa llegó a 1.0 en el paso 180, mientras que la mediana de longitud de las respuestas bajó de 114 palabras a 18 en el paso 390. En LIFT-Train, la mediana de longitud de las respuestas se mantuvo entre unas 390 y 530 palabras, y ninguna respuesta con una puntuación alta tuvo menos de 30 palabras.

Un subconjunto de LIFT-Train compuesto únicamente por tareas de formato plano, que coincide con el formato superficial de IFTrain pero mantiene el contenido en la recompensa, también se entrenó sin problemas. AI21 afirma que esto apunta a que el contenido de la recompensa, y no el formato, es el factor decisivo, aunque señala que los temas de los conjuntos de datos siguen siendo distintos: Wikipedia frente a WildChat. En cinco benchmarks, después de 180 pasos de GRPO, cada receta obtuvo el mejor resultado en su propio benchmark; en AdvancedIF y ComplexBench, que también evalúan el contenido, IFTrain retrocedió mientras que LIFT-Train se mantuvo estable. AI21 caracteriza las pequeñas diferencias como una forma de evitar un retroceso, no como una victoria general.

Según AI21, al entrenar Qwen3-32B por separado en cada ámbito y también con una mezcla, el entrenamiento solo con tareas estructuradas alcanzó 0.805 en tareas de formato plano, y el entrenamiento solo con tareas de formato plano alcanzó 0.798 en tareas estructuradas, frente a 0.896 y 0.919, respectivamente, con la mezcla; en cambio, un plan de aprendizaje de lo fácil a lo difícil no produjo ninguna diferencia. En su resumen, la empresa recomienda a los equipos que entrenan modelos para seguir instrucciones medir la tarea y no solo las reglas, comprobar el evaluador con etiquetas humanas, elegir el modelo base según la evaluación del ámbito en cuestión y no según una clasificación general de tareas de formato plano, y usar la evaluación como recompensa, a la vez que hacen un seguimiento de la longitud de las respuestas junto con la curva de recompensa.

Disponibilidad

LIFT-Bench, LIFT-Train y el proceso de síntesis están disponibles en GitHub con una licencia Apache-2.0; las divisiones del benchmark están alojadas en Hugging Face Hub como ai21labs/LIFTBench. Las tareas se generan en el formato que la biblioteca verifiers de PrimeIntellect consume de forma nativa para la evaluación y el entrenamiento de RL, y el repositorio publica una mezcla de entrenamiento de prime-rl con cinco divisiones y 17,129 tareas. Los tipos de restricciones verificables abarcan el idioma, las convenciones de uso de mayúsculas y minúsculas, el recuento de palabras clave y emojis, y la estructura de documentos que se ajusta a un esquema.