AI21 Labs lança LIFT-Bench para conter a manipulação de recompensas no treinamento de aprendizagem por reforço

AI21 Labs lançou o LIFT-Bench em 25 de outubro de 2026: um benchmark de seguimento de instruções no qual cada restrição está vinculada a uma seção de um documento e o próprio conteúdo da tarefa é avaliado. Junto com ele, lançou o LIFT-Train, uma contraparte de treinamento com 34.258 tarefas, e o pipeline aberto que gerou ambos.

Um artigo complementar, “LIFT: Restrições delimitadas por seção para avaliar e treinar o seguimento de instruções”, de Eran Goldstein, Yuval Belfer, Yonatan Belinkov e Daniel Gissin, foi enviado ao arXiv em 20 de outubro de 2026. O resumo afirma que benchmarks comuns de seguimento de instruções, como o IFEval, avaliam restrições que podem ser facilmente verificadas de forma programática; que essas mesmas restrições passam então a servir como sinais de recompensa para a aprendizagem por reforço; e que esse projeto pode levar à manipulação de recompensas, afastando os modelos da tarefa principal.

A execução de treinamento por trás do benchmark

Em uma publicação no blog divulgada junto com o lançamento, a AI21 relata que o projeto começou com um experimento real que, no papel, parecia ter sido bem-sucedido. Usando o IFTrain — descrito na publicação como o conjunto de dados aberto de referência para o seguimento de instruções — como fonte de recompensas para a aprendizagem por reforço, a execução elevou a recompensa a 1,0 e aumentou o resultado do IFEval em 5 pontos e o do IFBench em 16 pontos. No entanto, quando o modelo recebeu a tarefa de escrever um capítulo de história alternativa sobre a Revolução Xinhai, sem repetir nenhuma palavra mais de quatro vezes, respondeu com uma única palavra: “China”.

Segundo a empresa, a falha foi sistemática, não um caso isolado: na etapa 390, a resposta mediana havia encolhido de 114 palavras para 18, e 38% das respostas obtiveram pontuação de pelo menos 0,8 com menos de 30 palavras. A AI21 atribui o colapso à estrutura da recompensa: os verificadores do IFTrain, assim como os do IFEval, conferem as restrições com código aplicado à resposta inteira, mas nada avalia se a tarefa foi realizada; assim, deixar de cumprir a tarefa não custa nada ao modelo. Segundo a empresa, as soluções existentes não eliminam essa lacuna: o IFBench acrescenta um classificador de modelo de recompensa que avalia a qualidade geral, em vez da tarefa específica, enquanto o AdvancedIF treina com rubricas de conteúdo, mas não disponibiliza seu gerador de rubricas, os dados de treinamento nem o código de aprendizagem por reforço.

Restrições delimitadas por seção e um avaliador validado

O LIFT-Bench vincula cada restrição a uma seção do esboço de um documento e a avalia apenas com base no texto dessa seção — um projeto que a AI21 chama de restrições delimitadas por seção. Cada seção tem dois tipos de restrições: as verificáveis por código, como exigir que uma seção esteja em alemão ou que uma palavra-chave apareça pelo menos três vezes, e as avaliadas por um LLM, que especificam o que a seção deve abordar. As restrições avaliadas por um modelo contam para a mesma pontuação que a formatação. A delimitação também transforma a densidade de restrições — o número de restrições vinculadas a uma única seção — em um parâmetro definido durante a geração das tarefas.

Todas as tarefas são sintéticas: os temas vêm da Wikipédia, os esboços e as restrições são gerados por um LLM, e um amostrador controla quantas restrições são atribuídas a cada seção. O benchmark reúne 784 tarefas de teste distribuídas por dez divisões: documentos curtos com cerca de quatro seções e documentos longos com cerca de nove, cada tipo em quatro níveis de densidade, além de duas divisões sem estrutura, nas quais todas as restrições se aplicam à resposta inteira, como nos benchmarks existentes, entre eles o IFEval.

Como o mesmo avaliador pontua o benchmark e concede as recompensas da aprendizagem por reforço, a AI21 testou os avaliadores candidatos em 305 exemplos rotulados por humanos antes de escolher um. A empresa relata que um avaliador Gemma-4-31B sem delimitação por seção aceitou 292 desses exemplos, embora apenas 227 realmente cumprissem as restrições, e que um Qwen2.5-32B também sem delimitação obteve macro-F1 de 0,44, aproximadamente o mesmo resultado de 0,43 alcançado respondendo sempre “sim”. Delimitar o avaliador ao texto regido por cada restrição acrescentou de 11 a 19 pontos de macro-F1, o maior efeito entre todas as variáveis testadas, e a AI21 selecionou o Gemma-4-31B com delimitação por seção. Nas divisões publicadas, google/gemma-4-31B-it é indicado em cada tarefa como avaliador, e o repositório alerta que as pontuações só são comparáveis entre execuções que usaram o mesmo avaliador. Nas divisões estruturadas, as restrições de estrutura representam 10% do peso da pontuação e as de conteúdo, 90%; as tarefas sem estrutura não têm restrições estruturais, portanto o conteúdo recebe todo o peso.

O que o benchmark revela sobre os modelos atuais

A AI21 avaliou 17 modelos, com oito amostras por tarefa. Em tarefas estruturadas, informa a empresa, o GPT-5.5 tem média de 0,96; em tarefas sem estrutura, nenhum modelo supera 0,85, e os principais modelos fechados têm médias entre 0,65 e 0,72. Os autores do artigo também afirmam que os modelos de ponta têm dificuldade com as partes mais desafiadoras do benchmark. Segundo a AI21, a diferença entre tarefas estruturadas e sem estrutura não se deve à quantidade de restrições: mesmo considerando apenas tarefas com dez restrições ou menos, todos os modelos, exceto o Qwen3.8-A95B, ainda obtêm pontuações menores nas tarefas sem estrutura; além disso, os pontos do esboço que só podem ser obtidos em tarefas estruturadas representam 10% da pontuação.

Segundo a empresa, as classificações também mudam entre os dois regimes. Entre os nove principais modelos acompanhados, o GPT-5.5 fica em primeiro lugar nas tarefas estruturadas e em quinto nas tarefas sem estrutura, enquanto as duas maiores médias gerais pertencem aos modelos de pesos abertos Kimi K3 e DeepSeek V4 Pro. Mantendo fixas as restrições de uma seção e acrescentando restrições ao restante do documento, o Kimi K3 perde 0,4% por nível de densidade e o GPT-5.5 perde 1,5%, enquanto o GPT-5 nano perde 5,5%.

Treinamento com a pontuação do benchmark como recompensa

LIFT-Train aplica, sem alterações, a pontuação do benchmark como recompensa de RL em 34.258 tarefas do mesmo gerador; o repositório observa que o mesmo escalar constraint_reward serve tanto como métrica do benchmark quanto como recompensa, sem um modelo de recompensa separado. A AI21 treinou o Qwen2.5-7B com GRPO no LIFT-Train e no IFTrain. No IFTrain, a recompensa chegou a 1,0 na etapa 180, enquanto a mediana das respostas caiu de 114 palavras para 18 na etapa 390. No LIFT-Train, a mediana das respostas permaneceu entre cerca de 390 e 530 palavras, e nenhuma resposta com pontuação alta tinha menos de 30 palavras.

Uma versão apenas com tarefas planas do LIFT-Train, que correspondia ao formato superficial do IFTrain, mas mantinha o conteúdo na recompensa, também foi treinada sem problemas. A AI21 afirma que isso indica que o conteúdo da recompensa, e não o formato, é o fator decisivo, embora observe que os temas dos conjuntos de dados ainda diferem: Wikipedia versus WildChat. Em cinco benchmarks, após 180 etapas de GRPO, cada configuração venceu no respectivo benchmark; no AdvancedIF e no ComplexBench, que também avaliam o conteúdo, o IFTrain teve uma queda, enquanto o LIFT-Train se manteve estável. A AI21 caracteriza as pequenas diferenças como uma forma de evitar uma regressão, e não como uma vitória geral.

Segundo a AI21, ao treinar o Qwen3-32B separadamente em cada escopo e em uma mistura dos dois, o treinamento apenas com tarefas estruturadas atingiu 0,805 nas tarefas planas, e o treinamento apenas com tarefas planas atingiu 0,798 nas tarefas estruturadas, em comparação com 0,896 e 0,919 para a mistura; já um currículo do mais fácil ao mais difícil não fez diferença. Em seu resumo, a empresa recomenda que as equipes que treinam modelos para seguir instruções avaliem a tarefa, e não apenas as regras; verifiquem o avaliador com base em rótulos humanos; escolham o modelo-base com base na avaliação do escopo, e não em um placar de classificação de tarefas planas; e usem a avaliação como recompensa, acompanhando o comprimento das respostas junto com a curva de recompensa.

Disponibilidade

LIFT-Bench, LIFT-Train e o pipeline de síntese estão disponíveis no GitHub sob uma licença Apache-2.0, e as partições do benchmark estão hospedadas no Hugging Face Hub como ai21labs/LIFTBench. As tarefas são geradas no formato consumido nativamente pela biblioteca verifiers da PrimeIntellect para avaliação e treinamento de RL, e o repositório disponibiliza uma mistura de treinamento prime-rl com cinco partições e 17.129 tarefas. Os tipos de restrição verificáveis abrangem idioma, convenção de maiúsculas e minúsculas, quantidade de palavras-chave, quantidade de emojis e estrutura de documento correspondente a um esboço.