AI21 Labs lancia LIFT-Bench per contrastare la manipolazione della ricompensa nell’addestramento RL

AI21 Labs ha lanciato LIFT-Bench il 25 ottobre 2026: un benchmark per valutare il rispetto delle istruzioni in cui ogni vincolo è circoscritto a una sezione del documento e viene valutato anche il contenuto stesso dell’attività. Insieme al benchmark sono stati rilasciati LIFT-Train, una controparte per l’addestramento composta da 34.258 attività, e la pipeline aperta che ha generato entrambi.

Un articolo complementare, «LIFT: vincoli circoscritti per valutare e addestrare il rispetto delle istruzioni» di Eran Goldstein, Yuval Belfer, Yonatan Belinkov e Daniel Gissin, è stato inviato ad arXiv il 20 ottobre 2026. Nel suo abstract si afferma che i benchmark più comuni per il rispetto delle istruzioni, come IFEval, valutano vincoli facilmente verificabili a livello di codice; gli stessi vincoli vengono poi usati come segnali di ricompensa per l’apprendimento per rinforzo e questa impostazione può portare alla manipolazione della ricompensa, allontanando i modelli dall’attività principale.

L’addestramento alla base del benchmark

In un post sul blog pubblicato insieme al lancio, AI21 riferisce che il progetto è nato da un esperimento reale, apparentemente riuscito sulla carta. Usando IFTrain, descritto nel post come il dataset aperto di riferimento per il rispetto delle istruzioni, per fornire le ricompense RL, l’addestramento ha portato la ricompensa a 1,0 e ha migliorato IFEval di 5 punti e IFBench di 16 punti. Eppure, quando al modello è stato chiesto di scrivere un capitolo di storia alternativa sulla Rivoluzione Xinhai, senza ripetere nessuna parola più di quattro volte, la risposta è stata una sola parola: «China».

Secondo l’azienda, il fallimento è stato sistematico, non un caso isolato: al passo 390, la lunghezza mediana delle risposte era scesa da 114 parole a 18 e il 38% delle risposte otteneva un punteggio di almeno 0,8 pur contenendo meno di 30 parole. AI21 attribuisce il crollo alla struttura della ricompensa: i verificatori di IFTrain, come quelli di IFEval, controllano i vincoli con codice sull’intera risposta, ma nessun punteggio valuta se l’attività sia stata effettivamente svolta; di conseguenza, ignorarla non costa nulla al modello. Secondo l’azienda, le soluzioni esistenti non colmano questa lacuna: IFBench aggiunge un classificatore basato su un modello di ricompensa che valuta la qualità generale anziché l’attività specifica, mentre AdvancedIF addestra i modelli usando rubriche per i contenuti, ma mantiene chiusi il generatore delle rubriche, i dati di addestramento e il codice RL.

Vincoli circoscritti e un valutatore convalidato

LIFT-Bench associa ogni vincolo a una sezione dello schema del documento e lo valuta solo in base al testo di quella sezione: AI21 definisce questa impostazione «vincoli circoscritti». Ogni sezione comprende due tipi di vincoli: quelli verificabili tramite codice, per esempio la richiesta di scrivere una sezione in tedesco o di usare una parola chiave almeno tre volte, e quelli valutati da un LLM, che specificano gli argomenti che la sezione deve trattare. I vincoli valutati dal modello contribuiscono al punteggio al pari di quelli di formattazione. La circoscrizione trasforma inoltre la densità dei vincoli, cioè il numero di vincoli associati a una singola sezione, in un parametro impostato durante la generazione delle attività.

Tutte le attività sono sintetiche: gli argomenti provengono da Wikipedia, mentre schemi e vincoli sono generati da un LLM; un campionatore determina quanti vincoli assegnare a ciascuna sezione. Il benchmark comprende 784 attività di test suddivise in dieci split: documenti brevi di circa quattro sezioni e documenti lunghi di circa nove sezioni, ciascuno con quattro livelli di densità, oltre a due split piatti senza schema, nei quali ogni vincolo si applica all’intera risposta, come nei benchmark esistenti quali IFEval.

Poiché lo stesso valutatore assegna i punteggi del benchmark e le ricompense RL, prima di sceglierne uno AI21 ha testato i valutatori candidati su 305 esempi etichettati da esseri umani. L’azienda riferisce che un valutatore Gemma-4-31B non circoscritto ha accettato 292 esempi, benché i vincoli fossero effettivamente rispettati in soli 227 casi, e che un Qwen2.5-32B non circoscritto ha ottenuto un macro-F1 di 0,44, più o meno lo stesso 0,43 raggiunto rispondendo sempre «sì». Circoscrivere il valutatore al testo a cui si riferisce ciascun vincolo ha aumentato il macro-F1 da 11 a 19 punti, l’effetto più marcato tra tutte le variabili testate, e AI21 ha scelto Gemma-4-31B circoscritto. Negli split rilasciati, ogni attività indica google/gemma-4-31B-it come valutatore; il repository avverte che i punteggi sono confrontabili solo tra esecuzioni che hanno usato lo stesso valutatore. Negli split strutturati, i vincoli di struttura rappresentano il 10% del peso del punteggio e quelli sui contenuti il 90%; le attività piatte non prevedono vincoli di struttura, quindi i contenuti costituiscono l’intero peso.

Cosa rivela il benchmark sui modelli attuali

AI21 ha valutato 17 modelli usando otto campioni per attività. Secondo l’azienda, nelle attività strutturate GPT-5.5 raggiunge una media di 0,96, mentre in quelle piatte nessun modello supera 0,85 e i modelli proprietari con i risultati migliori ottengono una media compresa tra 0,65 e 0,72. Anche gli autori dell’articolo affermano che i modelli di frontiera faticano con le sezioni più difficili del benchmark. Secondo AI21, il divario tra attività strutturate e piatte non dipende dal numero di vincoli: limitandosi alle attività con dieci vincoli o meno, tutti i modelli tranne Qwen3.8-A95B ottengono comunque risultati inferiori nelle attività piatte; inoltre, i punti relativi allo schema, ottenibili solo nelle attività strutturate, rappresentano il 10% del punteggio.

Secondo l’azienda, cambia anche la classifica tra i due regimi. Dei nove modelli principali monitorati, GPT-5.5 si colloca al primo posto nelle attività strutturate e al quinto in quelle piatte; le due migliori medie complessive appartengono ai modelli a pesi aperti Kimi K3 e DeepSeek V4 Pro. Mantenendo invariati i vincoli di una sezione e aggiungendone alle altre parti del documento, Kimi K3 perde lo 0,4% per ogni livello di densità, GPT-5.5 l’1,5% e GPT-5 nano il 5,5%.

Addestramento con il punteggio del benchmark come ricompensa

LIFT-Train applica senza modifiche il punteggio del benchmark come ricompensa RL su 34.258 attività generate dallo stesso generatore; il repository specifica che lo stesso scalare constraint_reward funge sia da metrica del benchmark sia da ricompensa, senza un modello di ricompensa separato. AI21 ha addestrato Qwen2.5-7B con GRPO su LIFT-Train e IFTrain. Su IFTrain, la ricompensa ha raggiunto 1.0 al passaggio 180, mentre la lunghezza mediana delle risposte è scesa da 114 parole a 18 entro il passaggio 390. Su LIFT-Train, la lunghezza mediana delle risposte è rimasta intorno alle 390-530 parole e nessuna risposta con un punteggio elevato era inferiore a 30 parole.

Anche una sezione di LIFT-Train composta esclusivamente da attività flat, che riproduce il formato superficiale di IFTrain ma mantiene il contenuto nella ricompensa, è stata addestrata senza problemi. Secondo AI21, ciò indica che il fattore determinante è il contenuto della ricompensa, non il formato, pur osservando che gli argomenti dei dataset sono diversi: Wikipedia e WildChat. Sui cinque benchmark, dopo 180 passaggi GRPO, ciascuna ricetta ha ottenuto i risultati migliori sul proprio benchmark; su AdvancedIF e ComplexBench, che valutano anche il contenuto, IFTrain ha perso terreno, mentre LIFT-Train è rimasto stabile. AI21 descrive i piccoli scostamenti come un modo per evitare una regressione, non come un successo generale.

Secondo AI21, addestrando Qwen3-32B separatamente su ciascun ambito e su una combinazione dei due, l’addestramento limitato alle attività strutturate ha raggiunto 0.805 sulle attività flat e quello limitato alle attività flat ha raggiunto 0.798 sulle attività strutturate, contro rispettivamente 0.896 e 0.919 ottenuti con la combinazione; un curriculum dal facile al difficile non ha invece fatto differenza. Nella sua sintesi, l’azienda consiglia ai team che addestrano modelli per seguire le istruzioni di misurare l’attività, non solo le regole, di verificare il giudice confrontandolo con etichette umane, di scegliere il modello di base sulla valutazione dell’ambito specifico anziché su una classifica generale di attività flat e di usare la valutazione come ricompensa, monitorando al contempo la lunghezza delle risposte insieme all’andamento della ricompensa.

Disponibilità

LIFT-Bench, LIFT-Train e la pipeline di sintesi sono disponibili su GitHub con licenza Apache-2.0; le suddivisioni del benchmark sono ospitate sull’Hugging Face Hub come ai21labs/LIFTBench. Le attività vengono generate nel formato utilizzato nativamente dalla libreria verifiers di PrimeIntellect per la valutazione e l’addestramento RL, e il repository pubblica una combinazione di addestramento prime-rl articolata in cinque suddivisioni e composta da 17.129 attività. I tipi di vincoli verificabili comprendono la lingua, le convenzioni di maiuscole e minuscole, il numero di parole chiave, il numero di emoji e la struttura del documento conforme a uno schema.