Ai2 presenta StateBench, un benchmark per misurare il tracciamento dello stato su contesti lunghi

Il Allen Institute for AI (Ai2) ha presentato StateBench il 3 novembre 2026, pubblicando un benchmark articolato in quattro livelli, un insieme di dati e il codice per verificare se i modelli linguistici riescono a tenere traccia delle variabili che cambiano all’interno di documenti lunghi. Ai2 ha riferito che tutti e quattro i modelli di frontiera testati hanno ceduto sui compiti più difficili di tracciamento dello stato man mano che gli input diventavano più lunghi.

Il documento di ricerca che accompagna il progetto, a firma di Jackson Petty, William Merrill e Ashish Sabharwal, inquadra il lavoro come una risposta a una lacuna nelle metodologie di misurazione. I test esistenti si sono concentrati soprattutto sul problema delle parole S₅, un compito difficile che consiste nel seguire scambi successivi tra cinque oggetti, mentre forme più semplici potrebbero essere più rappresentative dei compiti pratici e potrebbero già far emergere differenze tra le architetture. StateBench distingue invece le diverse forme di tracciamento dello stato in base al tipo di aggiornamento che un modello deve seguire.

Quattro livelli di aggiornamento dello stato

Al primo livello, i compiti r-trivial prevedono assegnazioni immutabili, quindi al modello basta recuperare il valore originario di una variabile. I compiti aperiodici consentono di riassegnare i valori, perciò è sufficiente conoscere l’assegnazione più recente. I compiti risolvibili introducono aggiornamenti autoreferenziali, come x = x + 5, che richiedono di propagare ogni modifica. I compiti finiti generali introducono l’assegnazione per riferimento, compresi gli scambi, che creano dipendenze tra le variabili.

Le categorie hanno anche un fondamento formale nella teoria di Krohn–Rhodes, un quadro algebrico che scompone i problemi di tracciamento a stati finiti in operazioni primitive. Per effettuare confronti controllati, i ricercatori derivano le altre varianti da un’unica sequenza finita generale, mantenendo invariati il numero di variabili, i valori distinti e le posizioni delle assegnazioni e modificando soltanto l’operazione di aggiornamento. Il set di valutazione comprende da 8 a 64.000 assegnazioni e ogni sequenza associa uno stato finale corretto a quattro alternative errate, per test generativi o a scelta multipla. I problemi sono inoltre presentati in diversi formati testuali, tra cui codice intero e celle di foglio di calcolo, per verificare se la presentazione superficiale influisce sui risultati.

I modelli preaddestrati faticano quando aumentano le dipendenze

La valutazione di modelli aperti condotta da Ai2 ha incluso il transformer Olmo 3 da 7 miliardi di parametri e Olmo Hybrid, che aggiunge livelli Gated DeltaNet, oltre a sistemi più piccoli addestrati sugli stessi dati. Durante l’addestramento, nessuno di questi modelli era stato esposto a contesti più lunghi di 64.000 token, mentre la maggior parte è stata testata su sequenze più lunghe. Ai2 ha riferito che quasi tutti hanno ottenuto buoni risultati nei compiti r-trivial, hanno perso accuratezza nei compiti aperiodici all’aumentare della lunghezza degli input e sono rimasti a livello casuale nei compiti finiti generali.

La presentazione ha modificato i risultati: secondo Ai2, i modelli ibridi più piccoli e quelli Gated DeltaNet hanno ottenuto punteggi vicini al massimo con prompt r-trivial in un formato, ma vicini al livello casuale quando problemi equivalenti erano presentati come modifiche a fogli di calcolo. Questa differenza significa che un risultato elevato in un formato non dimostra necessariamente una capacità generale di tenere traccia dello stato.

Nei test proprietari, Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol e GPT-6 Luna dovevano generare il valore finale di ogni variabile. Ai2 ha riferito che tutti e quattro hanno ottenuto buoni risultati nei problemi r-trivial e aperiodici, ma sono peggiorati nettamente nei problemi risolvibili e finiti generali man mano che gli input si allungavano, raggiungendo un’accuratezza pari o inferiore al 13% nei casi finiti generali più lunghi.

L’addestramento diretto distingue l’architettura dal preaddestramento

Per determinare se questi insuccessi dipendessero dalle architetture o dal preaddestramento, i ricercatori hanno addestrato da zero sei modelli da 275 milioni di parametri: due varianti di transformer, due modelli ibridi e due varianti Gated DeltaNet con vincoli diversi sull’aggiornamento della memoria. Le sequenze di addestramento contenevano al massimo 256 assegnazioni, mentre i test si estendevano fino a 250 volte tale lunghezza massima.

Ai2 ha riferito che i modelli Gated DeltaNet e quelli ibridi hanno generalizzato quasi perfettamente nei compiti r-trivial, aperiodici e risolvibili, fino alle sequenze più lunghe sottoposte a test. I transformer hanno appreso i livelli più semplici, ma le prestazioni sono peggiorate oltre la distribuzione di addestramento e non hanno mai appreso i compiti finiti generali, nemmeno all’interno di tale distribuzione. Nei compiti finiti generali, la variante Gated DeltaNet che ammette autovalori positivi e negativi ha mantenuto prestazioni quasi perfette fino a circa 10 volte la lunghezza massima delle sequenze di addestramento, mentre la variante con autovalori non negativi ha iniziato a peggiorare subito oltre il limite dell’addestramento.

I ricercatori interpretano questa differenza come un indizio del fatto che il preaddestramento contribuisca a spiegare gli insuccessi dei modelli ricorrenti e ibridi preaddestrati, mentre il fatto che i transformer continuino a fallire al livello più difficile anche dopo un addestramento mirato indica un limite architetturale.

Risorse pubbliche e limiti ancora aperti

L’insieme di dati pubblicato comprende 68.000 righe per un totale di 1,05 GB. La configurazione canonica contiene tracce delle operazioni e stati finali indipendenti dal formato; i record elaborati aggiungono prompt, completamenti, alternative errate, etichette di complessità e metadati di generazione. I campi relativi alla lunghezza in token e le suddivisioni consentono di selezionare esempi in base alla lunghezza del prompt.

Il repository del codice, pubblicato con licenza Apache-2.0, genera le famiglie di compiti a partire da tracce canoniche e può garantire la disgiunzione semantica tra le suddivisioni di addestramento e di test. Supporta sia la valutazione sia la generazione di dati di addestramento, mantenendo il rapporto controllato tra i diversi livelli di difficoltà.

L’articolo presenta anche una dimostrazione secondo cui Gated DeltaNet a precisione fissa, con autovalori non negativi, può risolvere tutti i compiti aperiodici e alcuni compiti periodici. Tra questi rientra la parità, ovvero il compito di riconoscere se un input ripetuto si è presentato un numero pari o dispari di volte, sebbene la costruzione della parità si basi sull’arrotondamento. La posizione esatta di questa variante nella gerarchia resta irrisolta, così come la sua capacità di risolvere ogni compito risolvibile e gli effetti della precisione numerica e dell’aggiunta di livelli di attenzione.

StateBench presuppone inoltre un numero fisso di variabili, quindi per ora non modella conversazioni o documenti in cui compaiono nuove persone e nuovi oggetti nel tempo.

La distinzione fondamentale del benchmark è tra accettare un input lungo e conservarne lo stato al suo interno. I compiti controllati consentono di misurare questa differenza tra diverse architetture, ma il design basato su un numero fisso di variabili implica che nemmeno un punteggio perfetto dimostrerebbe la capacità di tracciare in modo affidabile le entità che compaiono in un documento o in una conversazione.