Ai2 lansează StateBench pentru a măsura urmărirea stării în contexte lungi

Allen Institute for AI (Ai2) a lansat StateBench pe 3 noiembrie 2026, publicând un benchmark cu patru niveluri, un set de date și cod pentru a testa dacă modelele lingvistice pot urmări variabile care se modifică de-a lungul unor documente lungi. Ai2 a raportat că toate cele patru modele de vârf testate au eșuat la formele mai dificile de urmărire a stării, pe măsură ce intrările deveneau mai lungi.

Studiul aferent, semnat de Jackson Petty, William Merrill și Ashish Sabharwal, prezintă această lucrare drept un răspuns la o lacună de măsurare. Testele existente au pus de regulă accentul pe problema cu cuvinte S₅, o sarcină dificilă care presupune urmărirea unor schimburi succesive între cinci obiecte, în timp ce formele mai simple ar putea fi mai reprezentative pentru sarcinile practice și ar putea evidenția deja diferențe între arhitecturi. În schimb, StateBench clasifică urmărirea stării în funcție de tipul de actualizare pe care trebuie să îl urmeze un model.

Patru niveluri de actualizare a stării

La primul nivel, sarcinile r-trivial folosesc atribuiri imuabile, astfel încât modelul trebuie doar să recupereze valoarea inițială a unei variabile. Sarcinile aperiodice permit reatribuirea valorilor, ceea ce face suficientă cunoașterea celei mai recente atribuiri. Sarcinile solubile adaugă actualizări autoreferențiale, precum x = x + 5, ceea ce impune ca fiecare schimbare să fie preluată mai departe. Sarcinile finite generale adaugă atribuirea prin referință, inclusiv schimburile de valori, care creează dependențe între variabile.

Categoriile au și o bază formală în teoria Krohn–Rhodes, un cadru algebric care descompune problemele de urmărire cu un număr finit de stări în operații primitive. Pentru comparații controlate, cercetătorii derivă celelalte variante dintr-o singură secvență finită generală, păstrând numărul de variabile, de valori distincte și de poziții de atribuire, în timp ce modifică doar operația de actualizare. Setul de evaluare cuprinde între 8 și 64.000 de atribuiri, iar fiecare secvență asociază o stare finală corectă cu patru variante incorecte, pentru testare generativă sau cu variante multiple. Problemele sunt prezentate și în mai multe formate textuale, inclusiv sub formă de cod cu numere întregi și de celule de foaie de calcul, pentru a testa dacă forma de prezentare schimbă rezultatul.

Modelele preantrenate întâmpină dificultăți pe măsură ce cresc dependențele

Evaluarea realizată de Ai2 pe modele cu sursă deschisă a inclus modelul transformer Olmo 3 cu 7 miliarde de parametri și Olmo Hybrid, care adaugă straturi Gated DeltaNet, precum și sisteme mai mici antrenate pe aceleași date. Niciunul dintre modele nu întâlnise în timpul antrenării contexte mai lungi de 64.000 de tokeni, iar majoritatea au fost testate peste această lungime. Ai2 a raportat că aproape toate au avut rezultate bune la sarcinile r-trivial, și-au pierdut din acuratețe la cele aperiodice pe măsură ce intrările creșteau și au rămas la nivelul șansei aleatorii la sarcinile finite generale.

Modul de prezentare a schimbat rezultatele: Ai2 a afirmat că modelele hibride mici și cele Gated DeltaNet au obținut scoruri aproape de plafon la solicitările r-trivial într-un format, dar au avut rezultate apropiate de șansa aleatorie atunci când probleme echivalente au fost prezentate ca editări ale unor foi de calcul. Această diferență înseamnă că un rezultat bun într-un singur format nu demonstrează neapărat o capacitate generală de urmărire a stării.

Testele proprietare le-au cerut modelelor Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol și GPT-6 Luna să genereze valoarea finală a fiecărei variabile. Ai2 a raportat că toate cele patru au avut rezultate bune la problemele r-trivial și aperiodice, dar performanța lor a scăzut brusc la problemele solubile și finite generale pe măsură ce intrările se lungeau, ajungând la o acuratețe de 13% sau mai mică în cele mai lungi cazuri de probleme finite generale.

Antrenarea directă separă arhitectura de preantrenare

Pentru a stabili dacă aceste eșecuri proveneau de la arhitecturi sau de la preantrenare, cercetătorii au antrenat de la zero șase modele cu 275 de milioane de parametri: două variante transformer, două modele hibride și două variante Gated DeltaNet cu constrângeri diferite privind actualizarea memoriei. Secvențele de antrenare conțineau cel mult 256 de atribuiri, în timp ce testarea s-a extins până la o lungime de 250 de ori mai mare decât acest maxim.

Ai2 a raportat că modelele Gated DeltaNet și cele hibride s-au generalizat aproape perfect la sarcinile r-trivial, aperiodice și solubile, până la cele mai lungi secvențe testate. Modelele transformer au învățat nivelurile mai ușoare, dar performanța lor s-a degradat dincolo de distribuția de antrenare și nu au învățat niciodată sarcinile finite generale, nici măcar în cadrul acestei distribuții. La sarcinile finite generale, varianta Gated DeltaNet care permite valori proprii pozitive și negative și-a menținut performanța aproape perfectă până la aproximativ de 10 ori lungimea maximă a secvențelor de antrenare, în timp ce varianta cu valori proprii nenegative a început să-și piardă imediat din performanță după limita de antrenare.

Cercetătorii interpretează această diferență drept o dovadă că preantrenarea ajută la explicarea eșecurilor modelelor recurente și hibride preantrenate, în timp ce faptul că modelele transformer continuă să eșueze la cel mai dificil nivel după antrenarea specifică indică o limitare arhitecturală.

Resurse publice și limite persistente

Setul de date publicat cuprinde 68.000 de rânduri, însumând 1,05 GB. Configurația canonică conține urme ale operațiilor independente de formatare și stări finale; înregistrările randate adaugă solicitări, completări, variante incorecte, etichete de complexitate și metadate de generare. Câmpurile privind lungimea în tokeni și straturile permit selectarea exemplelor în funcție de lungimea solicitării.

Depozitul de cod, publicat sub licența Apache-2.0, generează familiile de sarcini pornind de la urmele canonice și poate impune disjuncția semantică între seturile de antrenare și de testare. Acesta permite atât evaluarea, cât și generarea datelor de antrenare, păstrând totodată relația controlată dintre nivelurile de dificultate.

Lucrarea prezintă și o demonstrație potrivit căreia Gated DeltaNet cu precizie fixă și valori proprii nenegative poate rezolva toate sarcinile aperiodice și anumite sarcini periodice. Printre acestea se numără paritatea, adică sarcina de a recunoaște dacă o intrare repetată a apărut de un număr par sau impar de ori, deși construcția pentru paritate se bazează pe rotunjire. Locul exact al acestei variante în ierarhie rămâne neclar, la fel ca și capacitatea sa de a rezolva orice sarcină rezolvabilă, precum și efectele preciziei numerice și ale adăugării straturilor de atenție.

StateBench presupune, de asemenea, un număr fix de variabile, așadar nu modelează încă conversații sau documente în care apar în timp persoane și obiecte noi.

Distincția fundamentală pe care o face StateBench este între acceptarea unei intrări lungi și păstrarea stării din interiorul ei. Sarcinile controlate fac posibilă măsurarea acestei diferențe în cazul diferitelor arhitecturi, însă proiectarea cu un număr fix de variabile înseamnă că nici măcar un scor perfect nu ar demonstra o urmărire robustă atunci când apar entități noi într-un document sau într-o conversație.