Ai2 udostępnia StateBench do pomiaru śledzenia stanu w długich kontekstach

Allen Institute for AI (Ai2) przedstawił StateBench 3 listopada 2026 r., udostępniając czteropoziomowy test porównawczy, zbiór danych i kod do sprawdzania, czy modele językowe potrafią śledzić zmieniające się zmienne w długich dokumentach. Ai2 poinformował, że wszystkie cztery testowane modele czołowe załamywały się przy trudniejszych formach śledzenia stanu, gdy rosła długość danych wejściowych.

Towarzyszący artykuł Jacksona Petty’ego, Williama Merrilla i Ashisha Sabharwala przedstawia tę pracę jako odpowiedź na lukę w metodach pomiaru. Dotychczasowe testy koncentrowały się zwykle na problemie słowa S₅ — trudnym zadaniu polegającym na śledzeniu kolejnych zamian między pięcioma obiektami — choć prostsze formy mogą lepiej odzwierciedlać zadania praktyczne i już ujawniać różnice między architekturami. StateBench dzieli natomiast zadania śledzenia stanu zależnie od rodzaju aktualizacji, za którą musi podążać model.

Cztery poziomy aktualizacji stanu

Na pierwszym poziomie zadania r-trywialne wykorzystują niezmienne przypisania, więc model musi jedynie odtworzyć pierwotną wartość zmiennej. W zadaniach aperiodycznych można ponownie przypisać wartość, dlatego wystarczy znać ostatnie przypisanie. Zadania rozwiązywalne wprowadzają aktualizacje odwołujące się do siebie, takie jak x = x + 5, wymagające przenoszenia każdej zmiany dalej. W ogólnych zadaniach skończonych dochodzi przypisywanie przez odwołanie, w tym zamiany, które tworzą zależności między zmiennymi.

Kategorie te mają również formalne podstawy w teorii Krohna–Rhodesa, algebraicznych ramach, które rozkładają problemy śledzenia stanów skończonych na operacje elementarne. Aby umożliwić kontrolowane porównania, badacze wyprowadzili pozostałe warianty z jednego ogólnego ciągu skończonego, zachowując liczbę zmiennych, różnych wartości i pozycji przypisań, a zmieniając wyłącznie operację aktualizacji. Zestaw ewaluacyjny obejmuje od 8 do 64 000 przypisań, a każdy ciąg zestawiono z jednym poprawnym stanem końcowym i czterema błędnymi odpowiedziami do testów generatywnych lub wielokrotnego wyboru. Problemy przedstawiono również w kilku formatach tekstowych, w tym jako kod z liczbami całkowitymi i komórki arkusza kalkulacyjnego, aby sprawdzić, czy sposób prezentacji wpływa na wynik.

Wstępnie wytrenowane modele mają trudności w miarę wzrostu liczby zależności

Ewaluacja otwartych modeli Ai2 objęła transformator Olmo 3 z 7 miliardami parametrów i Olmo Hybrid, który wykorzystuje warstwy Gated DeltaNet, a także mniejsze systemy wytrenowane na tych samych danych. Żaden z modeli nie miał podczas treningu do czynienia z kontekstami dłuższymi niż 64 000 tokenów, a większość testowano na kontekstach przekraczających tę długość. Ai2 poinformował, że niemal wszystkie modele dobrze radziły sobie z zadaniami r-trywialnymi, traciły dokładność w zadaniach aperiodycznych w miarę wydłużania danych wejściowych, a w ogólnych zadaniach skończonych osiągały wyniki na poziomie losowym.

Sposób prezentacji zmieniał wyniki: według Ai2 małe modele hybrydowe i modele Gated DeltaNet uzyskiwały wyniki bliskie maksimum w przypadku poleceń r-trywialnych przedstawionych w jednym formacie, ale osiągały wyniki bliskie losowym, gdy równoważne problemy pojawiały się jako edycje arkusza kalkulacyjnego. Ta różnica oznacza, że dobry wynik w jednym formacie nie musi świadczyć o ogólnej zdolności śledzenia stanu.

W testach modeli własnościowych Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol i GPT-6 Luna miały wygenerować końcową wartość każdej zmiennej. Ai2 poinformował, że wszystkie cztery modele dobrze radziły sobie z problemami r-trywialnymi i aperiodycznymi, ale ich wyniki gwałtownie pogarszały się w przypadku problemów rozwiązywalnych i ogólnych zadań skończonych wraz z wydłużaniem danych wejściowych; w najdłuższych przypadkach ogólnych zadań skończonych dokładność wynosiła 13% lub mniej.

Trening od podstaw pozwala oddzielić wpływ architektury od wstępnego trenowania

Aby ustalić, czy za tymi niepowodzeniami odpowiadały architektury, czy wstępne trenowanie, badacze wytrenowali od podstaw sześć modeli z 275 milionami parametrów: dwa warianty transformera, dwa modele hybrydowe i dwa warianty Gated DeltaNet z różnymi ograniczeniami aktualizacji pamięci. Sekwencje treningowe zawierały najwyżej 256 przypisań, natomiast w testach ich długość sięgała 250-krotności tej wartości.

Ai2 poinformował, że modele Gated DeltaNet i hybrydowe niemal idealnie uogólniały wiedzę na zadania r-trywialne, aperiodyczne i rozwiązywalne aż do najdłuższych testowanych sekwencji. Transformatory nauczyły się łatwiejszych poziomów, ale ich wyniki pogarszały się poza rozkładem danych treningowych, a ogólnych zadań skończonych nie opanowały nigdy, nawet w obrębie tego rozkładu. W ogólnych zadaniach skończonych wariant Gated DeltaNet dopuszczający dodatnie i ujemne wartości własne utrzymywał niemal idealne wyniki do długości około 10-krotnie większej niż maksymalna długość sekwencji treningowych, podczas gdy wariant z nieujemnymi wartościami własnymi pogarszał wyniki natychmiast po przekroczeniu limitu długości danych treningowych.

Badacze interpretują tę różnicę jako dowód na to, że wstępne trenowanie pomaga wyjaśnić niepowodzenia wstępnie trenowanych modeli rekurencyjnych i hybrydowych, natomiast utrzymujące się niepowodzenia transformerów na najtrudniejszym poziomie po ukierunkowanym treningu wskazują na ograniczenie architektury.

Publicznie udostępnione zasoby i pozostałe ograniczenia

Udostępniony zbiór danych obejmuje 68 000 wierszy o łącznym rozmiarze 1,05 GB. Jego kanoniczna konfiguracja zawiera niezależne od formatera ślady operacji i stany końcowe; wyrenderowane rekordy uzupełniono o polecenia, uzupełnienia, niepoprawne alternatywy, etykiety złożoności i metadane generowania. Pola określające długość tokenową i warstwy danych umożliwiają wybieranie przykładów według długości polecenia.

Repozytorium kodu, udostępnione na licencji Apache-2.0, generuje rodziny zadań na podstawie kanonicznych śladów i może zapewnić semantyczną rozłączność zbiorów treningowego i testowego. Obsługuje zarówno ewaluację, jak i generowanie danych treningowych, zachowując kontrolowaną zależność między poziomami trudności.

W artykule przedstawiono również dowód, że Gated DeltaNet o stałej precyzji i nieujemnych wartościach własnych może rozwiązywać wszystkie zadania aperiodyczne oraz niektóre zadania periodyczne. Należy do nich zadanie sprawdzania parzystości, czyli rozpoznawania, czy powtarzające się dane wejściowe pojawiły się parzystą czy nieparzystą liczbę razy, choć konstrukcja rozwiązująca to zadanie opiera się na zaokrąglaniu. Dokładne miejsce tego wariantu w hierarchii wciąż pozostaje nieustalone, podobnie jak jego zdolność do rozwiązywania każdego zadania, które da się rozwiązać, oraz wpływ precyzji numerycznej i dodawania warstw uwagi.

StateBench zakłada również stałą liczbę zmiennych, więc na razie nie modeluje rozmów ani dokumentów, w których z czasem pojawiają się nowe osoby i obiekty.

Kluczowe rozróżnienie w benchmarku dotyczy tego, czy model jedynie przyjmuje długie dane wejściowe, czy też zachowuje zawarty w nich stan. Kontrolowane zadania pozwalają mierzyć tę różnicę w różnych architekturach, ale konstrukcja zakładająca stałą liczbę zmiennych oznacza, że nawet doskonały wynik nie potwierdziłby niezawodnego śledzenia, gdy w dokumencie lub rozmowie pojawiają się nowe elementy.