Ai2 lanserer StateBench for å måle tilstandssporing i lange kontekster

Allen Institute for AI (Ai2) introduserte StateBench 3. november 2026 og lanserte dermed en referansetest med fire nivåer, et datasett og kode for å undersøke om språkmodeller kan spore variabler i endring gjennom lange dokumenter. Ai2 rapporterte at alle de fire ledende modellene de testet, sviktet på vanskeligere former for tilstandssporing etter hvert som inndataene ble lengre.

Den tilhørende artikkelen av Jackson Petty, William Merrill og Ashish Sabharwal beskriver arbeidet som et svar på et måleproblem. Eksisterende tester har gjerne lagt vekt på S₅-ordproblemet, en vanskelig oppgave der man må følge en rekke påfølgende bytter mellom fem objekter, mens enklere former kanskje bedre gjenspeiler praktiske oppgaver og allerede kan avdekke forskjeller mellom arkitekturer. StateBench skiller i stedet mellom ulike former for tilstandssporing ut fra hva slags oppdatering modellen må følge.

Fire nivåer av tilstandsoppdateringer

På det første nivået bruker r-trivielle oppgaver uforanderlige tilordninger, slik at modellen bare trenger å hente fram den opprinnelige verdien til en variabel. Aperiodiske oppgaver tillater at en verdi tilordnes på nytt, slik at den nyeste tilordningen er tilstrekkelig. Løselige oppgaver legger til selvrefererende oppdateringer, for eksempel x = x + 5, noe som krever at hver endring føres videre. Generelle endelige oppgaver legger til tilordning ved referanse, blant annet bytter, som skaper avhengigheter mellom variabler.

Kategoriene har også et formelt grunnlag i Krohn–Rhodes-teorien, et algebraisk rammeverk som deler problemer med tilstandssporing i endelige tilstandsmaskiner opp i grunnleggende operasjoner. For å muliggjøre kontrollerte sammenligninger utleder forskerne de andre variantene fra én generell endelig sekvens. De bevarer antallet variabler, distinkte verdier og tilordningsposisjoner, samtidig som de bare endrer oppdateringsoperasjonen. Evalueringssettet omfatter fra 8 til 64 000 tilordninger, og hver sekvens kobler én korrekt sluttilstand med fire feilaktige kandidater for generativ testing eller testing med flervalgsoppgaver. Oppgavene presenteres også i flere tekstformater, blant annet som heltallskode og regnearkceller, for å undersøke om presentasjonsformen påvirker resultatet.

Forhåndstrente modeller sliter når avhengighetene øker

Ai2s evaluering av åpne modeller omfattet transformermodellen Olmo 3 med 7 milliarder parametere og Olmo Hybrid, som legger til Gated DeltaNet-lag, samt mindre systemer som var trent på de samme dataene. Ingen av modellene hadde under treningen vært utsatt for kontekster på over 64 000 tokener, og de fleste ble testet på lengre kontekster. Ai2 rapporterte at nesten alle presterte godt på r-trivielle oppgaver, mistet nøyaktighet på aperiodiske oppgaver etter hvert som inndataene ble lengre, og forble på nivå med tilfeldig gjetting på generelle endelige oppgaver.

Presentasjonsformen påvirket resultatene: Ai2 opplyste at de små hybridmodellene og Gated DeltaNet-modellene oppnådde resultater nær toppnivået på r-trivielle spørsmål i ett format, men lå nær nivået for tilfeldig gjetting når tilsvarende problemer ble presentert som regnearkredigeringer. Dette resultatgapet betyr at gode resultater i ett format ikke nødvendigvis viser at modellen har en generell evne til å spore tilstander.

I de proprietære testene ble Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol og GPT-6 Luna bedt om å generere sluttverdien for hver variabel. Ai2 rapporterte at alle fire presterte godt på r-trivielle og aperiodiske problemer, men at resultatene falt kraftig på løselige og generelle endelige problemer etter hvert som inndataene ble lengre. På de lengste generelle endelige problemene var nøyaktigheten 13 % eller lavere.

Direkte trening skiller arkitektur fra forhåndstrening

For å finne ut om disse feilene skyldtes arkitekturene eller forhåndstreningen, trente forskerne seks modeller med 275 millioner parametere fra bunnen av: to varianter av transformermodeller, to hybridmodeller og to Gated DeltaNet-varianter med ulike begrensninger på minneoppdateringer. Treningssekvensene inneholdt maksimalt 256 tilordninger, mens testene strakte seg til 250 ganger denne maksimale lengden.

Ai2 rapporterte at Gated DeltaNet-modellene og hybridmodellene generaliserte nesten perfekt på r-trivielle, aperiodiske og løselige oppgaver, helt opp til de lengste sekvensene som ble testet. Transformermodellene lærte de enklere nivåene, men presterte dårligere utenfor treningsfordelingen og lærte aldri generelle endelige oppgaver, heller ikke innenfor treningsfordelingen. På generelle endelige oppgaver holdt Gated DeltaNet-varianten med både positive og negative egenverdier seg nær perfekt opp til omtrent 10 ganger den maksimale lengden på treningsdataene, mens varianten med ikke-negative egenverdier presterte dårligere straks den gikk forbi grensen for treningsdataene.

Forskerne tolker dette skillet som et tegn på at forhåndstrening bidrar til å forklare hvorfor de forhåndstrente rekurrente modellene og hybridmodellene sviktet, mens transformermodellenes fortsatte svikt på det vanskeligste nivået etter målrettet trening tyder på en arkitektonisk begrensning.

Offentlig tilgjengelige ressurser og gjenværende begrensninger

Det publiserte datasettet inneholder 68 000 rader og er på totalt 1,05 GB. Den kanoniske konfigurasjonen inneholder operasjonsspor og sluttilstander som er uavhengige av formatering; de gjengitte postene legger til spørsmålstekster, fullføringer, feilaktige alternativer, kompleksitetsetiketter og metadata for generering. Felt for tokenlengde og inndeling i strata gjør det mulig å velge eksempler etter lengden på spørsmålsteksten.

Kodelageret, som er utgitt under Apache-2.0-lisensen, genererer oppgavefamiliene fra kanoniske spor og kan sikre semantisk atskillelse mellom trenings- og testinndelingene. Det støtter både evaluering og generering av treningsdata, samtidig som det kontrollerte forholdet mellom vanskelighetsnivåene bevares.

Artikkelen presenterer også et bevis for at Gated DeltaNet med fast presisjon og ikke-negative egenverdier kan løse alle aperiodiske oppgaver og visse periodiske oppgaver. Blant disse er paritet, det vil si oppgaven med å avgjøre om et gjentatt inndata har forekommet et partall eller oddetall ganger, selv om paritetskonstruksjonen er avhengig av avrunding. Variantens nøyaktige plass i hierarkiet er fortsatt uavklart, og det samme gjelder evnen til å løse alle løsbare oppgaver samt hvilken effekt numerisk presisjon og det å legge til oppmerksomhetslag har.

StateBench forutsetter også et fast antall variabler, og modellerer derfor foreløpig ikke samtaler eller dokumenter der nye personer og objekter dukker opp over tid.

Det sentrale skillet i referansetesten går mellom å kunne ta imot et langt inndata og å bevare tilstanden i det. De kontrollerte oppgavene gjør denne forskjellen målbar på tvers av arkitekturer, men fordi utformingen forutsetter et fast antall variabler, vil selv en perfekt poengsum ikke dokumentere robust sporing når nye entiteter dukker opp i et dokument eller en samtale.