Ai2 udgiver StateBench til måling af sporing af tilstand over lange kontekster

Allen Institute for AI (Ai2) introducerede StateBench den 3. november 2026 og udgav et benchmark med fire niveauer, et datasæt og kode til at teste, om sprogmodeller kan spore variabler, der ændrer sig, på tværs af lange dokumenter. Ai2 rapporterede, at alle fire frontier-modeller, som instituttet testede, brød sammen på de sværere former for tilstandssporing, efterhånden som input blev længere.

Den ledsagende artikel af Jackson Petty, William Merrill og Ashish Sabharwal fremstiller arbejdet som et svar på et målegab. Eksisterende tests har haft en tendens til at lægge vægt på S₅-ordproblemet, en vanskelig opgave, der går ud på at følge gentagne ombytninger mellem fem objekter, mens enklere former muligvis bedre afspejler praktiske opgaver og allerede kan afsløre forskelle mellem arkitekturer. StateBench opdeler i stedet tilstandssporing efter den type opdatering, en model skal følge.

Fire niveauer af tilstandsopdateringer

På det første niveau bruger r-trivielle opgaver uforanderlige tildelinger, så modellen kun skal finde en variabels oprindelige værdi. Aperiodiske opgaver tillader gentildeling efter værdi, så den seneste tildeling er tilstrækkelig. Løselige opgaver tilføjer selvrefererende opdateringer såsom x = x + 5, hvilket kræver, at hver ændring føres videre. Generelle endelige opgaver tilføjer tildeling efter reference, herunder ombytninger, som skaber afhængigheder mellem variabler.

Kategorierne har også et formelt grundlag i Krohn–Rhodes-teorien, en algebraisk ramme, der opdeler problemer med tilstandssporing i endelige tilstande i primitive operationer. For at muliggøre kontrollerede sammenligninger udleder forskerne de øvrige varianter fra én generel endelig sekvens og bevarer antallet af variabler, særskilte værdier og tildelingspositioner, mens kun opdateringsoperationen ændres. Evalueringssættet spænder fra 8 til 64.000 tildelinger, og hver sekvens sammenstiller én korrekt sluttilstand med fire forkerte kandidater til generativ testning eller multiple choice-test. Opgaverne gengives også i flere tekstformater, herunder heltalskode og regnearksceller, for at teste, om den overfladiske præsentation ændrer resultatet.

Prætrænede modeller får problemer, når afhængighederne vokser

Ai2’s evaluering af åbne modeller omfattede transformermodellen Olmo 3 med 7 milliarder parametre og Olmo Hybrid, som tilføjer Gated DeltaNet-lag, samt mindre systemer, der var trænet på de samme data. Ingen af modellerne havde under træningen set kontekster på over 64.000 tokens, og de fleste blev testet med længere kontekster. Ai2 rapporterede, at næsten alle klarede sig godt på r-trivielle opgaver, mistede nøjagtighed på aperiodiske opgaver, efterhånden som input blev længere, og forblev på tilfældighedsniveau på generelle endelige opgaver.

Præsentationen ændrede resultaterne: Ai2 oplyste, at den lille hybridmodel og Gated DeltaNet-modellerne scorede tæt på maksimum på r-trivielle prompts i ét format, men tæt på tilfældighedsniveau, når tilsvarende opgaver blev præsenteret som regnearksredigeringer. Denne forskel betyder, at et stærkt resultat i ét format ikke nødvendigvis viser en generel evne til at spore tilstand.

I de proprietære tests skulle Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol og GPT-6 Luna generere den endelige værdi for hver variabel. Ai2 rapporterede, at alle fire klarede sig godt på r-trivielle og aperiodiske opgaver, men at resultaterne faldt kraftigt på løselige og generelle endelige opgaver, efterhånden som input blev længere, og nåede ned på 13 % nøjagtighed eller lavere på de længste generelle endelige opgaver.

Direkte træning adskiller arkitektur fra prætræning

For at afgøre, om disse fejl skyldtes arkitekturerne eller prætræningen, trænede forskerne seks modeller med 275 millioner parametre fra bunden: to transformervarianter, to hybridmodeller og to Gated DeltaNet-varianter med forskellige begrænsninger for hukommelsesopdateringer. Træningssekvenserne indeholdt højst 256 tildelinger, mens testene strakte sig op til 250 gange denne maksimale længde.

Ai2 rapporterede, at Gated DeltaNet- og hybridmodellerne generaliserede næsten perfekt på r-trivielle, aperiodiske og løselige opgaver helt op til de længste testede sekvenser. Transformermodellerne lærte de lettere niveauer, men blev dårligere ud over deres træningsfordeling og lærte aldrig generelle endelige opgaver, heller ikke inden for træningsfordelingen. På generelle endelige opgaver holdt Gated DeltaNet-varianten, der tillader positive og negative egenværdier, niveauet næsten perfekt op til cirka 10 gange den maksimale træningslængde, mens varianten med ikke-negative egenværdier straks blev dårligere, når den overskred træningsgrænsen.

Forskerne fortolker denne forskel som tegn på, at prætræning er med til at forklare de prætrænede tilbagevendende modellers og hybridmodellers fejl, mens transformermodellernes fortsatte fejl på det sværeste niveau efter målrettet træning peger på en arkitektonisk begrænsning.

Offentligt tilgængelige ressourcer og resterende begrænsninger

Det udgivne datasæt indeholder 68.000 rækker og fylder i alt 1,05 GB. Den kanoniske konfiguration indeholder formateringsuafhængige operationsspor og sluttilstande; de formaterede poster tilføjer prompts, fuldførelser, forkerte alternativer, kompleksitetsetiketter og genereringsmetadata. Felter for tokenlængde og stratificeringer gør det muligt at udvælge eksempler efter promptlængde.

Kodelageret, der er udgivet under Apache-2.0-licensen, genererer opgavefamilierne ud fra kanoniske spor og kan sikre semantisk adskillelse mellem trænings- og testsæt. Det understøtter både evaluering og generering af træningsdata, samtidig med at den kontrollerede sammenhæng mellem sværhedsgraderne bevares.

Artiklen fremlægger også et bevis for, at Gated DeltaNet med fast præcision og ikke-negative egenværdier kan løse alle ikke-periodiske opgaver og visse periodiske opgaver. Det gælder blandt andet paritet – opgaven med at afgøre, om et gentaget input er forekommet et lige eller ulige antal gange – selvom konstruktionen til paritetsopgaven bygger på afrunding. Variantens præcise placering i hierarkiet er stadig uafklaret, ligesom det er uafklaret, om den kan løse alle løselige opgaver, og hvilken betydning numerisk præcision og tilføjelse af attentionlag har.

StateBench forudsætter også et fast antal variabler og modellerer derfor endnu ikke samtaler eller dokumenter, hvor nye personer og objekter dukker op over tid.

Benchmarkens centrale skel går mellem at kunne modtage et langt input og at bevare den tilstand, der findes i det. De kontrollerede opgaver gør denne forskel målbar på tværs af arkitekturer, men designet med et fast antal variabler betyder, at selv en perfekt score ikke ville dokumentere robust sporing, når nye entiteter dukker op i et dokument eller en samtale.