Ai2 lanserar StateBench för att mäta tillståndsspårning i långa kontexter

Allen Institute for AI (Ai2) introducerade StateBench den 3 november 2026 och lanserade därmed ett benchmark med fyra nivåer, en datamängd och kod för att testa om språkmodeller kan hålla reda på variabler som förändras i långa dokument. Ai2 rapporterade att alla fyra frontiermodeller som organisationen testade misslyckades med svårare former av tillståndsspårning när indata blev längre.

Den tillhörande artikeln av Jackson Petty, William Merrill och Ashish Sabharwal beskriver arbetet som ett svar på en mätlucka. Befintliga tester har tenderat att fokusera på ordproblemet i S₅, en svår uppgift som går ut på att följa upprepade byten mellan fem objekt, trots att enklare former kan vara mer representativa för praktiska uppgifter och redan kan synliggöra skillnader mellan arkitekturer. StateBench delar i stället in tillståndsspårning efter vilken typ av uppdatering modellen måste följa.

Fyra nivåer av tillståndsuppdateringar

På den första nivån använder r-triviala uppgifter oföränderliga tilldelningar, så modellen behöver bara återfinna en variabels ursprungliga värde. Aperiodiska uppgifter tillåter att ett värde tilldelas på nytt, vilket innebär att den senaste tilldelningen räcker. Lösbara uppgifter lägger till självrefererande uppdateringar, till exempel x = x + 5, vilket kräver att varje ändring förs vidare. Allmänna ändliga uppgifter lägger till tilldelning genom referens, däribland byten, vilket skapar beroenden mellan variabler.

Kategorierna har också en formell grund i Krohn–Rhodes-teorin, ett algebraiskt ramverk som delar upp ändliga tillståndsspårningsproblem i grundläggande operationer. För att möjliggöra kontrollerade jämförelser härleder forskarna de andra varianterna från en och samma allmänna ändliga sekvens. De behåller antalet variabler, distinkta värden och tilldelningspositioner, men ändrar endast uppdateringsoperationen. Utvärderingsmängden omfattar från 8 till 64 000 tilldelningar, och varje sekvens paras ihop med ett korrekt sluttillstånd och fyra felaktiga alternativ för generativ testning eller flervalsprov. Problemen presenteras också i flera textformat, bland annat som heltalskod och kalkylbladsceller, för att testa om presentationen påverkar resultatet.

Förtränade modeller får problem när beroendena växer

Ai2:s utvärdering av modeller med öppna vikter omfattade transformermodellen Olmo 3 med 7 miljarder parametrar och Olmo Hybrid, som lägger till Gated DeltaNet-lager, samt mindre system som tränats på samma data. Ingen av modellerna hade under träningen sett kontexter längre än 64 000 token, och de flesta testades på längre kontexter. Ai2 rapporterade att nästan alla presterade bra på r-triviala uppgifter, tappade i träffsäkerhet på aperiodiska uppgifter när indata växte och låg kvar på slumpnivå på allmänna ändliga uppgifter.

Presentationens utformning påverkade resultaten: Ai2 uppgav att de små hybridmodellerna och Gated DeltaNet-modellerna fick resultat nära maxnivån på r-triviala instruktioner i ett format, men låg nära slumpnivån när motsvarande problem presenterades som kalkylbladsredigeringar. Den skillnaden innebär att ett starkt resultat i ett format inte nödvändigtvis visar på en generell förmåga att spåra tillstånd.

I de proprietära testerna ombads Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol och GPT-6 Luna att generera slutvärdet för varje variabel. Ai2 rapporterade att alla fyra presterade bra på r-triviala och aperiodiska problem, men att resultaten försämrades kraftigt på lösbara och allmänna ändliga problem när indata blev längre. På de längsta allmänna ändliga problemen nådde träffsäkerheten som mest 13 %.

Direktträning skiljer arkitektur från förträning

För att avgöra om dessa misslyckanden berodde på arkitekturerna eller på förträningen tränade forskarna sex modeller med 275 miljoner parametrar från grunden: två transformervarianter, två hybridvarianter och två Gated DeltaNet-varianter med olika begränsningar för minnesuppdateringar. Träningssekvenserna innehöll högst 256 tilldelningar, medan testningen sträckte sig till 250 gånger den maximala längden.

Ai2 rapporterade att Gated DeltaNet-modellerna och hybridmodellerna generaliserade nästan perfekt på r-triviala, aperiodiska och lösbara uppgifter, ända upp till de längsta sekvenserna som testades. Transformermodellerna lärde sig de enklare nivåerna, men presterade sämre utanför träningsfördelningen och lärde sig aldrig allmänna ändliga uppgifter, inte ens inom träningsfördelningen. På allmänna ändliga uppgifter låg den Gated DeltaNet-variant som tillåter positiva och negativa egenvärden nära perfekta resultat upp till ungefär 10 gånger sin maximala träningslängd, medan varianten med icke-negativa egenvärden försämrades omedelbart bortom träningsgränsen.

Forskarna tolkar denna skillnad som ett tecken på att förträning bidrar till att förklara de förtränade återkommande modellerna och hybridmodellernas misslyckanden, medan transformermodellernas fortsatta misslyckande på den svåraste nivån efter riktad träning tyder på en arkitektonisk begränsning.

Offentliga resurser och kvarstående begränsningar

Den publicerade datamängden innehåller 68 000 rader och omfattar totalt 1,05 GB. Dess kanoniska konfiguration innehåller operationsspår och sluttillstånd som är oberoende av formaterare. De renderade posterna kompletteras med instruktioner, genererade svar, felaktiga alternativ, komplexitetsetiketter och metadata för generering. Fält med tokenlängder och strata gör det möjligt att välja exempel utifrån instruktionernas längd.

Kodarkivet, som publicerats under licensen Apache-2.0, genererar uppgiftsfamiljerna från kanoniska spår och kan säkerställa semantisk åtskillnad mellan tränings- och testmängder. Det stöder både utvärdering och generering av träningsdata, samtidigt som det kontrollerade sambandet mellan svårighetsnivåerna bevaras.

Artikeln presenterar också ett bevis för att Gated DeltaNet med fast precision och icke-negativa egenvärden kan lösa alla aperodiska uppgifter och vissa periodiska uppgifter. Dit hör paritet, det vill säga uppgiften att avgöra om en upprepad indata har förekommit ett jämnt eller udda antal gånger, även om paritetskonstruktionen bygger på avrundning. Variantens exakta plats i hierarkin är fortfarande oklar, liksom dess förmåga att lösa alla lösbara uppgifter och hur numerisk precision och tillägg av uppmärksamhetslager påverkar den.

StateBench utgår också från ett fast antal variabler och modellerar därför ännu inte konversationer eller dokument där nya personer och objekt dyker upp med tiden.

Benchmarkens centrala åtskillnad går mellan att ta emot en lång indata och att bevara tillståndet i den. De kontrollerade uppgifterna gör skillnaden mätbar mellan olika arkitekturer, men eftersom antalet variabler är fast skulle inte ens ett perfekt resultat visa att modellen tillförlitligt kan hålla reda på nya entiteter som dyker upp i ett dokument eller en konversation.