Ai2 brengt StateBench uit om het volgen van toestanden in lange contexten te meten

Het Allen Institute for AI (Ai2) introduceerde StateBench op 3 november 2026 en bracht een benchmark met vier niveaus uit, evenals een dataset en code om te testen of taalmodellen veranderende variabelen in lange documenten kunnen volgen. Ai2 meldde dat alle vier de frontiermodellen die het testte vastliepen op moeilijkere vormen van toestandsbijhouding naarmate de invoer langer werd.

Het bijbehorende artikel van Jackson Petty, William Merrill en Ashish Sabharwal beschrijft het onderzoek als een antwoord op een lacune in de meetmethoden. Bestaande tests legden doorgaans de nadruk op het S₅-woordprobleem, een moeilijke taak waarbij opeenvolgende verwisselingen tussen vijf objecten moeten worden bijgehouden. Eenvoudigere vormen zijn mogelijk representatiever voor praktische taken en kunnen verschillen tussen architecturen al zichtbaar maken. StateBench deelt het volgen van toestanden juist in op basis van het soort update dat een model moet bijhouden.

Vier niveaus van toestandsupdates

Op het eerste niveau gebruiken r-triviale taken onveranderlijke toewijzingen, zodat het model alleen de oorspronkelijke waarde van een variabele hoeft terug te halen. Bij aperiodieke taken kan een waarde opnieuw worden toegewezen, waardoor de meest recente toewijzing volstaat. Oplosbare taken voegen zelfreferentiële updates toe, zoals updates x = x + 5, waarbij elke wijziging moet worden meegenomen.

De categorieën zijn ook formeel onderbouwd in de Krohn–Rhodes-theorie, een algebraïsch raamwerk dat problemen rond het volgen van eindige toestanden opsplitst in elementaire bewerkingen. Om varianten gecontroleerd te kunnen vergelijken, leiden de onderzoekers de overige varianten af van één algemene eindige reeks. Daarbij behouden ze het aantal variabelen, verschillende waarden en toewijzingsposities, en veranderen ze alleen de updatebewerking. De evaluatieset omvat 8 tot 64.000 toewijzingen. Elke reeks koppelt één correcte eindtoestand aan vier onjuiste kandidaten, voor tests met tekstgeneratie of meerkeuzevragen. De problemen worden ook in verschillende tekstuele formaten weergegeven, waaronder code met gehele getallen en spreadsheetcellen, om te testen of de presentatie het resultaat beïnvloedt.

Vooraf getrainde modellen hebben moeite naarmate afhankelijkheden toenemen

Ai2’s evaluatie van open modellen omvatte de transformer Olmo 3 met 7 miljard parameters en Olmo Hybrid, waaraan Gated DeltaNet-lagen zijn toegevoegd, plus kleinere systemen die op dezelfde gegevens waren getraind. Tijdens de training had geen van de modellen contexten van meer dan 64.000 tokens gezien; de meeste werden getest met langere contexten. Ai2 meldde dat bijna alle modellen goed presteerden op r-triviale taken, bij langere invoer aan nauwkeurigheid verloren op aperiodieke taken en op algemene eindige taken niet beter dan toeval scoorden.

De presentatie beïnvloedde de resultaten: Ai2 meldde dat het kleine hybride model en de Gated DeltaNet-modellen bij r-triviale prompts in één formaat bijna de maximale score behaalden, maar bij equivalente problemen die als spreadsheetbewerkingen werden weergegeven bijna niet beter dan toeval scoorden. Dat verschil betekent dat een sterke score in één formaat niet noodzakelijkerwijs aantoont dat een model toestanden in het algemeen kan volgen.

Bij de propriëtaire tests moesten Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol en GPT-6 Luna de eindwaarde van elke variabele genereren. Ai2 meldde dat alle vier goed presteerden op r-triviale en aperiodieke problemen, maar bij langere invoer sterk achteruitgingen op oplosbare en algemene eindige problemen. Op de langste algemene eindige gevallen bedroeg hun nauwkeurigheid 13% of minder.

Directe training maakt onderscheid tussen architectuur en voortraining

Om vast te stellen of deze tekortkomingen voortkwamen uit de architecturen of uit de voortraining, trainden de onderzoekers zes modellen met 275 miljoen parameters vanaf nul: twee varianten van een transformer, twee hybride modellen en twee Gated DeltaNet-varianten met verschillende beperkingen voor het bijwerken van het geheugen. De trainingsreeksen bevatten maximaal 256 toewijzingen, terwijl de tests werden uitgebreid tot 250 keer die maximale lengte.

Ai2 meldde dat Gated DeltaNet-modellen en hybride modellen bijna perfect generaliseerden op r-triviale, aperiodieke en oplosbare taken, tot en met de langste geteste reeksen. Transformers leerden de eenvoudigere niveaus, maar presteerden slechter buiten hun trainingsverdeling en leerden algemene eindige taken nooit, zelfs niet binnen die verdeling. Op algemene eindige taken bleef de Gated DeltaNet-variant met positieve en negatieve eigenwaarden bijna perfect presteren tot ongeveer 10 keer de maximale trainingslengte, terwijl de variant met niet-negatieve eigenwaarden direct na de trainingsgrens achteruitging.

De onderzoekers zien dit verschil als aanwijzing dat voortraining de tekortkomingen vóór de training van de recurrente en hybride modellen helpt verklaren, terwijl het feit dat transformers na gerichte training nog steeds tekortschieten op het moeilijkste niveau wijst op een beperking van de architectuur.

Openbare bestanden en resterende beperkingen

De vrijgegeven dataset bevat 68.000 rijen met een totale omvang van 1,05 GB. De canonieke configuratie bevat formatteringsonafhankelijke bewerkingssporen en eindtoestanden; de weergegeven records voegen prompts, gegenereerde teksten, onjuiste alternatieven, complexiteitslabels en metadata over de generatie toe. Velden met tokenaantallen en strata maken het mogelijk voorbeelden te selecteren op basis van de promptlengte.

De coderepository, uitgebracht onder de Apache-2.0-licentie, genereert de taakfamilies op basis van canonieke sporen en kan semantische overlap tussen trainings- en testsets voorkomen. De repository ondersteunt zowel evaluatie als het genereren van trainingsgegevens, met behoud van de gecontroleerde samenhang tussen de moeilijkheidsniveaus.

De paper presenteert ook een bewijs dat Gated DeltaNet met vaste precisie en niet-negatieve eigenwaarden alle aperiodieke taken en bepaalde periodieke taken kan oplossen. Daaronder valt pariteit: de taak om te herkennen of een herhaalde invoer een even of oneven aantal keer is voorgekomen. De constructie voor pariteit is echter afhankelijk van afronding. De precieze plaats van deze variant in de hiërarchie is nog onduidelijk, evenals het vermogen ervan om elke oplosbare taak uit te voeren en de effecten van numerieke precisie en het toevoegen van aandachtslagen.

StateBench gaat ook uit van een vast aantal variabelen en modelleert daarom nog geen gesprekken of documenten waarin in de loop der tijd nieuwe mensen en objecten verschijnen.

Het centrale onderscheid dat de benchmark maakt, is dat tussen een lange invoer accepteren en de toestand daarin behouden. Dankzij de gecontroleerde taken kan dat verschil voor verschillende architecturen meetbaar worden gemaakt. Doordat het aantal variabelen echter vastligt, zou zelfs een perfecte score niet aantonen dat nieuwe entiteiten in een document of gesprek robuust kunnen worden gevolgd.