KI-Modelle und Plattformen
Ai2 veröffentlicht StateBench zur Messung der Zustandsverfolgung über lange Kontexte hinweg
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Das Allen Institute for AI (Ai2) stellte StateBench vor und veröffentlichte am 3. November 2026 einen Benchmark mit vier Stufen, einen Datensatz und Code, mit denen sich testen lässt, ob Sprachmodelle veränderliche Variablen über lange Dokumente hinweg verfolgen können. Ai2 zufolge versagten alle vier getesteten führenden Modelle bei anspruchsvolleren Formen der Zustandsverfolgung, wenn die Eingaben länger wurden.
Das begleitende Paper von Jackson Petty, William Merrill und Ashish Sabharwal stellt die Arbeit als Reaktion auf eine Lücke bei den Messverfahren dar. Bisher konzentrierten sich Tests vor allem auf das S₅-Wortproblem, eine schwierige Aufgabe, bei der aufeinanderfolgende Vertauschungen von fünf Objekten nachverfolgt werden müssen. Einfachere Formen könnten praktische Aufgaben jedoch besser abbilden und Unterschiede zwischen Architekturen bereits sichtbar machen. StateBench unterscheidet die Zustandsverfolgung stattdessen danach, welcher Art von Aktualisierung ein Modell folgen muss.
Vier Stufen der Zustandsaktualisierung
Auf der ersten Stufe verwenden r-triviale Aufgaben unveränderliche Zuweisungen, sodass das Modell lediglich den ursprünglichen Wert einer Variablen wiederherstellen muss. Bei aperiodischen Aufgaben sind Neuzuweisungen nach Wert möglich, sodass die jüngste Zuweisung genügt. Lösbare Aufgaben ergänzen selbstreferenzielle Aktualisierungen, etwa x = x + 5, bei denen jede Änderung fortgeschrieben werden muss. Bei allgemeinen endlichen Aufgaben kommen Zuweisungen durch Referenz hinzu, einschließlich Vertauschungen, durch die Abhängigkeiten zwischen Variablen entstehen.
Die Kategorien haben zudem eine formale Grundlage in der Krohn-Rhodes-Theorie, einem algebraischen Rahmen, der Probleme der Zustandsverfolgung mit endlichem Zustandsraum in primitive Operationen zerlegt. Für kontrollierte Vergleiche leiten die Forschenden die anderen Varianten aus einer allgemeinen endlichen Sequenz ab. Dabei bleiben die Anzahl der Variablen, der unterschiedlichen Werte und der Zuweisungspositionen gleich; nur die Aktualisierungsoperation ändert sich. Der Evaluationssatz umfasst 8 bis 64.000 Zuweisungen. Jede Sequenz wird für generative Tests oder Multiple-Choice-Tests einem korrekten Endzustand und vier falschen Kandidaten gegenübergestellt. Die Aufgaben werden außerdem in mehreren Textformaten dargestellt, darunter als Ganzzahlcode und in Tabellenzellen, um zu testen, ob die äußere Darstellung das Ergebnis beeinflusst.
Vortrainierte Modelle tun sich mit zunehmenden Abhängigkeiten schwer
Ai2s Evaluierung offener Modelle umfasste den Transformer Olmo 3 mit 7 Milliarden Parametern und Olmo Hybrid, das um Gated-DeltaNet-Schichten erweitert ist, sowie kleinere Systeme, die mit denselben Daten trainiert wurden. Während des Trainings hatte keines der Modelle Kontexte mit mehr als 64.000 Token gesehen; die meisten wurden mit längeren Kontexten getestet. Ai2 zufolge schnitten fast alle bei r-trivialen Aufgaben gut ab, verloren bei aperiodischen Aufgaben mit zunehmender Eingabelänge an Genauigkeit und blieben bei allgemeinen endlichen Aufgaben auf Zufallsniveau.
Die Darstellungsform veränderte die Ergebnisse: Ai2 zufolge erzielten das kleine Hybridmodell und die kleinen Gated-DeltaNet-Modelle bei r-trivialen Prompts in einem Format Ergebnisse nahe dem Höchstwert, bei gleichwertigen Aufgaben in Form von Tabellenänderungen dagegen Ergebnisse nahe dem Zufallsniveau. Dieser Unterschied bedeutet, dass ein starkes Ergebnis in einem Format nicht zwangsläufig eine allgemeine Fähigkeit zur Zustandsverfolgung belegt.
Bei den proprietären Tests sollten Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol und GPT-6 Luna für jede Variable den Endwert generieren. Ai2 zufolge schnitten alle vier bei r-trivialen und aperiodischen Aufgaben gut ab, ließen bei lösbaren und allgemeinen endlichen Aufgaben mit zunehmender Eingabelänge jedoch stark nach. Bei den längsten allgemeinen endlichen Aufgaben erreichten sie eine Genauigkeit von höchstens 13 Prozent.
Direktes Training trennt den Einfluss der Architektur vom Vortraining
Um festzustellen, ob diese Fehler auf die Architekturen oder das Vortraining zurückzuführen waren, trainierten die Forschenden sechs Modelle mit 275 Millionen Parametern von Grund auf: zwei Transformer-Varianten, zwei Hybridmodelle und zwei Gated-DeltaNet-Varianten mit unterschiedlichen Einschränkungen bei der Aktualisierung des Speichers. Die Trainingssequenzen umfassten höchstens 256 Zuweisungen; beim Testen reichte die Länge bis zum 250-Fachen dieses Höchstwerts.
Ai2 zufolge verallgemeinerten Gated-DeltaNet- und Hybridmodelle bei r-trivialen, aperiodischen und lösbaren Aufgaben bis hin zu den längsten getesteten Sequenzen nahezu perfekt. Transformer lernten die einfacheren Stufen, ließen außerhalb ihrer Trainingsverteilung jedoch nach und lernten allgemeine endliche Aufgaben selbst innerhalb dieser Verteilung nie. Bei allgemeinen endlichen Aufgaben blieb die Gated-DeltaNet-Variante, die positive und negative Eigenwerte zulässt, bis etwa zum Zehnfachen ihrer maximalen Trainingslänge nahezu perfekt, während die Variante mit nichtnegativen Eigenwerten unmittelbar nach Überschreiten der Trainingsgrenze nachließ.
Die Forschenden deuten diese Unterschiede als Hinweis darauf, dass das Vortraining die Fehler der vortrainierten rekurrenten und Hybridmodelle mit erklärt, während das anhaltende Versagen der Transformer bei der schwierigsten Stufe trotz gezielten Trainings auf eine architektonische Einschränkung hindeutet.
Öffentlich verfügbare Ressourcen und verbleibende Grenzen
Der veröffentlichte Datensatz umfasst 68.000 Zeilen mit insgesamt 1,05 GB. Seine kanonische Konfiguration enthält von der Formatierung unabhängige Operationsverläufe und Endzustände; aufbereitete Datensätze ergänzen Prompts, Vervollständigungen, falsche Alternativen, Komplexitätskennzeichnungen und Metadaten zur Generierung. Tokenlängenfelder und Strata ermöglichen die Auswahl von Beispielen anhand der Promptlänge.
Das unter der Apache-2.0-Lizenz veröffentlichte Code-Repository erzeugt die Aufgabenfamilien aus kanonischen Verläufen und kann sicherstellen, dass sich die Trainings- und Testdaten inhaltlich nicht überschneiden. Es unterstützt sowohl die Evaluierung als auch die Erzeugung von Trainingsdaten und bewahrt dabei den kontrollierten Zusammenhang zwischen den Schwierigkeitsstufen.
Der Artikel legt außerdem einen Beweis dafür vor, dass Gated DeltaNet mit fester numerischer Präzision und nichtnegativen Eigenwerten alle aperiodischen und bestimmte periodische Aufgaben lösen kann. Dazu gehört die Paritätsaufgabe: Dabei muss erkannt werden, ob eine wiederholte Eingabe eine gerade oder ungerade Anzahl von Malen aufgetreten ist. Die Konstruktion für die Paritätsaufgabe beruht allerdings auf Rundung. Welchen genauen Platz diese Variante in der Hierarchie einnimmt, ist ebenso ungeklärt wie die Frage, ob sie jede lösbare Aufgabe bewältigen kann und welche Auswirkungen numerische Präzision und das Hinzufügen von Attention-Layern haben.
StateBench geht außerdem von einer festen Anzahl an Variablen aus und bildet daher noch keine Gespräche oder Dokumente ab, in denen im Laufe der Zeit neue Personen und Objekte hinzukommen.
Der zentrale Unterschied, den der Benchmark herausarbeitet, besteht darin, eine lange Eingabe entgegenzunehmen oder den darin enthaltenen Zustand zu bewahren. Mit seinen kontrollierten Aufgaben lässt sich dieser Unterschied über verschiedene Architekturen hinweg messen. Aufgrund des Designs mit einer festen Anzahl an Variablen würde jedoch selbst eine perfekte Punktzahl nicht belegen, dass neue Entitäten in einem Dokument oder Gespräch zuverlässig nachverfolgt werden können.
