Ai2 publie StateBench pour mesurer le suivi d’état dans les contextes longs

L’Allen Institute for AI (Ai2) a présenté StateBench le 3 novembre 2026, en publiant un banc d’essai à quatre niveaux, un jeu de données et du code permettant de tester si les modèles de langage peuvent suivre l’évolution de variables dans de longs documents. Ai2 a indiqué que les quatre modèles de pointe évalués ont tous échoué sur les formes les plus difficiles du suivi d’état à mesure que les entrées s’allongeaient.

L’article de Jackson Petty, William Merrill et Ashish Sabharwal qui accompagne ces travaux les présente comme une réponse à une lacune dans les méthodes de mesure. Les tests existants ont eu tendance à mettre l’accent sur le problème des mots S₅, une tâche difficile qui consiste à suivre des échanges successifs entre cinq objets, alors que des formes plus simples pourraient mieux représenter les tâches pratiques et révéler déjà des différences entre les architectures. StateBench distingue plutôt les types de suivi d’état selon la nature des mises à jour que le modèle doit suivre.

Quatre niveaux de mises à jour d’état

Au premier niveau, les tâches r-triviales utilisent des affectations immuables : le modèle doit seulement retrouver la valeur initiale d’une variable. Les tâches apériodiques autorisent la réaffectation d’une valeur, de sorte que seule la dernière affectation est nécessaire. Les tâches solubles ajoutent des mises à jour autoréférentielles telles que x = x + 5, ce qui exige de répercuter chaque changement. Les tâches générales finies ajoutent l’affectation par référence, notamment les échanges, qui créent des dépendances entre les variables.

Ces catégories reposent également sur un fondement formel dans la théorie de Krohn–Rhodes, un cadre algébrique qui décompose les problèmes de suivi à états finis en opérations élémentaires. Pour effectuer des comparaisons contrôlées, les chercheurs dérivent les autres variantes d’une même séquence générale à états finis, en conservant le nombre de variables, de valeurs distinctes et de positions d’affectation, tout en ne modifiant que l’opération de mise à jour. Le jeu d’évaluation comprend de 8 à 64 000 affectations, et chaque séquence associe un état final correct à quatre propositions erronées pour les tests génératifs ou à choix multiples. Les problèmes sont également présentés sous plusieurs formats textuels, notamment sous forme de code utilisant des entiers et de cellules de tableur, afin de vérifier si leur présentation en surface modifie les résultats.

Les modèles préentraînés peinent à mesure que les dépendances se multiplient

L’évaluation de modèles ouverts menée par Ai2 comprenait le transformeur Olmo 3 de 7 milliards de paramètres et Olmo Hybrid, qui ajoute des couches Gated DeltaNet, ainsi que des systèmes plus petits entraînés sur les mêmes données. Aucun n’avait rencontré de contextes de plus de 64 000 jetons pendant l’entraînement, et la plupart ont été testés au-delà de cette longueur. Ai2 a indiqué que presque tous obtenaient de bons résultats sur les tâches r-triviales, perdaient en précision sur les tâches apériodiques à mesure que les entrées s’allongeaient et restaient au niveau du hasard sur les tâches générales finies.

La présentation a modifié les résultats : Ai2 a indiqué que les petits modèles hybrides et Gated DeltaNet obtenaient des scores proches du maximum sur les invites r-triviales dans un format, mais proches du niveau du hasard lorsque des problèmes équivalents étaient présentés sous forme de modifications dans un tableur. Cet écart signifie qu’un résultat élevé dans un format ne démontre pas nécessairement une capacité générale à suivre l’état.

Les tests propriétaires demandaient à Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol et GPT-6 Luna de générer la valeur finale de chaque variable. Ai2 a indiqué que les quatre modèles obtenaient de bons résultats sur les problèmes r-triviaux et apériodiques, mais que leurs performances chutaient fortement sur les problèmes solubles et généraux finis à mesure que les entrées s’allongeaient, leur précision atteignant 13 % ou moins sur les cas généraux finis les plus longs.

L’entraînement direct distingue l’architecture du préentraînement

Pour déterminer si ces échecs provenaient des architectures ou du préentraînement, les chercheurs ont entraîné à partir de zéro six modèles de 275 millions de paramètres : deux variantes de transformeur, deux modèles hybrides et deux variantes Gated DeltaNet soumises à des contraintes différentes de mise à jour de la mémoire. Les séquences d’entraînement comportaient au maximum 256 affectations, tandis que les séquences de test atteignaient 250 fois cette longueur maximale.

Ai2 a indiqué que les modèles Gated DeltaNet et hybrides généralisaient presque parfaitement sur les tâches r-triviales, apériodiques et solubles, jusqu’aux séquences les plus longues testées. Les transformeurs ont appris les niveaux les plus faciles, mais leurs performances se sont dégradées au-delà de leur distribution d’entraînement et ils n’ont jamais appris à résoudre les tâches générales finies, même dans cette distribution. Pour les tâches générales finies, la variante Gated DeltaNet autorisant des valeurs propres positives et négatives est restée presque parfaite jusqu’à environ 10 fois la longueur maximale de ses séquences d’entraînement, tandis que la variante à valeurs propres non négatives s’est immédiatement dégradée au-delà de la limite fixée par l’entraînement.

Les chercheurs interprètent cette divergence comme un signe que le préentraînement contribue à expliquer les échecs des modèles récurrents et hybrides préentraînés, tandis que l’échec persistant des transformeurs sur le niveau le plus difficile après un entraînement ciblé indique une limite architecturale.

Ressources publiques et limites persistantes

Le jeu de données publié répertorie 68 000 lignes, pour un total de 1,05 Go. Sa configuration de référence comprend des traces d’opérations et des états finaux indépendants du formateur ; les enregistrements générés ajoutent des invites, des complétions, des propositions erronées, des étiquettes de complexité et des métadonnées de génération. Les champs indiquant la longueur en jetons et les strates permettent de sélectionner des exemples selon la longueur de l’invite.

Le dépôt de code, publié sous licence Apache-2.0, génère les familles de tâches à partir de traces de référence et peut garantir une disjonction sémantique entre les partitions d’entraînement et de test. Il prend en charge l’évaluation et la génération de données d’entraînement, tout en préservant le lien contrôlé entre les niveaux de difficulté.

L’article présente également une preuve selon laquelle Gated DeltaNet à précision fixe, avec des valeurs propres non négatives, peut résoudre toutes les tâches apériodiques ainsi que certaines tâches périodiques. Parmi celles-ci figure la parité, qui consiste à reconnaître si une entrée répétée est apparue un nombre pair ou impair de fois, bien que la construction de la parité repose sur l’arrondi. La place exacte de cette variante dans la hiérarchie reste indéterminée, tout comme sa capacité à résoudre toutes les tâches résolubles et les effets de la précision numérique et de l’ajout de couches d’attention.

StateBench suppose également un nombre fixe de variables : il ne modélise donc pas encore les conversations ou les documents dans lesquels de nouvelles personnes et de nouveaux objets apparaissent au fil du temps.

La distinction fondamentale établie par le benchmark oppose la capacité à accepter une longue entrée à celle d’en préserver l’état interne. Ses tâches contrôlées permettent de mesurer cette différence entre les architectures, mais le nombre fixe de variables signifie que même un score parfait ne démontrerait pas un suivi fiable lorsque de nouvelles entités apparaissent dans un document ou une conversation.