Ai2、長文脈における状態追跡を測定するStateBenchを公開

Allen Institute for AI（Ai2）は2026年11月3日、言語モデルが長い文書全体で変化する変数を追跡できるかを検証するための、4段階のベンチマーク、データセット、コードを公開し、StateBenchを発表した。Ai2によると、テストした最先端モデル4つはすべて、入力が長くなるにつれて、より難しい形式の状態追跡で性能が崩れた。

Jackson Petty、William Merrill、Ashish Sabharwalによる付属の論文は、測定上の空白に応える取り組みとして本研究を位置づけている。これまでのテストは、5つの対象物の間で次々に起こる入れ替えを追跡する難しい課題であるS₅語問題を重視する傾向があった。一方、より単純な形式のほうが実用的な課題をよく反映し、アーキテクチャ間の違いをすでに明らかにできる可能性がある。StateBenchでは、モデルが追跡しなければならない更新の種類によって、状態追跡を分類している。

状態更新を4段階に分類

第1段階のr-trivialタスクでは代入内容が変わらないため、モデルは変数の初期値を復元するだけでよい。非周期タスクでは値による再代入が可能であり、最新の代入内容さえ分かればよい。可解タスクでは、たとえば自己参照型の更新が加わり x = x + 5、変更のたびに状態を引き継ぐ必要がある。一般有限タスクでは、参照による代入も加わり、入れ替えなどによって変数間に依存関係が生じる。

これらの分類には、有限状態の追跡問題を基本操作へと分解する代数的枠組みであるKrohn–Rhodes理論に基づく形式的な根拠もある。条件を統制して比較できるよう、研究者たちは、変数の数、異なる値の数、代入位置を維持したまま、更新操作だけを変えて、1つの一般有限系列から他のバリエーションを導出した。評価セットは8件から64,000件までの代入を対象とし、各系列には、生成式または多肢選択式のテストに使う正しい最終状態1つと誤った候補4つが組み合わされている。また、表面的な提示形式によって結果が変わるかを検証するため、問題は整数コードや表計算シートのセルなど、複数のテキスト形式でも表現される。

依存関係が増すにつれて事前学習済みモデルは苦戦

Ai2が公開モデルを対象に行った評価には、70億パラメーターのTransformerであるOlmo 3と、Gated DeltaNet層を追加したOlmo Hybridのほか、同じデータで学習した小規模なモデルも含まれていた。いずれのモデルも、学習時に64,000トークンを超える長さの文脈を扱ったことはなく、大半はその長さを超える入力でテストされた。Ai2によると、ほぼすべてのモデルがr-trivialタスクでは良好な性能を示した一方、入力が長くなるにつれて非周期タスクの精度が低下し、一般有限タスクでは偶然と同程度の成績にとどまった。

提示形式によって結果は変わった。Ai2によると、小規模なハイブリッドモデルとGated DeltaNetモデルは、ある形式のr-trivialプロンプトではほぼ最高点を記録したが、同等の問題が表計算シートの編集として提示されると、偶然と同程度の成績になった。この差は、ある形式で優れた結果を出しても、状態を追跡する汎用的な能力があるとは限らないことを意味する。

独自のテストでは、Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol、GPT-6 Lunaに、すべての変数の最終値を生成させた。Ai2によると、4モデルすべてがr-trivialおよび非周期問題では良好な成績を示したが、入力が長くなるにつれて可解問題と一般有限問題では性能が急激に低下し、最長の一般有限問題では精度が13%以下に達した。

直接学習でアーキテクチャと事前学習の影響を切り分ける

こうした失敗がアーキテクチャに起因するのか、事前学習に起因するのかを調べるため、研究者たちは2種類のTransformer、2種類のハイブリッドモデル、メモリー更新の制約が異なる2種類のGated DeltaNetモデルからなる、2億7,500万パラメーターのモデル6つをゼロから学習させた。学習用の系列は最大256件の代入で構成され、テストではその最大長の250倍に及ぶ系列を使用した。

Ai2によると、Gated DeltaNetモデルとハイブリッドモデルは、テストした最長の系列に至るまで、r-trivial、非周期、可解の各タスクでほぼ完璧な汎化性能を示した。Transformerはより簡単な段階のタスクを学習したものの、学習時の分布を超えると性能が低下し、学習時の分布内であっても一般有限タスクを習得できなかった。一般有限タスクでは、正負の固有値を許容するGated DeltaNetのバリエーションは、学習時の最大長のおよそ10倍までほぼ完璧な性能を維持した一方、非負の固有値に限定したバリエーションは、学習時の上限を超えるとすぐに性能が低下した。

研究者たちは、この違いを、事前学習済みの再帰型モデルとハイブリッドモデルが失敗した理由を説明するうえで事前学習が役立つ一方、対象を絞った学習を行ってもTransformerが最難関の段階で失敗し続けることは、アーキテクチャ上の限界を示している証拠だと解釈している。

公開されたリソースと残る限界

公開されたデータセットには68,000行が収録され、合計容量は1.05 GBに上る。標準設定には、フォーマッターに依存しない操作のトレースと最終状態が含まれる。レンダリング済みのレコードには、プロンプト、生成結果、誤った選択肢、複雑さのラベル、生成時のメタデータが追加される。トークン長のフィールドと層別データにより、プロンプトの長さに基づいて例を選択できる。

Apache-2.0ライセンスで公開されたコードリポジトリは、標準トレースからタスク群を生成し、学習用データとテスト用データの分割間で意味上の重複が生じないようにできる。難易度の異なる段階間の統制された関係を保ちながら、評価と学習データの生成の両方に対応する。

この論文ではさらに、固有値が非負の固定精度版Gated DeltaNetが、すべての非周期タスクと一部の周期タスクを解けることを証明している。該当するタスクにはパリティ判定も含まれる。これは、同じ入力が繰り返された回数が偶数か奇数かを判定するタスクだが、パリティ判定の構成は丸め処理に依存している。この変種が階層のどこに正確に位置づけられるかは、依然として明らかになっていない。また、解けるタスクをすべて解けるのか、数値精度やアテンション層の追加がどのような影響を及ぼすのかも未解決である。

StateBenchは変数の数が固定されていることも前提としているため、時間の経過とともに新たな人物や物体が登場する会話や文書は、まだモデル化できない。

このベンチマークの中心的な論点は、長い入力を受け入れることと、その中に含まれる状態を保持することの違いにある。統制されたタスクにより、アーキテクチャ間でこの違いを測定できる一方、変数の数を固定する設計では、たとえ満点を取っても、文書や会話に新たなエンティティが登場したときに堅牢な追跡ができることの証明にはならない。