Ai2 випускає StateBench для вимірювання відстеження стану в контекстах великої довжини

Allen Institute for AI (Ai2) представив StateBench 3 листопада 2026 року, опублікувавши бенчмарк із чотирма рівнями, набір даних і код для перевірки того, чи здатні мовні моделі відстежувати змінні в довгих документах. Ai2 повідомив, що всі чотири передові моделі, які він протестував, не впоралися зі складнішими формами відстеження стану зі збільшенням довжини вхідних даних.

У супровідній статті Jackson Petty, William Merrill і Ashish Sabharwal описують цю роботу як відповідь на прогалину в методах вимірювання. У наявних тестах зазвичай наголошують на словесній задачі S₅ — складному завданні, що полягає у відстеженні послідовних обмінів між п’ятьма об’єктами, — тоді як простіші форми можуть краще відповідати практичним завданням і вже виявляти відмінності між архітектурами. Натомість StateBench розділяє завдання з відстеження стану за типом оновлення, яке має відстежувати модель.

Чотири рівні оновлення стану

На першому рівні в завданнях типу r-trivial використовують незмінні присвоєння, тож моделі потрібно лише відновити початкове значення змінної. В аперіодичних завданнях дозволено повторно присвоювати значення, тому достатньо знати останнє присвоєння. У розв’язуваних завданнях додаються самореферентні оновлення, наприклад x = x + 5, що вимагає враховувати кожну зміну надалі. У загальних скінченних завданнях додається присвоєння за посиланням, зокрема обміни значеннями, які створюють залежності між змінними.

Ці категорії мають і формальне підґрунтя — теорію Крона—Роудса, алгебричну основу, що розкладає задачі відстеження скінченних станів на елементарні операції. Для контрольованого порівняння дослідники отримують інші варіанти з однієї загальної скінченної послідовності, зберігаючи кількість змінних, різних значень і позицій присвоєння та змінюючи лише операцію оновлення. Набір для оцінювання охоплює від 8 до 64 000 присвоєнь, а кожна послідовність поєднує один правильний кінцевий стан із чотирма неправильними варіантами для генеративного тестування або тестування з вибором відповіді. Завдання також подають у кількох текстових форматах, зокрема у вигляді цілих чисел і клітинок електронних таблиць, щоб перевірити, чи впливає форма подання на результат.

Попередньо навчені моделі втрачають здатність упоратися зі зростанням залежностей

В оцінювання відкритих моделей від Ai2 увійшли трансформер Olmo 3 із 7 мільярдами параметрів і Olmo Hybrid, до якого додано шари Gated DeltaNet, а також менші системи, навчені на тих самих даних. Під час навчання жодна з них не обробляла контексти довші за 64 000 токенів, а більшість тестували на контекстах, довших за цю межу. За повідомленням Ai2, майже всі моделі добре впоралися із завданнями типу r-trivial, втрачали точність в аперіодичних завданнях зі збільшенням вхідних даних і залишалися на рівні випадкового вгадування в загальних скінченних завданнях.

Форма подання впливала на результати: за словами Ai2, малі гібридні моделі та моделі Gated DeltaNet отримували майже максимальні бали на запитах типу r-trivial в одному форматі, але в іншому, коли рівнозначні завдання подавали як редагування електронних таблиць, їхні результати були близькими до випадкового вгадування. Ця різниця означає, що високий результат в одному форматі не обов’язково свідчить про загальну здатність відстежувати стан.

У закритих тестах Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol і GPT-6 Luna мали згенерувати кінцеве значення кожної змінної. За повідомленням Ai2, усі чотири моделі добре впоралися із завданнями типу r-trivial та аперіодичними завданнями, але їхні результати різко погіршувалися на розв’язуваних і загальних скінченних завданнях зі збільшенням довжини вхідних даних; на найдовших загальних скінченних завданнях точність становила 13% або менше.

Навчання з нуля дає змогу відокремити вплив архітектури від попереднього навчання

Щоб з’ясувати, чи були причиною цих невдач архітектури, чи попереднє навчання, дослідники навчили з нуля шість моделей із 275 мільйонами параметрів: два варіанти трансформерів, два гібриди та два варіанти Gated DeltaNet з різними обмеженнями на оновлення пам’яті. Навчальні послідовності містили не більш як 256 присвоєнь, тоді як під час тестування їхня довжина сягала 250-кратної максимальної довжини навчальних послідовностей.

За повідомленням Ai2, моделі Gated DeltaNet і гібридні моделі майже бездоганно узагальнювали знання на завданнях типу r-trivial, аперіодичних і розв’язуваних завданнях навіть на найдовших протестованих послідовностях. Трансформери навчилися виконувати простіші завдання, але їхні результати погіршувалися за межами розподілу навчальних даних, і вони так і не навчилися виконувати загальні скінченні завдання навіть у межах цього розподілу. У загальних скінченних завданнях варіант Gated DeltaNet, у якому дозволено додатні й від’ємні власні значення, зберігав майже бездоганні результати приблизно до довжини, що в 10 разів перевищувала максимальну довжину навчальних послідовностей. Натомість варіант із невід’ємними власними значеннями починав погіршувати результати одразу за межею навчальних даних.

Дослідники тлумачать цю відмінність як свідчення того, що попереднє навчання допомагає пояснити невдачі попередньо навчених рекурентних і гібридних моделей, тоді як нездатність трансформерів упоратися з найскладнішим рівнем навіть після цільового навчання вказує на архітектурне обмеження.

Відкриті ресурси та наявні обмеження

Опублікований набір даних містить 68 000 рядків загальним обсягом 1,05 ГБ. Його канонічна конфігурація містить сліди операцій і кінцеві стани, незалежні від формату подання; до відрендерених записів додаються запити, завершення, неправильні варіанти, мітки складності та метадані генерації. Поля довжини в токенах і страти дають змогу добирати приклади за довжиною запиту.

Репозиторій коду, випущений за ліцензією Apache-2.0, генерує сімейства завдань на основі канонічних слідів і може забезпечувати семантичну неперетинність навчальної та тестової вибірок. Він підтримує як оцінювання, так і генерування навчальних даних, зберігаючи контрольований зв’язок між рівнями складності.

У статті також наведено доказ того, що Gated DeltaNet із фіксованою точністю та невід’ємними власними значеннями може розв’язувати всі аперіодичні завдання й певні періодичні завдання. До них належить завдання на парність — визначення того, чи з’являвся певний вхід парну чи непарну кількість разів, хоча побудова для парності спирається на округлення. Точне місце цього варіанта в ієрархії досі не визначене; так само не з’ясовано, чи здатен він розв’язувати кожне розв’язуване завдання та як на це впливають числова точність і додавання шарів уваги.

StateBench також передбачає фіксовану кількість змінних, тому наразі не моделює розмови чи документи, у яких із часом з’являються нові люди й об’єкти.

Ключова відмінність, яку виокремлює цей бенчмарк, полягає в тому, щоб прийняти довгий вхідний текст — і в тому, щоб зберегти закладений у ньому стан. Завдяки контрольованим завданням цю різницю можна вимірювати для різних архітектур, однак фіксована кількість змінних означає, що навіть ідеальний результат не доводив би здатності надійно відстежувати сутності, які з’являються в документі чи розмові.