Ai2 выпустила StateBench для оценки отслеживания состояния в длинных контекстах

Allen Institute for AI (Ai2) представил StateBench 3 ноября 2026 года — бенчмарк с четырьмя уровнями, набор данных и код для проверки того, могут ли языковые модели отслеживать меняющиеся переменные в длинных документах. Ai2 сообщила, что все четыре протестированные передовые модели не справились с более сложными формами отслеживания состояния при увеличении длины входных данных.

В сопроводительной статье Джексон Петти, Уильям Меррилл и Ашиш Сабхарвал представляют эту работу как ответ на пробел в методах измерения. В существующих тестах основное внимание обычно уделялось задаче со словами для группы S₅ — сложной задаче, в которой нужно прослеживать последовательные перестановки пяти объектов. Однако более простые варианты могут лучше соответствовать практическим задачам и уже выявлять различия между архитектурами. Вместо этого StateBench разделяет задачи по отслеживанию состояния в зависимости от типа обновления, за которым должна следить модель.

Четыре уровня обновления состояния

На первом уровне задачи r-тривиального типа используют неизменяемые присваивания, поэтому модели достаточно восстановить исходное значение переменной. В апериодических задачах допускается повторное присваивание значений, так что достаточно учитывать последнее присваивание. Задачи разрешимого типа добавляют обновления с самоссылкой, например обновления, при которых x = x + 5каждое изменение необходимо учитывать при последующих обновлениях. В задачах общего конечного типа добавляется присваивание по ссылке, в том числе перестановки значений, создающие зависимости между переменными.

Эти категории также имеют формальное обоснование в теории Крона — Родса — алгебраической системе, которая разлагает задачи отслеживания конечных состояний на базовые операции. Для контролируемых сравнений исследователи получают остальные варианты из одной общей последовательности конечного типа, сохраняя число переменных, различных значений и позиций присваивания и меняя только операцию обновления. Набор для оценки охватывает от 8 до 64 000 присваиваний; для каждой последовательности приводятся одно правильное конечное состояние и четыре неверных варианта — для генеративной оценки или тестирования с выбором ответа. Задачи также представлены в нескольких текстовых форматах, включая целочисленный код и ячейки электронных таблиц, чтобы проверить, влияет ли форма представления на результат.

Предварительно обученные модели испытывают трудности по мере роста числа зависимостей

В оценку моделей с открытыми весами от Ai2 вошли трансформер Olmo 3 с 7 млрд параметров и Olmo Hybrid, в котором используются слои Gated DeltaNet, а также более компактные системы, обученные на тех же данных. Во время обучения ни одна из моделей не работала с контекстами длиннее 64 000 токенов, а большинство тестировали на контекстах большей длины. По данным Ai2, почти все модели хорошо справлялись с задачами r-тривиального типа, теряли точность на апериодических задачах по мере роста входных данных и показывали результаты на уровне случайного угадывания в задачах общего конечного типа.

Форма представления повлияла на результаты: по данным Ai2, небольшие гибридные модели и модели Gated DeltaNet в одном формате набирали почти максимальные баллы на запросах r-тривиального типа, но показывали результаты на уровне случайного угадывания, когда эквивалентные задачи представлялись в виде изменений в электронных таблицах. Этот разрыв означает, что высокий результат в одном формате не обязательно свидетельствует об общей способности отслеживать состояние.

В закрытых тестах Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol и GPT-6 Luna должны были сгенерировать конечное значение каждой переменной. По данным Ai2, все четыре модели хорошо справлялись с задачами r-тривиального и апериодического типов, но при увеличении длины входных данных их результаты на задачах разрешимого и общего конечного типов резко ухудшались; на самых длинных задачах общего конечного типа точность не превышала 13%.

Прямое обучение помогает отделить влияние архитектуры от влияния предварительного обучения

Чтобы выяснить, были ли причиной этих сбоев архитектуры или предварительное обучение, исследователи обучили с нуля шесть моделей с 275 млн параметров: два варианта трансформера, две гибридные модели и два варианта Gated DeltaNet с разными ограничениями на обновление памяти. Обучающие последовательности содержали не более 256 присваиваний, а длина тестовых последовательностей в 250 раз превышала этот максимум.

По данным Ai2, модели Gated DeltaNet и гибридные модели почти безупречно обобщали результаты на задачах r-тривиального, апериодического и разрешимого типов вплоть до самых длинных протестированных последовательностей. Трансформеры освоили более простые уровни, но их результаты ухудшались за пределами обучающего распределения, а задачи общего конечного типа они не освоили даже в пределах этого распределения. На задачах общего конечного типа вариант Gated DeltaNet, допускающий положительные и отрицательные собственные значения, сохранял почти безупречные результаты при длине последовательностей примерно в 10 раз больше максимальной длины в обучающей выборке, тогда как вариант с неотрицательными собственными значениями начинал хуже справляться сразу за пределами максимальной длины, использованной при обучении.

Исследователи трактуют это различие как свидетельство того, что предварительное обучение помогает объяснить сбои предварительно обученных рекуррентных и гибридных моделей, тогда как неспособность трансформеров справиться с самой сложной задачей даже после целевого обучения указывает на ограничение архитектуры.

Открытые материалы и сохраняющиеся ограничения

В опубликованном наборе данных указано 68 000 строк общим объемом 1,05 ГБ. В его канонической конфигурации содержатся не зависящие от формата представления последовательности операций и конечные состояния; в визуализированные записи добавлены запросы, ответы, неверные варианты, метки сложности и метаданные генерации. Поля с длиной в токенах и стратификация позволяют выбирать примеры по длине запроса.

Репозиторий кода, опубликованный по лицензии Apache-2.0, генерирует семейства задач на основе канонических последовательностей операций и может обеспечивать семантическое разделение обучающей и тестовой выборок. Он поддерживает как оценку моделей, так и генерацию обучающих данных, сохраняя контролируемую связь между уровнями сложности.

В статье также приводится доказательство того, что Gated DeltaNet с фиксированной точностью и неотрицательными собственными значениями может решать все непериодические задачи и некоторые периодические. К ним относится задача на четность: нужно распознать, встречался ли повторяющийся вход четное или нечетное число раз, хотя конструкция для решения задачи на четность опирается на округление. Точное место этого варианта в иерархии пока не определено; также остается неясным, способен ли он решать все разрешимые задачи и как на его возможности влияют точность вычислений и добавление слоев внимания.

StateBench также предполагает фиксированное число переменных, поэтому пока не моделирует диалоги или документы, в которых со временем появляются новые люди и объекты.

Главное различие, на которое обращает внимание бенчмарк, заключается в том, чтобы принять длинный вход и сохранить содержащуюся в нем информацию о состоянии. Контролируемые задачи позволяют измерить это различие для разных архитектур, однако из-за фиксированного числа переменных даже идеальный результат не докажет, что система надежно отслеживает новые сущности, появляющиеся в документе или диалоге.