Ai2 lanza StateBench para medir el seguimiento de estados en contextos largos

El Allen Institute for AI (Ai2) presentó StateBench el 3 de noviembre de 2026 y publicó un benchmark de cuatro niveles, un conjunto de datos y código para comprobar si los modelos de lenguaje pueden seguir los cambios de variables en documentos largos. Ai2 informó de que los cuatro modelos de vanguardia que evaluó fallaron en las formas más difíciles de seguimiento de estados a medida que aumentaba la longitud de las entradas.

El artículo que acompaña al trabajo, escrito por Jackson Petty, William Merrill y Ashish Sabharwal, lo presenta como una respuesta a una carencia en las mediciones. Las pruebas existentes han tendido a centrarse en el problema de las palabras de S₅, una tarea difícil que consiste en seguir intercambios sucesivos entre cinco objetos, mientras que formas más sencillas pueden ser más representativas de las tareas prácticas y ya permitir detectar diferencias entre arquitecturas. En cambio, StateBench clasifica el seguimiento de estados según el tipo de actualización que debe seguir un modelo.

Cuatro niveles de actualización de estados

En el primer nivel, las tareas r-triviales utilizan asignaciones inmutables, por lo que el modelo solo tiene que recuperar el valor original de una variable. Las tareas aperiódicas permiten reasignar valores, de modo que basta con la asignación más reciente. Las tareas solubles incorporan actualizaciones autorreferenciales, por ejemplo x = x + 5, lo que obliga a mantener cada cambio en las actualizaciones posteriores. Las tareas finitas generales añaden la asignación por referencia, incluidos los intercambios, que crean dependencias entre variables.

Las categorías también tienen una base formal en la teoría de Krohn–Rhodes, un marco algebraico que descompone los problemas de seguimiento de estados finitos en operaciones primitivas. Para realizar comparaciones controladas, los investigadores derivan las demás variantes a partir de una secuencia finita general, manteniendo constantes el número de variables, los valores distintos y las posiciones de las asignaciones, y modificando únicamente la operación de actualización. El conjunto de evaluación abarca de 8 a 64.000 asignaciones, y cada secuencia se combina con un estado final correcto y cuatro opciones incorrectas para realizar pruebas generativas o de opción múltiple. Los problemas también se presentan en varios formatos de texto, incluidos código con números enteros y celdas de hojas de cálculo, para comprobar si la presentación superficial modifica el resultado.

Los modelos preentrenados tienen dificultades a medida que aumentan las dependencias

La evaluación de modelos abiertos de Ai2 incluyó el transformador Olmo 3 de 7.000 millones de parámetros y Olmo Hybrid, que incorpora capas Gated DeltaNet, además de sistemas más pequeños entrenados con los mismos datos. Ninguno había procesado contextos de más de 64.000 tokens durante el entrenamiento, y la mayoría se evaluó con longitudes superiores. Ai2 informó de que casi todos obtuvieron buenos resultados en las tareas r-triviales, perdieron precisión en las tareas aperiódicas a medida que crecían las entradas y se mantuvieron en niveles de azar en las tareas finitas generales.

La presentación modificó los resultados: Ai2 señaló que los modelos híbridos pequeños y los modelos Gated DeltaNet obtuvieron puntuaciones cercanas al máximo con instrucciones r-triviales en un formato, pero cercanas al azar cuando los problemas equivalentes se presentaban como modificaciones de hojas de cálculo. Esa diferencia significa que un buen resultado en un formato no demuestra necesariamente una capacidad general para seguir estados.

En las pruebas con modelos propietarios, se pidió a Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol y GPT-6 Luna que generaran el valor final de cada variable. Ai2 informó de que los cuatro obtuvieron buenos resultados en los problemas r-triviales y aperiódicos, pero su rendimiento cayó drásticamente en los problemas solubles y finitos generales a medida que se alargaban las entradas, hasta alcanzar una precisión del 13 % o menos en los casos finitos generales más largos.

El entrenamiento directo permite distinguir la arquitectura del preentrenamiento

Para determinar si estos fallos se debían a las arquitecturas o al preentrenamiento, los investigadores entrenaron desde cero seis modelos de 275 millones de parámetros: dos variantes de transformador, dos modelos híbridos y dos variantes de Gated DeltaNet con distintas restricciones para actualizar la memoria. Las secuencias de entrenamiento contenían como máximo 256 asignaciones, mientras que las pruebas se extendieron hasta 250 veces esa longitud máxima.

Ai2 informó de que los modelos Gated DeltaNet y los híbridos generalizaron casi a la perfección en las tareas r-triviales, aperiódicas y solubles hasta las secuencias más largas evaluadas. Los transformadores aprendieron los niveles más sencillos, pero su rendimiento empeoró más allá de la distribución de entrenamiento y nunca aprendieron las tareas finitas generales, ni siquiera dentro de esa distribución. En las tareas finitas generales, la variante de Gated DeltaNet que permitía valores propios positivos y negativos mantuvo un rendimiento casi perfecto hasta aproximadamente 10 veces la longitud máxima de entrenamiento, mientras que la variante con valores propios no negativos empeoró en cuanto superó el límite de entrenamiento.

Los investigadores interpretan esta diferencia como prueba de que el preentrenamiento ayuda a explicar los fallos de los modelos recurrentes e híbridos preentrenados, mientras que el hecho de que los transformadores siguieran fallando en el nivel más difícil después de un entrenamiento específico apunta a una limitación arquitectónica.

Recursos públicos y limitaciones pendientes

El conjunto de datos publicado contiene 68.000 filas que suman 1,05 GB. Su configuración canónica incluye trazas de operaciones independientes del formateador y estados finales; los registros renderizados añaden instrucciones, respuestas generadas, alternativas incorrectas, etiquetas de complejidad y metadatos de generación. Los campos de longitud en tokens y los estratos permiten seleccionar ejemplos según la longitud de la instrucción.

El repositorio de código, publicado con la licencia Apache-2.0, genera las familias de tareas a partir de trazas canónicas y puede garantizar la ausencia de solapamiento semántico entre las particiones de entrenamiento y de prueba. Permite tanto la evaluación como la generación de datos de entrenamiento, y conserva la relación controlada entre los niveles de dificultad.

El artículo también presenta una demostración de que Gated DeltaNet de precisión fija, con valores propios no negativos, puede resolver todas las tareas aperiódicas y algunas tareas periódicas. Entre ellas está la paridad, es decir, la tarea de reconocer si una entrada repetida ha aparecido un número par o impar de veces, aunque la construcción de paridad depende del redondeo. Aún no se ha determinado el lugar exacto de esta variante en la jerarquía, ni si puede resolver todas las tareas resolubles, ni cuáles son los efectos de la precisión numérica y de añadir capas de atención.

StateBench también presupone un número fijo de variables, por lo que todavía no modela conversaciones ni documentos en los que aparecen nuevas personas y objetos con el paso del tiempo.

La distinción central del benchmark es la que existe entre aceptar una entrada larga y conservar el estado que contiene. Sus tareas controladas permiten medir esa diferencia entre arquitecturas, pero el diseño con un número fijo de variables implica que ni siquiera una puntuación perfecta demostraría un seguimiento robusto cuando aparecen nuevas entidades en un documento o una conversación.