Ai2 lança StateBench para medir o acompanhamento de estados em contextos longos

O Allen Institute for AI (Ai2) apresentou o StateBench em 3 de novembro de 2026, lançando um benchmark de quatro níveis, um conjunto de dados e código para testar se modelos de linguagem conseguem acompanhar variáveis em mudança ao longo de documentos extensos. A Ai2 informou que os quatro modelos de fronteira avaliados tiveram dificuldades com formas mais complexas de acompanhamento de estados à medida que as entradas se tornavam mais longas.

O artigo que acompanha o trabalho, de Jackson Petty, William Merrill e Ashish Sabharwal, apresenta a pesquisa como uma resposta a uma lacuna de medição. Os testes existentes tendem a enfatizar o problema das palavras S₅, uma tarefa difícil que consiste em acompanhar trocas sucessivas entre cinco objetos, embora formas mais simples possam representar melhor tarefas práticas e já revelar diferenças entre arquiteturas. Em vez disso, o StateBench separa o acompanhamento de estados de acordo com o tipo de atualização que o modelo precisa seguir.

Quatro níveis de atualização de estados

No primeiro nível, as tarefas r-triviais usam atribuições imutáveis, de modo que o modelo só precisa recuperar o valor original de uma variável. As tarefas aperiódicas permitem reatribuir valores, bastando, portanto, considerar a atribuição mais recente. As tarefas solúveis acrescentam atualizações autorreferenciais, como x = x + 5, exigindo que cada mudança seja mantida ao longo da sequência. As tarefas finitas gerais acrescentam atribuições por referência, incluindo trocas, que criam dependências entre variáveis.

As categorias também têm uma base formal na teoria de Krohn–Rhodes, uma estrutura algébrica que decompõe problemas de acompanhamento de estados finitos em operações primitivas. Para realizar comparações controladas, os pesquisadores derivam as outras variantes de uma única sequência finita geral, preservando o número de variáveis, os valores distintos e as posições das atribuições, enquanto alteram apenas a operação de atualização. O conjunto de avaliação abrange de 8 a 64.000 atribuições, e cada sequência associa um estado final correto a quatro alternativas incorretas para avaliação generativa ou de múltipla escolha. Os problemas também são apresentados em vários formatos de texto, incluindo código inteiro e células de planilha, para testar se a apresentação superficial altera o resultado.

Modelos pré-treinados têm dificuldades à medida que as dependências aumentam

A avaliação de modelos abertos da Ai2 incluiu o transformador Olmo 3, com 7 bilhões de parâmetros, e o Olmo Hybrid, que acrescenta camadas Gated DeltaNet, além de sistemas menores treinados com os mesmos dados. Durante o treinamento, nenhum deles foi exposto a contextos com mais de 64.000 tokens, e a maioria foi testada com contextos mais longos. A Ai2 informou que quase todos tiveram bom desempenho em tarefas r-triviais, perderam precisão nas tarefas aperiódicas à medida que as entradas aumentavam e mantiveram resultados no nível do acaso nas tarefas finitas gerais.

A apresentação alterou os resultados: segundo a Ai2, os pequenos modelos híbridos e Gated DeltaNet obtiveram pontuações próximas do máximo em solicitações r-triviais em um formato, mas próximas do nível do acaso quando problemas equivalentes eram apresentados como edições de planilhas. Essa diferença significa que um bom resultado em um formato não demonstra necessariamente uma capacidade geral de acompanhar estados.

Nos testes proprietários, Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol e GPT-6 Luna foram solicitados a gerar o valor final de cada variável. A Ai2 informou que os quatro tiveram bom desempenho em problemas r-triviais e aperiódicos, mas apresentaram uma queda acentuada em problemas solúveis e finitos gerais à medida que as entradas se alongavam, chegando a uma precisão de 13% ou menos nos casos finitos gerais mais longos.

Treinamento direto separa a arquitetura do pré-treinamento

Para determinar se essas falhas decorriam das arquiteturas ou do pré-treinamento, os pesquisadores treinaram do zero seis modelos com 275 milhões de parâmetros: duas variantes de transformadores, dois modelos híbridos e duas variantes de Gated DeltaNet com diferentes restrições de atualização de memória. As sequências de treinamento continham no máximo 256 atribuições, enquanto os testes se estendiam a até 250 vezes esse comprimento máximo.

A Ai2 informou que os modelos Gated DeltaNet e híbridos generalizaram quase perfeitamente em tarefas r-triviais, aperiódicas e solúveis até as sequências mais longas testadas. Os transformadores aprenderam os níveis mais simples, mas tiveram desempenho pior além da distribuição de treinamento e nunca aprenderam tarefas finitas gerais, mesmo dentro dessa distribuição. Nas tarefas finitas gerais, a variante Gated DeltaNet que permite autovalores positivos e negativos manteve um desempenho quase perfeito até aproximadamente 10 vezes o comprimento máximo usado no treinamento, enquanto a variante com autovalores não negativos começou a piorar assim que ultrapassou o limite do treinamento.

Os pesquisadores interpretam essa diferença como evidência de que o pré-treinamento ajuda a explicar as falhas dos modelos recorrentes e híbridos pré-treinados, enquanto a persistência das falhas dos transformadores no nível mais difícil, mesmo após treinamento direcionado, aponta para uma limitação arquitetural.

Recursos públicos e limitações remanescentes

O conjunto de dados lançado lista 68.000 linhas, totalizando 1,05 GB. Sua configuração canônica contém rastros de operações e estados finais independentes do formatador; os registros renderizados acrescentam solicitações, conclusões, alternativas incorretas, rótulos de complexidade e metadados de geração. Os campos de comprimento em tokens e os estratos permitem selecionar exemplos por comprimento da solicitação.

O repositório de código, lançado sob a licença Apache-2.0, gera as famílias de tarefas a partir de rastros canônicos e pode garantir a disjunção semântica entre as divisões de treinamento e teste. Ele oferece suporte tanto à avaliação quanto à geração de dados de treinamento, preservando a relação controlada entre os níveis de dificuldade.

O artigo também apresenta uma prova de que a Gated DeltaNet de precisão fixa, com autovalores não negativos, pode resolver todas as tarefas aperiódicas e algumas tarefas periódicas. Entre elas está a paridade, isto é, reconhecer se uma entrada repetida ocorreu um número par ou ímpar de vezes, embora a construção da paridade dependa de arredondamento. A posição exata dessa variante na hierarquia continua indefinida, assim como sua capacidade de resolver todas as tarefas solúveis e os efeitos da precisão numérica e da adição de camadas de atenção.

O StateBench também pressupõe um número fixo de variáveis, portanto ainda não modela conversas ou documentos nos quais novas pessoas e objetos surgem ao longo do tempo.

A distinção central do benchmark está entre aceitar uma entrada longa e preservar o estado contido nela. Suas tarefas controladas permitem medir essa diferença entre arquiteturas, mas o projeto com um número fixo de variáveis significa que nem mesmo uma pontuação perfeita demonstraria um rastreamento robusto quando novas entidades surgem em um documento ou conversa.