Ai2, 장문 맥락에서의 상태 추적을 측정하는 StateBench 공개

Allen Institute for AI (Ai2)는 2026년 11월 3일 StateBench를 선보이며, 언어 모델이 긴 문서에서 변하는 변수를 추적할 수 있는지 평가하는 4단계 벤치마크와 데이터셋, 코드를 공개했다. Ai2는 평가한 프런티어 모델 4종 모두 입력이 길어질수록 더 어려운 상태 추적 작업에서 제대로 수행하지 못했다고 밝혔다.

Jackson Petty, William Merrill, Ashish Sabharwal이 함께 발표한 논문은 이번 연구가 측정상의 공백에 대응하기 위한 것이라고 설명한다. 기존 테스트는 다섯 개 대상 사이에서 연속적으로 일어나는 교환을 추적하는 어려운 작업인 S₅ 단어 문제에 치중하는 경향이 있었다. 하지만 더 단순한 유형이 실제 작업을 더 잘 반영할 수도 있으며, 아키텍처 간 차이를 이미 드러낼 수도 있다. StateBench는 대신 모델이 따라야 하는 업데이트의 종류에 따라 상태 추적을 구분한다.

상태 업데이트의 네 가지 단계

첫 번째 단계인 r-trivial 작업에서는 할당된 값이 바뀌지 않으므로 모델은 변수의 원래 값을 찾아내기만 하면 된다. 비주기 작업에서는 값에 따른 재할당이 가능해 가장 최근의 할당만 확인하면 된다. 해를 구할 수 있는 작업에서는 자기 참조 업데이트가 추가된다. 예를 들면 x = x + 5, 각 변경 사항을 계속 이어 반영해야 한다. 일반 유한 작업에서는 교환을 포함해 참조에 따른 할당이 추가되며, 이로 인해 변수 간 종속성이 생긴다.

이 범주들은 유한 상태 추적 문제를 기본 연산으로 분해하는 대수적 틀인 Krohn–Rhodes 이론에 형식적 근거를 두고 있다. 통제된 비교를 위해 연구진은 하나의 일반 유한 시퀀스에서 다른 유형을 도출했다. 이때 업데이트 연산만 바꾸고 변수 수, 서로 다른 값의 수, 할당 위치는 동일하게 유지했다. 평가 세트에는 8개에서 64,000개까지의 할당이 포함되며, 각 시퀀스에는 정답인 최종 상태 하나와 오답 후보 네 개가 짝지어져 생성형 또는 객관식 평가에 사용된다. 표면적인 표현 방식에 따라 결과가 달라지는지 확인하기 위해 문제를 정수 코드와 스프레드시트 셀 등 여러 텍스트 형식으로도 제시한다.

사전 학습 모델, 종속성이 늘수록 어려움 겪어

Ai2의 공개 모델 평가에는 매개변수가 70억 개인 Olmo 3 트랜스포머와 Gated DeltaNet 계층을 추가한 Olmo Hybrid, 그리고 동일한 데이터로 학습한 더 작은 시스템들이 포함됐다. 이 모델들은 학습 중 64,000토큰보다 긴 맥락을 접한 적이 없었으며, 대부분은 그보다 긴 길이로 평가됐다. Ai2는 거의 모든 모델이 r-trivial 작업에서는 좋은 성능을 보였지만, 입력이 길어질수록 비주기 작업의 정확도가 떨어졌고 일반 유한 작업에서는 우연 수준의 성능에 머물렀다고 밝혔다.

표현 방식에 따라 결과가 달라졌다. Ai2에 따르면 소형 하이브리드 모델과 Gated DeltaNet 모델은 한 형식의 r-trivial 프롬프트에서 거의 최고점에 가까운 점수를 받았지만, 같은 문제를 스프레드시트 편집 형식으로 제시했을 때는 우연 수준의 점수에 그쳤다. 이러한 차이는 한 형식에서 좋은 결과를 보였다고 해서 상태를 추적하는 일반적인 능력이 입증되는 것은 아니라는 뜻이다.

비공개 평가에서는 Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol, GPT-6 Luna가 모든 변수의 최종 값을 생성하도록 했다. Ai2는 네 모델 모두 r-trivial 및 비주기 문제에서는 좋은 성능을 보였지만, 입력이 길어지면서 해를 구할 수 있는 문제와 일반 유한 문제에서는 성능이 급격히 떨어졌으며, 가장 긴 일반 유한 사례에서는 정확도가 13% 이하였다고 밝혔다.

직접 학습으로 아키텍처와 사전 학습의 영향을 구분

이러한 실패가 아키텍처에서 비롯됐는지, 사전 학습에서 비롯됐는지 알아보기 위해 연구진은 매개변수가 2억 7,500만 개인 모델 6종을 처음부터 학습했다. 트랜스포머 변형 모델 2종, 하이브리드 모델 2종, 메모리 업데이트 제약 조건이 서로 다른 Gated DeltaNet 변형 모델 2종이었다. 학습 시퀀스에는 최대 256개의 할당이 포함됐고, 테스트에서는 이 최대 길이의 250배까지 확장했다.

Ai2는 Gated DeltaNet 모델과 하이브리드 모델이 테스트한 가장 긴 시퀀스까지 r-trivial, 비주기, 해를 구할 수 있는 작업에서 거의 완벽하게 일반화했다고 밝혔다. 트랜스포머는 더 쉬운 단계는 학습했지만 학습 분포를 벗어나자 성능이 떨어졌고, 학습 분포 안에서도 일반 유한 작업은 끝내 학습하지 못했다. 일반 유한 작업에서 양의 고윳값과 음의 고윳값을 허용한 Gated DeltaNet 변형 모델은 최대 학습 길이의 약 10배까지 거의 완벽한 성능을 유지했다. 반면 음이 아닌 고윳값만 허용한 변형 모델은 학습 한계를 넘어서자마자 성능이 떨어졌다.

연구진은 이러한 차이를 근거로, 사전 학습이 순환 모델과 하이브리드 모델의 사전 학습 후 실패를 설명하는 데 도움이 되는 한편, 목표에 맞춰 학습한 뒤에도 트랜스포머가 가장 어려운 단계에서 계속 실패한 것은 아키텍처의 한계를 시사한다고 해석한다.

공개 자료와 남은 한계

공개된 데이터셋에는 총 1.05GB에 달하는 68,000개 행이 담겨 있다. 표준 구성에는 형식 지정 방식에 독립적인 연산 추적 정보와 최종 상태가 포함된다. 렌더링된 레코드에는 프롬프트, 완성 결과, 오답 대안, 복잡도 레이블, 생성 메타데이터가 추가된다. 토큰 길이 필드와 계층을 활용하면 프롬프트 길이에 따라 예제를 선택할 수 있다.

코드 저장소는 Apache-2.0 라이선스로 공개됐으며, 표준 연산 추적 정보에서 작업군을 생성하고 학습 데이터와 테스트 데이터 간 의미적 중복을 방지할 수 있다. 난이도 단계 간 통제된 관계를 유지하면서 평가와 학습 데이터 생성을 모두 지원한다.

논문은 또한 고정 정밀도 Gated DeltaNet이 음이 아닌 고윳값을 가질 경우 모든 비주기 과제와 특정 주기 과제를 해결할 수 있다는 증명도 제시한다. 여기에는 반복 입력이 짝수 번 발생했는지 홀수 번 발생했는지를 판별하는 과제인 패리티도 포함되지만, 패리티를 구성하는 과정은 반올림에 의존한다. 이 변형 모델이 계층 구조에서 정확히 어디에 위치하는지는 아직 밝혀지지 않았으며, 해결 가능한 모든 과제를 해결할 수 있는지와 수치 정밀도 및 어텐션 레이어 추가가 미치는 영향도 아직 규명되지 않았다.

StateBench는 변수의 수가 고정되어 있다고 가정하므로, 시간이 지나면서 새로운 사람과 사물이 등장하는 대화나 문서는 아직 모델링하지 않는다.

이 벤치마크의 핵심 구분은 긴 입력을 받아들이는 것과 그 안의 상태를 보존하는 것 사이에 있다. 통제된 과제를 통해 아키텍처별로 이 차이를 측정할 수 있지만, 변수가 고정된 설계에서는 점수가 완벽하더라도 문서나 대화에 새로운 개체가 등장할 때 이를 견고하게 추적할 수 있음을 입증하지 못한다.