Ai2 ra mắt StateBench để đo lường khả năng theo dõi trạng thái trong ngữ cảnh dài

Viện Allen về Trí tuệ Nhân tạo (Ai2) đã giới thiệu StateBench vào ngày 3 tháng 11 năm 2026, đồng thời phát hành một bộ chuẩn gồm bốn cấp độ, một bộ dữ liệu và mã nguồn để kiểm tra khả năng theo dõi các biến đổi của mô hình ngôn ngữ trong những tài liệu dài. Ai2 cho biết cả bốn mô hình tiên phong được thử nghiệm đều gặp khó khăn với các dạng theo dõi trạng thái phức tạp hơn khi đầu vào dài hơn.

Bài báo đi kèm của Jackson Petty, William Merrill và Ashish Sabharwal xem công trình này là nỗ lực khắc phục khoảng trống trong đo lường. Các bài kiểm tra hiện nay thường tập trung vào bài toán từ S₅, một nhiệm vụ khó đòi hỏi theo dõi các lần hoán đổi liên tiếp giữa năm đối tượng; trong khi đó, những dạng đơn giản hơn có thể phản ánh sát hơn các nhiệm vụ thực tế và đã đủ để bộc lộ sự khác biệt giữa các kiến trúc. Thay vào đó, StateBench phân loại khả năng theo dõi trạng thái dựa trên kiểu cập nhật mà mô hình phải xử lý.

Bốn cấp độ cập nhật trạng thái

Ở cấp độ đầu tiên, các tác vụ r-trivial sử dụng phép gán bất biến, nên mô hình chỉ cần khôi phục giá trị ban đầu của một biến. Các tác vụ bất tuần hoàn cho phép gán lại bằng giá trị, vì vậy chỉ cần biết phép gán gần nhất là đủ. Các tác vụ khả giải bổ sung những cập nhật tự tham chiếu như x = x + 5, đòi hỏi phải duy trì từng thay đổi qua các bước tiếp theo. Các tác vụ hữu hạn tổng quát bổ sung phép gán bằng tham chiếu, bao gồm cả hoán đổi, tạo ra sự phụ thuộc giữa các biến.

Các nhóm này cũng có cơ sở hình thức trong lý thuyết Krohn–Rhodes, một khuôn khổ đại số phân rã các bài toán theo dõi trạng thái hữu hạn thành những phép toán cơ bản. Để so sánh có kiểm soát, các nhà nghiên cứu tạo ra những biến thể còn lại từ cùng một chuỗi hữu hạn tổng quát, giữ nguyên số lượng biến, giá trị phân biệt và vị trí gán, đồng thời chỉ thay đổi thao tác cập nhật. Tập đánh giá bao gồm từ 8 đến 64.000 phép gán; mỗi chuỗi ghép một trạng thái cuối đúng với bốn phương án sai để kiểm thử theo hình thức sinh câu trả lời hoặc trắc nghiệm. Các bài toán cũng được trình bày dưới nhiều định dạng văn bản, bao gồm mã số nguyên và các ô bảng tính, nhằm kiểm tra xem cách trình bày bề mặt có làm thay đổi kết quả hay không.

Các mô hình tiền huấn luyện gặp khó khăn khi mức độ phụ thuộc tăng

Bài đánh giá các mô hình mở của Ai2 bao gồm mô hình transformer Olmo 3 có 7 tỷ tham số và Olmo Hybrid, bổ sung các lớp Gated DeltaNet, cùng những hệ thống nhỏ hơn được huấn luyện trên cùng dữ liệu. Trong quá trình huấn luyện, không mô hình nào từng xử lý ngữ cảnh dài hơn 64.000 token; phần lớn được thử nghiệm với độ dài vượt quá mức đó. Ai2 cho biết gần như tất cả đều làm tốt các tác vụ r-trivial, giảm độ chính xác ở các tác vụ bất tuần hoàn khi đầu vào dài hơn và chỉ đạt mức đoán ngẫu nhiên ở các tác vụ hữu hạn tổng quát.

Cách trình bày làm thay đổi kết quả: Ai2 cho biết các mô hình lai cỡ nhỏ và mô hình Gated DeltaNet đạt điểm gần mức tối đa với các câu lệnh r-trivial ở một định dạng, nhưng chỉ đạt mức đoán ngẫu nhiên khi những bài toán tương đương được trình bày dưới dạng các chỉnh sửa bảng tính. Khoảng cách đó cho thấy kết quả tốt ở một định dạng không nhất thiết chứng minh được năng lực theo dõi trạng thái tổng quát.

Các bài kiểm tra độc quyền yêu cầu Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol và GPT-6 Luna tạo giá trị cuối cùng cho mọi biến. Ai2 cho biết cả bốn đều làm tốt các bài toán r-trivial và bất tuần hoàn, nhưng kết quả giảm mạnh ở các bài toán khả giải và hữu hạn tổng quát khi đầu vào dài hơn, xuống còn 13% độ chính xác hoặc thấp hơn ở những trường hợp hữu hạn tổng quát dài nhất.

Huấn luyện trực tiếp giúp phân biệt ảnh hưởng của kiến trúc với tiền huấn luyện

Để xác định liệu những thất bại này bắt nguồn từ kiến trúc hay từ tiền huấn luyện, các nhà nghiên cứu huấn luyện từ đầu sáu mô hình có 275 triệu tham số: hai biến thể transformer, hai mô hình lai và hai biến thể Gated DeltaNet với các ràng buộc khác nhau đối với việc cập nhật bộ nhớ. Các chuỗi huấn luyện có tối đa 256 phép gán, trong khi độ dài chuỗi dùng để kiểm thử lên tới gấp 250 lần giới hạn đó.

Ai2 cho biết các mô hình Gated DeltaNet và mô hình lai khái quát hóa gần như hoàn hảo trên các tác vụ r-trivial, bất tuần hoàn và khả giải, kể cả với những chuỗi dài nhất được thử nghiệm. Các mô hình transformer học được những cấp độ dễ hơn nhưng suy giảm khi vượt ra ngoài phân phối huấn luyện, và không bao giờ học được các tác vụ hữu hạn tổng quát, kể cả khi được đánh giá trong phân phối. Với các tác vụ hữu hạn tổng quát, biến thể Gated DeltaNet cho phép trị riêng dương và âm duy trì hiệu suất gần như hoàn hảo đến độ dài xấp xỉ gấp 10 lần độ dài huấn luyện tối đa; trong khi đó, biến thể có trị riêng không âm suy giảm ngay khi vượt quá giới hạn huấn luyện.

Các nhà nghiên cứu diễn giải sự khác biệt này là bằng chứng cho thấy tiền huấn luyện góp phần lý giải vì sao các mô hình hồi quy và mô hình lai thất bại sau khi được tiền huấn luyện, trong khi việc transformer tiếp tục thất bại ở cấp độ khó nhất ngay cả sau khi được huấn luyện có mục tiêu cho thấy hạn chế về kiến trúc.

Tài nguyên công khai và những giới hạn còn lại

Bộ dữ liệu được phát hành gồm 68.000 hàng, với tổng dung lượng 1,05 GB. Cấu hình chuẩn chứa các dấu vết thao tác và trạng thái cuối không phụ thuộc vào bộ định dạng; các bản ghi đã được định dạng bổ sung câu lệnh, phần hoàn thành, phương án sai, nhãn độ phức tạp và siêu dữ liệu tạo sinh. Các trường về độ dài token và các phân tầng cho phép chọn ví dụ theo độ dài câu lệnh.

Kho mã nguồn, được phát hành theo giấy phép Apache-2.0, tạo các nhóm tác vụ từ những dấu vết chuẩn và có thể bảo đảm tính rời nhau về ngữ nghĩa giữa các tập huấn luyện và kiểm thử. Kho này hỗ trợ cả việc đánh giá lẫn tạo dữ liệu huấn luyện, đồng thời duy trì mối liên hệ có kiểm soát giữa các cấp độ khó.

Bài báo cũng chứng minh rằng Gated DeltaNet với độ chính xác cố định và các giá trị riêng không âm có thể giải quyết mọi tác vụ không tuần hoàn và một số tác vụ tuần hoàn. Trong số đó có bài toán chẵn lẻ, tức là nhận biết một đầu vào lặp lại đã xuất hiện số lần chẵn hay lẻ, dù cách xây dựng bài toán chẵn lẻ này dựa vào phép làm tròn. Vị trí chính xác của biến thể này trong hệ phân cấp vẫn chưa được xác định; khả năng giải quyết mọi tác vụ có lời giải, cũng như ảnh hưởng của độ chính xác số và việc bổ sung các lớp chú ý, cũng chưa rõ.

StateBench cũng giả định số lượng biến là cố định, vì vậy hiện benchmark này chưa mô hình hóa được các cuộc hội thoại hoặc tài liệu trong đó xuất hiện thêm người và vật thể theo thời gian.

Điểm khác biệt cốt lõi mà benchmark này nhấn mạnh là giữa việc tiếp nhận đầu vào dài và việc duy trì trạng thái bên trong đầu vào đó. Các tác vụ được kiểm soát giúp đo lường sự khác biệt này trên nhiều kiến trúc, nhưng thiết kế với số lượng biến cố định đồng nghĩa với việc ngay cả điểm số hoàn hảo cũng không chứng minh được khả năng theo dõi ổn định khi có thực thể mới xuất hiện trong tài liệu hoặc cuộc hội thoại.