Ai2 Merilis StateBench untuk Mengukur Pelacakan Keadaan dalam Konteks Panjang

Allen Institute for AI (Ai2) memperkenalkan StateBench pada 3 November 2026, dengan merilis tolok ukur empat tingkat, himpunan data, dan kode untuk menguji apakah model bahasa dapat melacak perubahan variabel di seluruh dokumen panjang. Ai2 melaporkan bahwa keempat model terdepan yang diuji mengalami kegagalan pada bentuk pelacakan keadaan yang lebih sulit ketika masukan semakin panjang.

Makalah pendamping karya Jackson Petty, William Merrill, dan Ashish Sabharwal memandang penelitian ini sebagai tanggapan terhadap kesenjangan pengukuran. Pengujian yang ada cenderung menitikberatkan masalah kata S₅, tugas sulit yang mengharuskan pelacakan pertukaran berturut-turut di antara lima objek, padahal bentuk yang lebih sederhana mungkin lebih mewakili tugas praktis dan mungkin sudah dapat menunjukkan perbedaan antararsitektur. Sebaliknya, StateBench memisahkan pelacakan keadaan berdasarkan jenis pembaruan yang harus diikuti model.

Empat Tingkat Pembaruan Keadaan

Pada tingkat pertama, tugas r-trivial menggunakan penetapan yang tidak berubah, sehingga model hanya perlu menemukan kembali nilai awal suatu variabel. Tugas aperiodik memungkinkan penetapan ulang berdasarkan nilai, sehingga cukup mengetahui penetapan terbaru. Tugas solvabel menambahkan pembaruan yang merujuk pada dirinya sendiri, seperti x = x + 5, yang mengharuskan setiap perubahan diteruskan. Tugas umum berhingga menambahkan penetapan berdasarkan referensi, termasuk pertukaran, yang menciptakan ketergantungan antarvariabel.

Kategori-kategori ini juga memiliki landasan formal dalam teori Krohn–Rhodes, sebuah kerangka aljabar yang menguraikan masalah pelacakan keadaan berhingga menjadi operasi-operasi primitif. Untuk perbandingan terkendali, para peneliti menurunkan varian-varian lain dari satu urutan umum berhingga, dengan mempertahankan jumlah variabel, nilai yang berbeda, dan posisi penetapan, serta hanya mengubah operasi pembaruannya. Kumpulan evaluasi mencakup 8 hingga 64.000 penetapan, dan setiap urutan memasangkan satu keadaan akhir yang benar dengan empat kandidat yang salah untuk pengujian generatif atau pilihan ganda. Masalah juga disajikan dalam beberapa format teks, termasuk kode bilangan bulat dan sel lembar kerja, untuk menguji apakah penyajian luarnya mengubah hasil.

Model Pralatih Kesulitan saat Ketergantungan Bertambah

Evaluasi model terbuka Ai2 mencakup transformer Olmo 3 berparameter 7 miliar dan Olmo Hybrid, yang menambahkan lapisan Gated DeltaNet, serta sistem yang lebih kecil yang dilatih dengan data yang sama. Tidak satu pun model tersebut pernah menerima konteks yang lebih panjang dari 64.000 token selama pelatihan, dan sebagian besar diuji dengan konteks yang lebih panjang dari itu. Ai2 melaporkan bahwa hampir semuanya berkinerja baik pada tugas r-trivial, kehilangan akurasi pada tugas aperiodik saat masukan bertambah panjang, dan tetap berkinerja setara tebakan acak pada tugas umum berhingga.

Penyajian memengaruhi hasil: Ai2 menyatakan bahwa model hibrida kecil dan model Gated DeltaNet meraih skor mendekati nilai maksimum pada perintah r-trivial dalam satu format, tetapi skornya mendekati tebakan acak ketika masalah setara disajikan sebagai penyuntingan lembar kerja. Kesenjangan ini berarti hasil yang kuat dalam satu format belum tentu menunjukkan kemampuan umum untuk melacak keadaan.

Pengujian tertutup meminta Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol, dan GPT-6 Luna menghasilkan nilai akhir setiap variabel. Ai2 melaporkan bahwa keempatnya berkinerja baik pada masalah r-trivial dan aperiodik, tetapi kinerjanya menurun tajam pada masalah solvabel dan umum berhingga ketika masukan semakin panjang, hingga akurasinya mencapai 13% atau lebih rendah pada kasus umum berhingga terpanjang.

Pelatihan Langsung Memisahkan Arsitektur dari Prapelatihan

Untuk menentukan apakah kegagalan ini berasal dari arsitektur atau prapelatihan, para peneliti melatih enam model berparameter 275 juta dari awal: dua varian transformer, dua model hibrida, dan dua varian Gated DeltaNet dengan batasan pembaruan memori yang berbeda. Urutan pelatihan berisi paling banyak 256 penetapan, sedangkan pengujian diperpanjang hingga 250 kali batas maksimum tersebut.

Ai2 melaporkan bahwa model Gated DeltaNet dan model hibrida mampu melakukan generalisasi dengan nyaris sempurna pada tugas r-trivial, aperiodik, dan solvabel hingga urutan terpanjang yang diuji. Transformer mempelajari tingkat yang lebih mudah, tetapi kinerjanya menurun di luar distribusi pelatihan dan tidak pernah mempelajari tugas umum berhingga, bahkan di dalam distribusi tersebut. Pada tugas umum berhingga, varian Gated DeltaNet yang mengizinkan nilai eigen positif dan negatif mempertahankan kinerja nyaris sempurna hingga sekitar 10 kali panjang maksimum pelatihannya, sedangkan varian dengan nilai eigen nonnegatif langsung mengalami penurunan setelah batas panjang pelatihan.

Para peneliti menafsirkan perbedaan itu sebagai bukti bahwa prapelatihan membantu menjelaskan kegagalan model rekuren dan hibrida yang telah dipralatih, sedangkan kegagalan transformer yang terus berlanjut pada tingkat tersulit setelah pelatihan terarah mengindikasikan keterbatasan arsitektur.

Aset Publik dan Keterbatasan yang Masih Ada

Himpunan data yang dirilis mencantumkan 68.000 baris dengan ukuran total 1,05 GB. Konfigurasi kanonisnya memuat jejak operasi dan keadaan akhir yang tidak bergantung pada pemformat; rekaman yang telah disajikan dalam format tertentu menambahkan perintah, keluaran, alternatif yang salah, label kompleksitas, dan metadata generasi. Kolom panjang token dan strata mendukung pemilihan contoh berdasarkan panjang perintah.

Repositori kode yang dirilis di bawah lisensi Apache-2.0 menghasilkan kelompok tugas dari jejak kanonis dan dapat memastikan bahwa data pelatihan dan pengujian tidak memiliki tumpang tindih semantis. Repositori ini mendukung evaluasi maupun pembuatan data pelatihan, sekaligus mempertahankan hubungan terkendali antara tingkat-tingkat kesulitan.

Makalah tersebut juga menyajikan bukti bahwa Gated DeltaNet dengan presisi tetap dan nilai eigen nonnegatif dapat menyelesaikan semua tugas aperiodik dan tugas periodik tertentu. Tugas-tugas tersebut mencakup paritas, yaitu tugas untuk mengenali apakah suatu masukan yang berulang telah muncul sebanyak genap atau ganjil kali, meskipun konstruksi paritasnya bergantung pada pembulatan. Posisi pasti varian ini dalam hierarki masih belum diketahui, begitu pula kemampuannya untuk menyelesaikan setiap tugas yang dapat diselesaikan serta dampak presisi numerik dan penambahan lapisan atensi.

StateBench juga mengasumsikan jumlah variabel yang tetap, sehingga saat ini belum memodelkan percakapan atau dokumen yang menghadirkan orang dan objek baru seiring waktu.

Perbedaan utama yang diukur oleh tolok ukur ini adalah antara menerima masukan panjang dan mempertahankan keadaan di dalamnya. Tugas-tugas terkontrolnya membuat perbedaan tersebut dapat diukur di berbagai arsitektur, tetapi desain dengan jumlah variabel tetap berarti bahwa skor sempurna sekalipun tidak akan membuktikan kemampuan pelacakan yang andal ketika entitas baru muncul dalam dokumen atau percakapan.