Ai2, Uzun Bağlamlarda Durum Takibini Ölçmek için StateBench’i Yayımladı

Allen Institute for AI (Ai2), 3 Kasım 2026’da StateBench’i tanıttı ve dil modellerinin uzun belgeler boyunca değişen değişkenleri takip edip edemediğini sınamak için dört düzeyli bir kıyaslama testi, veri kümesi ve kod yayımladı. Ai2, test ettiği dört öncü modelin de girdiler uzadıkça daha zor durum takibi biçimlerinde başarısız olduğunu bildirdi.

Jackson Petty, William Merrill ve Ashish Sabharwal’ın eşlik eden makalesi, çalışmayı ölçüm alanındaki bir eksikliğe yanıt olarak ele alıyor. Mevcut testler, beş nesne arasındaki art arda yer değiştirmeleri takip etmeye dayanan zor bir görev olan S₅ kelime problemine odaklanma eğilimindeydi. Oysa daha basit biçimler, pratik görevleri daha iyi temsil edebilir ve mimariler arasındaki farklılıkları şimdiden ortaya çıkarabilir. StateBench ise durum takibini, modelin izlemesi gereken güncelleme türüne göre sınıflandırıyor.

Durum Güncellemelerinin Dört Düzeyi

İlk düzeydeki r-trivial görevlerde atamalar değişmez; dolayısıyla modelin yalnızca bir değişkenin başlangıçtaki değerini bulması gerekir. Aperiyodik görevlerde değere göre yeniden atama yapılabilir; bu nedenle en son atamayı bilmek yeterlidir. Çözülebilir görevlerde, örneğin, kendi kendine gönderme yapan güncellemeler de bulunur x = x + 5, bu da her değişikliğin sonraki adımlara taşınmasını gerektirir. Genel sonlu görevlerde ise referansla atama, değişkenler arasında bağımlılık yaratan takaslar da dâhil olmak üzere, eklenir.

Bu kategorilerin Krohn–Rhodes teorisinde de biçimsel bir temeli vardır. Bu cebirsel çerçeve, sonlu durum takibi problemlerini temel işlemlere ayırır. Kontrollü karşılaştırmalar yapmak için araştırmacılar, yalnızca güncelleme işlemini değiştirirken değişken sayısını, farklı değerlerin sayısını ve atama konumlarını sabit tutarak diğer varyantları tek bir genel sonlu diziden türetiyor. Değerlendirme kümesi 8 ile 64.000 atama arasındaki örnekleri kapsıyor. Her dizi, üretici veya çoktan seçmeli testlerde kullanılmak üzere bir doğru son durumu dört yanlış adayla eşleştiriyor. Ayrıca, sunum biçiminin sonucu değiştirip değiştirmediğini sınamak için problemler tamsayı kodu ve e-tablo hücreleri dâhil olmak üzere çeşitli metinsel biçimlerde de gösteriliyor.

Önceden Eğitilmiş Modeller, Bağımlılıklar Arttıkça Zorlanıyor

Ai2’nin açık modellerle yaptığı değerlendirmede, 7 milyar parametreli Olmo 3 transformatör modeli ve Gated DeltaNet katmanları eklenen Olmo Hybrid’in yanı sıra aynı verilerle eğitilmiş daha küçük sistemler yer aldı. Eğitim sırasında bu modellerin hiçbiri 64.000 belirteçten uzun bağlamlarla karşılaşmamıştı; çoğu ise bu uzunluğu aşan bağlamlarda test edildi. Ai2, modellerin neredeyse tamamının r-trivial görevlerde iyi performans gösterdiğini, girdiler uzadıkça aperiyodik görevlerde doğruluğunu yitirdiğini ve genel sonlu görevlerde şans düzeyinde kaldığını bildirdi.

Sunum biçimi sonuçları değiştirdi: Ai2, küçük hibrit ve Gated DeltaNet modellerinin bir biçimdeki r-trivial istemlerde tavana yakın puan alırken, eşdeğer problemler e-tablo düzenlemeleri olarak sunulduğunda şans düzeyine yakın puan aldığını belirtti. Bu fark, tek bir biçimde elde edilen güçlü bir sonucun durum takibine yönelik genel bir beceriyi kanıtlamayabileceği anlamına geliyor.

Kapalı testlerde Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol ve GPT-6 Luna’dan her değişkenin son değerini üretmeleri istendi. Ai2, dört modelin de r-trivial ve aperiyodik problemlerde iyi performans gösterdiğini, ancak girdiler uzadıkça çözülebilir ve genel sonlu problemlerde performanslarının keskin biçimde düştüğünü; en uzun genel sonlu örneklerde doğruluğun %13’e veya daha altına indiğini bildirdi.

Doğrudan Eğitim, Mimarinin Etkisini Ön Eğitimden Ayırıyor

Bu başarısızlıkların mimarilerden mi yoksa ön eğitimden mi kaynaklandığını belirlemek için araştırmacılar, sıfırdan eğitilen 275 milyon parametreli altı model oluşturdu: iki transformatör varyantı, iki hibrit model ve bellek güncelleme kısıtları farklı iki Gated DeltaNet varyantı. Eğitim dizileri en fazla 256 atama içerirken testlerde bu üst sınırın 250 katına kadar uzunluklar kullanıldı.

Ai2, Gated DeltaNet ve hibrit modellerin r-trivial, aperiyodik ve çözülebilir görevlerde test edilen en uzun dizilere kadar neredeyse kusursuz genelleme yaptığını bildirdi. Transformatörler daha kolay düzeyleri öğrendi, ancak eğitim dağılımlarının ötesinde performansları düştü ve dağılım içindeyken bile genel sonlu görevleri hiçbir zaman öğrenemedi. Genel sonlu görevlerde pozitif ve negatif özdeğerlere izin veren Gated DeltaNet varyantı, maksimum eğitim uzunluğunun yaklaşık 10 katına kadar neredeyse kusursuz kaldı. Özdeğerleri negatif olmayan varyantın performansıysa eğitim sınırının hemen ötesinde düştü.

Araştırmacılar bu ayrışmayı, ön eğitimin tekrarlayan ve hibrit modellerin ön eğitimli sürümlerindeki başarısızlıkları açıklamaya yardımcı olduğunun; transformatörlerin ise hedefli eğitimden sonra da en zor düzeyde başarısız olmaya devam etmesinin mimari bir sınırlamaya işaret ettiğinin kanıtı olarak yorumluyor.

Kamuya Açık Varlıklar ve Devam Eden Sınırlamalar

Yayımlanan veri kümesi, toplam 1,05 GB büyüklüğünde 68.000 satır içeriyor. Standart yapılandırmasında biçimlendiriciden bağımsız işlem izleri ve son durumlar bulunuyor; işlenmiş kayıtlara ise istemler, tamamlamalar, yanlış seçenekler, karmaşıklık etiketleri ve üretim meta verileri ekleniyor. Belirteç uzunluğu alanları ve katmanlar, istem uzunluğuna göre örnek seçmeyi destekliyor.

Apache-2.0 lisansı altında yayımlanan kod deposu, görev ailelerini standart izlerden oluşturuyor ve eğitim ile test kümeleri arasında anlamsal ayrıklık sağlayabiliyor. Zorluk düzeyleri arasındaki kontrollü ilişkiyi korurken hem değerlendirmeyi hem de eğitim verisi üretimini destekliyor.

Makale ayrıca, negatif olmayan özdeğerlere sahip sabit hassasiyetli Gated DeltaNet’in tüm aperiyodik görevleri ve bazı periyodik görevleri çözebildiğini kanıtlıyor. Bunlar arasında, yinelenen bir girdinin çift mi yoksa tek sayıda mı tekrarlandığını belirleme görevi olan parite de bulunuyor; ancak parite yapısı yuvarlamaya dayanıyor. Bu varyantın hiyerarşideki kesin yeri hâlâ belirsiz; çözülebilir her görevi çözme kapasitesi ile sayısal hassasiyetin ve dikkat katmanları eklemenin etkileri de henüz açıklığa kavuşmuş değil.

StateBench ayrıca değişken sayısının sabit olduğunu varsayıyor; bu nedenle henüz zaman içinde yeni kişilerin ve nesnelerin ortaya çıktığı konuşmaları veya belgeleri modellemiyor.

Kıyaslamanın temel ayrımı, uzun bir girdiyi kabul etmek ile bu girdinin içindeki durumu korumak arasındadır. Kontrollü görevleri, bu farkın mimariler arasında ölçülmesini sağlıyor; ancak değişken sayısının sabit olması, kusursuz bir puanın bile bir belge veya konuşmada yeni varlıklar ortaya çıktığında durum takibinin güvenilir olduğunu kanıtlamayacağı anlamına geliyor.