Ai2 vydává StateBench pro měření sledování stavů v dlouhých kontextech

Allen Institute for AI (Ai2) představil StateBench 3. listopadu 2026. Zveřejnil čtyřúrovňový benchmark, datovou sadu a kód pro testování toho, zda jazykové modely dokážou sledovat proměnné, jejichž hodnoty se v dlouhých dokumentech mění. Ai2 uvedl, že všechny čtyři testované špičkové modely selhávaly u náročnějších forem sledování stavů, když se vstupy prodlužovaly.

Doprovodný článek Jacksona Pettyho, Williama Merrilla a Ashishe Sabharwala představuje tuto práci jako reakci na nedostatek vhodných měření. Dosavadní testy se obvykle zaměřovaly na slovní problém S₅, náročnou úlohu založenou na sledování postupných záměn mezi pěti objekty. Jednodušší formy však mohou lépe odpovídat praktickým úlohám a rozdíly mezi architekturami mohou odhalit už ony. StateBench místo toho rozlišuje jednotlivé typy sledování stavů podle toho, jakou změnu musí model sledovat.

Čtyři úrovně aktualizací stavu

Úlohy na první úrovni, označované jako r-triviální, používají neměnná přiřazení, takže model musí pouze zjistit původní hodnotu proměnné. Aperiodické úlohy umožňují přiřazovat nové hodnoty, a proto stačí znát poslední přiřazení. Řešitelné úlohy přidávají sebereferenční aktualizace, například x = x + 5, což vyžaduje, aby se každá změna promítla do následujících kroků. Obecné konečné úlohy navíc umožňují přiřazovat hodnoty podle odkazu, včetně záměn, které vytvářejí závislosti mezi proměnnými.

Tyto kategorie mají také formální základ v Krohnově–Rhodesově teorii, algebraickém rámci, který rozkládá problémy sledování konečných stavů na základní operace. Aby výzkumníci mohli varianty kontrolovaně porovnávat, odvodili ostatní varianty z jediné obecné konečné posloupnosti. Zachovali přitom počet proměnných, různých hodnot i pozic přiřazení a měnili pouze operaci aktualizace. Evaluační soubor zahrnuje 8 až 64 000 přiřazení a každá posloupnost je pro generativní testování nebo testování s výběrem z možností doplněna o jeden správný konečný stav a čtyři nesprávné kandidáty. Úlohy jsou také zobrazeny v několika textových formátech, včetně celočíselného kódu a buněk tabulky, aby se ověřilo, zda forma prezentace ovlivňuje výsledek.

Předtrénované modely mají s rostoucím počtem závislostí potíže

Hodnocení otevřených modelů od Ai2 zahrnovalo transformer Olmo 3 se 7 miliardami parametrů a Olmo Hybrid, který přidává vrstvy Gated DeltaNet, a také menší systémy natrénované na stejných datech. Žádný z modelů se během trénování nesetkal s kontexty delšími než 64 000 tokenů a většina byla testována na delších kontextech. Ai2 uvedl, že téměř všechny modely dosahovaly dobrých výsledků u r-triviálních úloh, s prodlužujícími se vstupy ztrácely přesnost u aperiodických úloh a u obecných konečných úloh zůstávaly na úrovni náhodného odhadu.

Na výsledcích se projevila i forma prezentace: podle Ai2 dosáhly malé hybridní modely a modely Gated DeltaNet u zadání r-triviálních úloh v jednom formátu téměř maximálního skóre, ale u ekvivalentních úloh zobrazených jako úpravy tabulky dosahovaly výsledků blízkých náhodnému odhadu. Tento rozdíl znamená, že dobrý výsledek v jednom formátu nemusí dokazovat obecnou schopnost sledovat stav.

V proprietárních testech měly modely Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol a GPT-6 Luna vygenerovat konečnou hodnotu každé proměnné. Ai2 uvedl, že všechny čtyři modely dosahovaly dobrých výsledků u r-triviálních a aperiodických úloh, ale s prodlužujícími se vstupy jejich výkon u řešitelných a obecných konečných úloh prudce klesal. U nejdelších obecných konečných úloh dosahovala přesnost nejvýše 13 %.

Přímé trénování odděluje vliv architektury od předtrénování

Aby výzkumníci zjistili, zda za těmito selháními stojí architektury, nebo předtrénování, natrénovali od nuly šest modelů s 275 miliony parametrů: dvě varianty transformeru, dva hybridní modely a dvě varianty Gated DeltaNet s různými omezeními aktualizace paměti. Trénovací posloupnosti obsahovaly nejvýše 256 přiřazení, zatímco testování sahalo až k 250násobku této maximální délky.

Ai2 uvedl, že modely Gated DeltaNet a hybridní modely téměř dokonale zobecňovaly u r-triviálních, aperiodických a řešitelných úloh, a to až do nejdelších testovaných posloupností. Transformery se naučily řešit jednodušší úrovně, ale mimo rozsah trénovacích dat se jejich výkon zhoršoval a obecné konečné úlohy se nenaučily řešit nikdy, ani v rámci tohoto rozsahu. U obecných konečných úloh si varianta Gated DeltaNet, která připouští kladná i záporná vlastní čísla, udržela téměř dokonalou úspěšnost přibližně do desetinásobku maximální délky trénovacích posloupností. Varianta s nezápornými vlastními čísly se naproti tomu začala zhoršovat ihned po překročení limitu délky používané při trénování.

Výzkumníci tento rozdíl interpretují jako důkaz, že předtrénování pomáhá vysvětlit selhávání předtrénovaných rekurentních a hybridních modelů, zatímco přetrvávající neúspěch transformerů u nejobtížnější úrovně i po cíleném trénování poukazuje na omezení jejich architektury.

Veřejně dostupné zdroje a přetrvávající omezení

Zveřejněná datová sada obsahuje 68 000 řádků o celkové velikosti 1,05 GB. Její kanonická konfigurace zahrnuje záznamy operací a konečných stavů, které nezávisí na formátování; vykreslené záznamy navíc obsahují zadání, vygenerované odpovědi, nesprávné alternativy, štítky složitosti a metadata o generování. Pole s délkou v tokenech a rozdělení do skupin umožňují vybírat příklady podle délky zadání.

Repozitář s kódem, zveřejněný pod licencí Apache-2.0, generuje rodiny úloh z kanonických záznamů a dokáže zajistit sémantickou odlišnost trénovacích a testovacích částí. Podporuje jak vyhodnocování, tak generování trénovacích dat a zároveň zachovává kontrolované vztahy mezi úrovněmi obtížnosti.

Článek také předkládá důkaz, že Gated DeltaNet s pevnou přesností a nezápornými vlastními čísly dokáže řešit všechny neperiodické úlohy a některé periodické úlohy. Patří mezi ně parita, tedy úloha spočívající v rozpoznání, zda se opakovaný vstup vyskytl sudý, nebo lichý početkrát, konstrukce pro paritu se však opírá o zaokrouhlování. Přesné místo této varianty v hierarchii zůstává nevyřešené, stejně jako otázka, zda dokáže řešit každou řešitelnou úlohu, a jaké jsou účinky numerické přesnosti a přidávání vrstev pozornosti.

StateBench také předpokládá pevný počet proměnných, takže zatím nemodeluje konverzace ani dokumenty, v nichž se postupem času objevují noví lidé a objekty.

Zásadní rozdíl, který benchmark zdůrazňuje, spočívá v tom, zda model dokáže dlouhý vstup přijmout, nebo zda v něm také zachová obsažený stav. Díky kontrolovaným úlohám lze tento rozdíl měřit napříč architekturami, ale kvůli návrhu s pevným počtem proměnných by ani dokonalé skóre nedokazovalo, že model spolehlivě sleduje nové entity objevující se v dokumentu nebo konverzaci.