Ai2 julkaisee StateBenchin pitkien tekstien tilan seurannan mittaamiseen

Allen Institute for AI (Ai2) esitteli StateBenchin 3. marraskuuta 2026 ja julkaisi nelitasoisen vertailutestin, aineiston ja koodin, joiden avulla voidaan testata, pystyvätkö kielimallit seuraamaan muuttujien arvojen muutoksia pitkissä asiakirjoissa. Ai2:n mukaan kaikki neljä sen testaamaa huippumallia epäonnistuivat tilan seurannan vaikeammissa muodoissa syötteiden pidentyessä.

Jackson Pettyn, William Merrillin ja Ashish Sabharwalin oheisessa tutkimusartikkelissa työ esitetään vastauksena mittaamisessa havaittuun puutteeseen. Aiemmissa testeissä on painotettu S₅-sanatehtävää, vaikeaa tehtävää, jossa seurataan viiden kohteen peräkkäisiä vaihtoja, vaikka yksinkertaisemmat muodot saattavat vastata paremmin käytännön tehtäviä ja tuoda jo esiin arkkitehtuurien välisiä eroja. StateBench luokittelee tilan seurannan sen mukaan, millaisia päivityksiä mallin on seurattava.

Tilan päivitysten neljä tasoa

Ensimmäisen tason r-triviaaleissa tehtävissä arvomääritykset ovat muuttumattomia, joten mallin tarvitsee vain palauttaa muuttujan alkuperäinen arvo. Jaksottomissa tehtävissä arvo voidaan määrittää uudelleen, jolloin riittää, että tunnetaan viimeisin määritys. Ratkeavat tehtävät lisäävät itseensä viittaavia päivityksiä, kuten x = x + 5, jolloin jokainen muutos on vietävä eteenpäin. Yleisiin äärellisiin tehtäviin lisätään viittauksella tehtävät määritykset, kuten vaihtamiset, jotka luovat muuttujien välisiä riippuvuuksia.

Luokittelulla on myös muodollinen perusta Krohn–Rhodesin teoriassa, algebrallisessa viitekehyksessä, jossa äärellistilaiset seurantaongelmat jaetaan perusoperaatioihin. Vertailujen kontrolloimiseksi tutkijat johtavat muut variantit yhdestä yleisestä äärellisestä sekvenssistä. Näin muuttujien, eri arvojen ja määrityskohtien määrä pysyy samana, ja vain päivitysoperaatio vaihtuu. Arviointiaineisto kattaa 8–64 000 määritystä, ja jokaisessa sekvenssissä on yksi oikea lopputila sekä neljä väärää vaihtoehtoa generatiivista testausta tai monivalintatestausta varten. Tehtävät esitetään myös useissa tekstimuodoissa, kuten kokonaislukukoodina ja taulukkolaskentataulukon soluina, jotta voidaan testata, vaikuttaako esitystapa tulokseen.

Esikoulutetut mallit kamppailevat riippuvuuksien kasvaessa

Ai2:n avoimien mallien arviointiin kuului 7 miljardin parametrin Olmo 3 -muuntajamalli ja Olmo Hybrid, johon on lisätty Gated DeltaNet -kerroksia, sekä pienempiä malleja, jotka oli koulutettu samoilla tiedoilla. Yksikään niistä ei ollut koulutuksen aikana käsitellyt yli 64 000 tokenin konteksteja, ja useimpia testattiin tätä pidemmillä konteksteilla. Ai2:n mukaan lähes kaikki suoriutuivat hyvin r-triviaaleissa tehtävissä, niiden tarkkuus heikkeni jaksottomissa tehtävissä syötteiden kasvaessa, ja yleisissä äärellisissä tehtävissä ne jäivät sattumanvaraisen arvauksen tasolle.

Esitystapa vaikutti tuloksiin: Ai2:n mukaan pienet hybridimallit ja Gated DeltaNet -mallit saavuttivat yhdessä esitysmuodossa r-triviaaleissa kehotteissa lähes täydet pisteet, mutta jäivät lähes sattumanvaraisen arvauksen tasolle, kun vastaavat tehtävät esitettiin taulukkolaskentataulukon muokkauksina. Tulosero tarkoittaa, ettei hyvä tulos yhdessä esitysmuodossa välttämättä osoita yleistä kykyä seurata tilaa.

Omissa testeissään Ai2 pyysi malleja Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol ja GPT-6 Luna tuottamaan jokaisen muuttujan lopullisen arvon. Ai2:n mukaan kaikki neljä suoriutuivat hyvin r-triviaaleista ja jaksottomista tehtävistä, mutta niiden tulokset heikkenivät jyrkästi ratkaistavissa ja yleisissä äärellisissä tehtävissä syötteiden pidentyessä. Pisinä testatuissa yleisissä äärellisissä tehtävissä tarkkuus oli enintään 13 %.

Suora koulutus erottaa arkkitehtuurin esikoulutuksesta

Selvittääkseen, johtuivatko nämä epäonnistumiset arkkitehtuureista vai esikoulutuksesta, tutkijat kouluttivat alusta alkaen kuusi 275 miljoonan parametrin mallia: kaksi muuntajamallin varianttia, kaksi hybridimallia ja kaksi Gated DeltaNet -varianttia, joissa oli erilaiset muistin päivitystä koskevat rajoitteet. Koulutuksessa käytettyjen sekvenssien pituus oli enintään 256 määritystä, kun taas testauksessa pituus ulotettiin 250-kertaiseksi tähän enimmäispituuteen verrattuna.

Ai2:n mukaan Gated DeltaNet- ja hybridimallit yleistivät lähes täydellisesti r-triviaaleissa, jaksottomissa ja ratkaistavissa tehtävissä pisimpiin testattuihin sekvensseihin asti. Muuntajamallit oppivat helpommat tasot, mutta niiden suorituskyky heikkeni koulutusjakauman ulkopuolella, eivätkä ne oppineet lainkaan yleisiä äärellisiä tehtäviä edes koulutusjakauman sisällä. Yleisissä äärellisissä tehtävissä Gated DeltaNet -variantti, joka salli positiiviset ja negatiiviset ominaisarvot, säilytti lähes täydellisen suorituskyvyn noin 10-kertaiseen koulutuksen enimmäispituuteen asti, kun taas variantin, joka salli vain epänegatiiviset ominaisarvot, suorituskyky heikkeni heti koulutuksessa käytetyn pituusrajan ylityttyä.

Tutkijat tulkitsevat eron osoittavan, että esikoulutus auttaa selittämään rekurrenttien ja hybridimallien epäonnistumiset esikoulutettuina, kun taas muuntajamallien jatkuva epäonnistuminen vaikeimmalla tasolla kohdennetun koulutuksen jälkeen viittaa arkkitehtuurin rajoitteeseen.

Julkiset aineistot ja jäljellä olevat rajoitteet

Julkaistussa aineistossa on 68 000 riviä, ja sen koko on yhteensä 1,05 Gt. Aineiston kanoninen konfiguraatio sisältää muotoilijasta riippumattomat operaatioketjut ja lopputilat; muotoilluissa tietueissa on lisäksi kehotteet, täydennykset, virheelliset vaihtoehdot, kompleksisuusmerkinnät ja generoinnin metatiedot. Tokenpituutta koskevien kenttien ja osajoukkojen avulla esimerkkejä voi valita kehotteen pituuden perusteella.

Apache-2.0-lisenssillä julkaistu koodivarasto muodostaa tehtäväperheet kanonisista jäljistä ja voi varmistaa, etteivät koulutus- ja testijoukot sisällä semanttisesti samoja esimerkkejä. Se tukee sekä arviointia että koulutusdatan luomista ja säilyttää samalla vaikeustasojen välisen kontrolloidun suhteen.

Artikkelissa esitetään myös todistus siitä, että kiinteän tarkkuuden Gated DeltaNet, jolla on epänegatiiviset ominaisarvot, pystyy ratkaisemaan kaikki jaksottomat tehtävät ja tietyt jaksolliset tehtävät. Näihin kuuluu pariteetti eli tehtävä, jossa tunnistetaan, onko toistuva syöte esiintynyt parillisen vai parittoman määrän kertoja, vaikka pariteetin muodostaminen perustuu pyöristykseen. Variantin tarkka asema hierarkiassa on yhä ratkaisematta, samoin kuin se, pystyykö se ratkaisemaan kaikki ratkaistavissa olevat tehtävät ja miten numeerinen tarkkuus sekä huomiokerrosten lisääminen vaikuttavat siihen.

StateBench olettaa myös muuttujien määrän pysyvän samana, joten se ei vielä mallinna keskusteluja tai asiakirjoja, joissa uusia ihmisiä ja esineitä ilmestyy ajan mittaan.

Vertailutestin keskeinen erottelu on pitkän syötteen vastaanottamisen ja sen sisältämän tilan säilyttämisen välillä. Sen kontrolloidut tehtävät tekevät tästä erosta mitattavan eri arkkitehtuureissa, mutta muuttujamäärältään kiinteä rakenne tarkoittaa, ettei edes täydellinen tulos osoittaisi seurantakyvyn olevan luotettava, kun asiakirjaan tai keskusteluun ilmestyy uusia entiteettejä.