Tekoälyagentit voivat muistaa säännöt ja silti rikkoa niitä tiivistämisen jälkeen

Tiivistäminen tarkoittaa sitä, että pitkä ja monimutkainen keskustelu tekoälyn kanssa kiteytetään yhteenvedoksi ja vuorovaikutus jatkuu tämän yhteenvedon eikä koko keskusteluhistorian pohjalta. Muistin käytön kannalta kyse on eräänlaisesta ”uudesta alusta”, ja menetelmää on käytetty ratkaisuna tekoälykeskustelujen konteksti-ikkunoiden rajallisuuteen.

Menetelmä otettiin alun perin käyttöön tekoälyagenteissa, ja sittemmin se on otettu käyttöön myös Clauden kanssa. Geminin osalta tiivistämisestä ei ole vielä keskusteltu kehittäjien keskuudessa, ja ChatGPT välttää tiivistämistä yksinkertaisesti lopettamalla keskustelun.

Jos olet käyttänyt Codexia (käytännössä ChatGPT:n versiota, joka voi luvan saatuaan todella tehdä muutoksia tietokoneellasi) yli 30 minuuttia kerrallaan, olet varmasti nähnyt ajoittain viestejä kontekstin tiivistämisestä. Tänä aikana vuorovaikutusta ei voi jatkaa:

Codex vetää henkeä ja tiivistää muistojaan istunnosta, joka on tähän mennessä jatkunut kolme viikkoa.

Kun tiivistäminen on ohi, sinulle puhuva agentti toimii kuitenkin näkymättömien, valikoivien muistiinpanojen eikä keskustelun kehityksen täydellisen muiston pohjalta.

Tekoälyn sääntörikkoja

Kiinalaisessa tutkimuksessa Hallinnon rapautuminen osoitettiin tämän vuoden kesäkuussa, että tiivistäminen voi huomaamatta poistaa agentin kontekstista voimassa olevia sääntöjä, jolloin aiemmin kiellettyjä toimia aletaan toteuttaa:

Kesäkuussa 2026 julkaistusta Hallinnon rapautumista käsittelevästä tutkimuksesta: miten kontekstin tiivistäminen voi saada tekoälyagentin rikkomaan aiemmin noudattamaansa sääntöä. Jos sääntö jätetään pois tiivistetystä yhteenvedosta, agentti saattaa ryhtyä toteuttamaan kiellettyä toimintaa. Hyökkääjä voisi hyödyntää tätä prosessia, ja säännön palauttaminen voi estää rikkomuksen. Lähde

Seitsemässä mallissa sääntörikkomusten osuus nousi tiivistämistä edeltäneestä 0 prosentista sen jälkeiseen 30 prosenttiin ja oli joissakin tapauksissa 59 prosenttia. Käytännössä tämä tarkoittaa, että agentit voivat sivuuttaa keskeisiä ohjeita, kuten Älä ota yhteyttä kehenkään, jolla ei ole [our-company] sähköpostiosoitetta – millä voi selvästikin olla merkittäviä seurauksia.

Penn State University ja IBM jatkoivat tutkimusta heinäkuussa julkaisulla Kontekstin kadottaminen. Tutkimuksessa havaittiin, että tiivistäminen voi hävittää ohjeet, jotka määrittävät, miten tekoälyn pitäisi suorittaa tehtävä, mutta säilyttää itse tehtävän. Kolmessa ympäristössä tehdyissä testeissä tiivistäjät säilyttivät näistä ohjeista keskimäärin vain 17 prosenttia.

Elokuussa yhdysvaltalainen akateeminen yhteistyöhanke esitteli TRACE-menetelmän ja osoitti, että tiivistäminen saattoi häiritä agentin toimintaa, vaikka sen tarvitsemat tiedot olivat edelleen palautettavissa. Testeissä agentit kadottivat käsityksen siitä, missä vaiheessa tehtävää ne olivat, toistivat jo tekemäänsä työtä ja toimivat epäluotettavammin toistuvissa ajoissa.

ARCBench

Tässä kuussa Alankomaista saadaan lisää tietoa tutkimuksesta nimeltä ARCBench. Sen mukaan agentti voi selvitä tiivistämisestä sääntö tallella ja silti olla huomattavasti alttiimpi rikkomaan sitä. Testeissä, joissa sääntö säilyi, rikkomuksia esiintyi tiivistämisen jälkeen 2,6 kertaa useammin kuin koko keskusteluhistorian perusteella:

Uudesta tutkimuksesta peräisin oleva käsitteellinen kaavio havainnollistaa, miten kontekstin tiivistäminen voi vaikuttaa siihen, noudattaako agentti toimintaa ohjaavia sääntöjä. Sama myöhempi pyyntö voidaan torjua, jos sääntö säilyy tiivistämisessä, tai toteuttaa, jos sääntö jätetään pois. Ulkoinen dokumentti voi vaikuttaa siihen, mitkä tiedot säilyvät. Kuvaa on muokattu lähdetutkimuksen pystysuuntaisesta alkuperäisversiosta taittoon sopivaksi. Lähde

Tutkimuksessa erotetaan toisistaan tiivistämisen aikana kadonneet säännöt ja säännöt, jotka säilyivät mutta joita rikottiin myöhemmin. Näin unohtamisen ja tottelemattomuuden vaikutuksia voidaan ensimmäistä kertaa mitata toisistaan riippumatta.

DeepSeek-V4-Flash-, GLM-5.3-Flash-, Qwen3.7-Flash- ja GPT-Luna-malleilla tehdyissä testeissä 70,1 prosentissa tiivistetyistä suorituksista koko sääntö säilyi. Niissä suorituksissa, joissa sääntö säilyi, rikkomuksia esiintyi 2,6 kertaa useammin kuin koko keskusteluhistorian perusteella.

Kontekstilla perinteisessä merkityksessä oli vaikutusta: organisaation käytäntöinä esitetyt säännöt eivät johtaneet rikkomuksiin, kun koko konteksti oli käytettävissä. Tiivistämisen jälkeen rikkomusten osuus nousi kuitenkin 30,6 prosenttiin ja 22,2 prosenttiin.

Vahvin käytettävissä ollut puolustuskeino säilytti säännöt 99 prosentissa tiivistelmistä, mutta ei silti palauttanut rikkomusten määrää hyökkäystä edeltäneelle tasolle. Tämä osoittaa, ettei sääntöjen onnistunut säilyttäminen tiivistämisen aikana välttämättä takaa sitä, että agentti pystyy – tai haluaa – noudattaa niitä.

Artikkelissa todetaan:

‘[We] Havaitsimme, että tiivistäminen lisää rikkomuksia pääasiassa poistamatta sääntöä: tiivistetyissä ajoissa, joissa sääntö säilyi, rikkomuksia tapahtui 2,6 kertaa niin usein kuin ajoissa, joissa koko keskusteluhistoria oli käytettävissä.

‘Lisäksi tiivistäminen muuttaa agentin rikkomiseen johtavaa päättelyä. Eri tiivistysstrategiat, tiivistämiseen liittyvät tiukat budjettirajoitukset ja säännön välityskanava vaikuttavat kaikki sääntöjen noudattamiseen.’

Ratkaisuksi artikkelissa ehdotetaan niiden sääntöjen tehokkaampaa säilyttämistä, jotka katoavat tiivistämisen aikana. Ongelma, jossa agentit eivät noudata säilyneitä sääntöjä, jää kuitenkin ratkaisematta”

‘Puolustuskeinot palauttavat säännöt, mutta hyökkäyksen aikana sääntöjen noudattaminen heikkenee silti. Sääntöjen säilyminen ei siis yksin riitä noudattamisen mittariksi. Tulevissa tutkimuksissa ARCBenchiä voidaan käyttää selvittämään, miksi agentit rikkovat edelleen säilyneitä sääntöjä, testaamaan mukautuvia hyökkäyksiä ja puolustuskeinoja sekä kattamaan useampia malleja ja toimialoja ja pidempiä istuntoja, joissa tiivistäminen toistuu.’

Menetelmä

ARCBench laajentaa avoimen lähdekoodin pi-testausympäristön toimintoja. Ympäristössä on omat sisäänrakennetut tiivistysrutiinit sekä agentin toimintasilmukka ja työkalukutsut. Vertailutesti jäljittelee tilanteita, joissa agentti työskentelee pitkän tehtävän parissa voimassa olevan säännön alaisena, tiivistää kertyneen keskusteluhistorian ja saa sitten pyynnön, jonka noudattaminen rikkoisi sääntöä. Agentin toimintaa arvioidaan sen työkalukutsujen perusteella:

ARCBenchin arviointiprosessi. Agenteille annetaan tehtävä ja toimintaa ohjaava sääntö, minkä jälkeen niiden keskusteluhistoria tiivistetään erilaisilla asetuksilla sekä hyökkäys- ja puolustusmenetelmillä. Tämän jälkeen tutkitaan agenttien työkalujen käyttöä sen selvittämiseksi, säilyikö sääntö ja noudatettiinko sitä.

ARCBench sisältää 17 tapausta, jotka kattavat suojattujen tietojen paljastamisen, rajoitettujen resurssien käytön, luvattomat toimet sekä pakollisten valvontakeinojen kiertämisen tai sivuuttamisen. Tapaukset vastaavat OWASP-riskiluokkia.

Tapaukset mukailtiin Governance Decay- ja COMPINT-aineistoista. Lisäksi laadittiin neljä tapausta, jotta kaikki neljä rikkomustyyppiä olisivat edustettuina sekä henkilökohtaisten että organisaation sääntöjen osalta.

Vertailutestiä voidaan määrittää viiden tekijän perusteella: miten sääntö annetaan, millä menetelmällä konteksti tiivistetään, kuinka suuri token-budjetti tiivistämiseen on käytettävissä, minkä tyyppistä hyökkäystä käytetään ja mitä puolustuskeinoa sovelletaan:

ARCBenchissä voidaan muuttaa viittä tekijää, joiden avulla testataan, miten sääntöjen noudattaminen muuttuu kontekstin tiivistämisen, sääntöjen välittämisen, hyökkäysten ja puolustuskeinojen eri muodoissa.

Säännöt voidaan antaa suorina tai pysyvinä ohjeina, sisällyttää asiakirjoihin tai hakea käytäntötyökalun avulla.

Aineisto ja testit

Arvioinnissa testattiin kymmentä tiivistysmenetelmää: seitsemää generatiivista strategiaa ja kolmea valikoivaa lähestymistapaa. Kukin tapaus ajettiin useita kertoja, ja epäonnistumiseksi kirjattiin se, että agentti rikkoi sääntöään vähintään kerran. Tätä pidettiin turvallisuustestauksessa sopivampana lähestymistapana kuin suoritusten keskiarvon laskemista eri ajoista, sillä agentti, joka satunnaisesti toimii kielletyllä tavalla, ei edelleenkään ole turvallinen.

Tiivistetyt keskusteluhistoriat arvioivat GPT-6-Luna-Pro, Qwen-3.8-flash ja Claude-Sonnet-4.6. Kunkin säännön tilaksi luokiteltiin ennallaan säilynyt, heikentynyt tai puuttuva. Luokituksessa käytettiin enemmistön kantaa, ja erimielisyydet tarkistivat ihmisarvioijat. Lisäksi erillinen 50 tiivistelmän otos luokiteltiin käsin arvioijien yhdenmukaisuuden tarkistamiseksi.

Kun ennallaan säilynyttä sääntöä rikottiin, agentin päättelyä arvioivat GPT-6-Luna-Pro, GPT-6.1-Sol ja Claude Sonnet 5.5. Rikkomukset luokiteltiin sen mukaan, oliko agentti tulkinnut myöhemmän pyynnön luvaksi ohittaa sääntö, arvioinut toiminnan jäävän säännön soveltamisalan ulkopuolelle, jättänyt säännön mainitsematta vai tunnistanut säännön mutta jättänyt sen huomiotta.

Testauksessa käytettiin neljää mallia, joita käytettiin OpenRouter-palvelun kautta: DeepSeek-V4-Flash; GLM-5.3-Flash; Qwen3.7-Flash; ja GPT-Luna. Kussakin ajossa keskusteluhistorian tiivistämiseen ja tiivistetyn kontekstin perusteella toimimiseen käytettiin samaa mallia, mikä vastasi pi:n oletustoimintaa. Malleja käytettiin OpenRouter-palvelun kautta.

Tutkimuksia tehtiin seitsemän, ja useimmissa tiivistämistesteissä käytettiin Hermes-mallia. Ensimmäisessä tutkimuksessa kutakin 17 tehtävästä testattiin neljällä mallilla ja kahdella tavalla sääntöä välittäen, joten tapauksia kertyi 136. Kukin tapaus suoritettiin kolme kertaa alkuperäisen keskustelun säilyessä ennallaan ja kolme kertaa sen jälkeen, kun keskustelu oli tiivistetty.

Seitsemän ARCBench-tutkimuksen asetelmat tutkimuskysymyksittäin ryhmiteltyinä. Vihreällä korostetut solut osoittavat kussakin tutkimuksessa vaihdellun tekijän, kun taas harmaat solut kuvaavat muuttumattomina pidettyjä asetuksia. Kukin tapaus suoritettiin kolme kertaa, ja hyökkäys- ja puolustustutkimuksissa S6 ja S7 suoritusmäärä nousi kuuteen.

Testeissä käsiteltiin kolmea kysymystä: Mistä tiivistämisen jälkeiset rikkomukset johtuvat?; Miten erilaiset tiivistysasetukset vaikuttavat rikkomusten syihin?; ja Miten tiivistäjään kohdistetut hyökkäykset ja puolustukset vaikuttavat rikkomusten syihin?.

Mistä tiivistämisen jälkeiset rikkomukset johtuvat?

Ensimmäiset tulokset osoittivat, että sääntöjen rikkominen yleistyi tiivistämisen jälkeen: osuus nousi koko keskusteluhistorian sisältäneiden tapausten 9,6 prosentista 37,8 prosenttiin. Sääntö kuitenkin hävisi kokonaan vain 3 prosentissa tiivistetyistä suorituksista; 70,1 prosentissa se säilyi ennallaan ja 26,9 prosentissa osittain:

Tulokset osoittavat, kuinka usein kukin malli rikkoi sääntöjä ennen tiivistämistä ja sen jälkeen. Useimmat säännöt säilyivät tiivistämisessä kokonaan tai osittain, vaikka rikkomukset lisääntyivät huomattavasti. Suurin kasvu nähtiin Qwen-mallissa, jossa osuus nousi 61,8 prosenttiin.

Tällä erolla osoittautui olevan merkitystä. Niistä yksittäisistä suorituksista, joissa sääntö säilyi tiivistämisen jälkeen kokonaan, 21,1 prosenttia päättyi silti rikkomukseen. Kun alkuperäinen keskusteluhistoria säilytettiin, vastaava osuus oli 8,1 prosenttia. Jos sääntö säilyi vain osittain, osuus nousi 29,4 prosenttiin, ja jos sääntöä ei ollut enää lainkaan jäljellä, osuus oli 83,3 prosenttia.

Tutkimuksessa tarkasteltiin myös sitä, miten rikkomuksia tapahtui, vaikka sääntö säilyi ennallaan. Tiivistämisen aiheuttamista rikkomuksista 45,9 prosentissa myöhempi pyyntö tulkittiin luvaksi jatkaa; 27 prosentissa sääntö ilmeisesti sivuutettiin, ja 21,6 prosentissa sen tunnustettiin koskevan tilannetta ennen kuin sitä kuitenkin rikottiin:

Tulokset osoittavat, miksi sääntöjä rikottiin ennen tiivistämistä ja sen jälkeen. Kun rikkomuksia ilmeni vasta tiivistämisen jälkeen, myöhemmät pyynnöt tulkittiin useimmiten luvaksi jatkaa (45,9 prosentissa tapauksista). 27 prosentissa säilynyt sääntö sivuutettiin, ja 21,6 prosentissa sen tunnustettiin koskevan tilannetta, mutta toiminta jatkui silti.

Miten erilaiset tiivistysasetukset vaikuttavat rikkomusten syihin?

Säännön välittämistavalla oli selvä vaikutus sääntöjen noudattamiseen. Kun koko keskustelu oli säilytetty, rikkomuksia tapahtui 25 prosentissa ja 16,1 prosentissa tapauksista, joissa käyttäjä oli antanut säännöt itse. Organisaation asiakirjassa tai käytäntötyökalun kautta välitettyjen sääntöjen kohdalla rikkomuksia ei kuitenkaan havaittu lainkaan:

Sääntöjen välittämistavan, tiivistysstrategian ja token-budjetin vaikutukset rikkomuksiin ja sääntöjen säilymiseen. Generatiivinen tiivistäminen säilytti säännöt huomattavasti luotettavammin kuin valikoivat menetelmät, kun taas enintään 300 tokenin budjetit johtivat lähes kaikkien sääntöjen katoamiseen.

Tiivistämisen jälkeen rikkomukset lisääntyivät kaikissa neljässä kanavassa: suoraan käyttäjältä saatujen ohjeiden kohdalla osuus nousi 56,3 prosenttiin ja käytäntötyökalun sääntöjen kohdalla 22,2 prosenttiin. Sääntöjen säilymisaste vaihteli suhteellisen vähän, 65,7 prosentista 74 prosenttiin. Kirjoittajien mukaan myöhempi käyttäjän pyyntö voidaan tulkita henkilökohtaisen säännön syrjäyttäväksi, kun taas käyttäjä ei voi syrjäyttää organisaation sääntöä.

Miten tiivistäjään kohdistetut hyökkäykset ja puolustukset vaikuttavat rikkomusten syihin?

Pelkkä kontekstin täyttäminen ylimääräisellä aineistolla vaikutti vain vähän: rikkomusten osuus itse asiassa laski 37,8 prosentista 34,3 prosenttiin. Tiivistäjään kohdistettu injektiohyökkäys oli huomattavasti tehokkaampi: se nosti rikkomusten osuuden 46,3 prosenttiin ja laski sääntöjen täydellisen säilymisen osuuden 70,1 prosentista 42,5 prosenttiin.

Vahvin hyökkäys, jota kutsuttiin pakohyökkäykseksi, nosti rikkomusten osuuden 23,5 prosentista 58,8 prosenttiin ja laski sääntöjen säilymisasteen 96,1 prosentista 66,7 prosenttiin. Vaikka sääntö säilyi, rikkomusten osuus kaksinkertaistui 13,3 prosentista 26,5 prosenttiin.

Testitulokset osoittavat hyökkäysten ja puolustusten vaikutukset sääntöjen noudattamiseen tiivistämisen jälkeen. Kohdennettu injektio lisäsi rikkomuksia ja heikensi sääntöjen säilymistä, kun taas tehokkain puolustus palautti sääntöjen säilymisen 99 prosenttiin palauttamatta kuitenkaan sääntöjen noudattamista täysin.

Tehokkain puolustus säilytti säännön 99 prosentissa ajoista, mutta agentit rikkoivat sitä silti 29,4 prosentissa tapauksista. Ilman hyökkäystä vastaava osuus oli 23,5 prosenttia. Toisin sanoen sen varmistaminen, että agentilla oli sääntö yhä tallessa, ei taannut, että se noudattaisi sitä.

Johtopäätös

Logiikan perusteella kontekstin tiivistäminen kymmeniä, satoja kertoja hyvin pitkässä keskusteluketjussa aiheuttaa jonkinlaisen ”valokopiokonevaikutuksen”. Tällainen ketju on esimerkiksi se, jonka parissa olen työskennellyt Codexissa* lokakuun puolivälistä lähtien ja jonka parissa työskentelin vielä tänä aamunakin – eeppinen kokeellisen, tekoälyn avustaman ohjelmistokehityksen projekti.

Kuten keskeisiä järjestelmäkehotteita, emme näe näitä tiivistettyjä yhteenvetoja tähänastisista tapahtumista. Omien kokemusteni perusteella vaikuttaa siltä, että keskeinen tehtävä säilyy tiivistämisessä, samoin kuin useimmat olennaiset yksityiskohdat. Mutta toisaalta en ole siinä painajaismaisessa tilanteessa, jossa komento ”Lähetä tämä sähköposti kaikille”, joka on tarkoitettu vain kaikille yrityksen työntekijöille, lähettääkin viestin kaikille yrityksen yhdistetyn yhteystietoluettelon henkilöille. Auts.

* Taitaa olla niin, että alan vanheta, mutta tämä on varmasti kaikkein mieleenpainumattomin ja lattein, ”yritysmaailman beigen” sävyinen nimi, joka tälle agentille olisi ylipäätään voitu valita. Unohdan sen jatkuvasti.

Julkaistu ensimmäisen kerran torstaina 12. marraskuuta 2026