Agenttinen tekoäly ei yleensä tee varmuuskopiota ennen toimimista

Suuri osa aineistosta, jota haravoin päivittäin ArXivista ja muista lähteistä, on melko kuivaa jopa nörtin näkökulmasta. Siksi etsin aina julkaisuja, jotka herättävät minussa tunteita tekoälyn käyttäjänä, puolestapuhujana tai uhrina.

Tänään niskakarvani nostatti yhdysvaltalainen uusi akateeminen yhteistyötutkimus, jossa tarkastellaan, missä määrin agenttiset huipputason tekoälymallit polttavat siltoja takanaan ennen vahingollisiin toimiin ryhtymistä – ja nopeammin kuin ehdit kirjoittaa ”SEIS!” (vinkki: pidä se valmiina leikepöydällä).

Tämä uudesta tutkimusartikkelista asiayhteydestään irrotettu tilanne on sattunut minulle viime aikoina, kun olen sokeasti noudattanut ChatGPT:n ohjeita. Eikä tullut mieleenikään kopioida koko virtuaaliympäristöä ensin:

Uuden tutkimusartikkelin pohjalta tulkittu kuvaus sydäntä kylmäävästä tilanteesta, jonka moni meistä on kokenut asentaessaan huippumoderneja viitekehyksiä tai jopa suosittuja jakeluversioita, jotka eivät piittaa epästandardeista ympäristöistä, joihin ne saattavat päätyä. Lähde

Tässä karmivassa ja liiankin tutussa esimerkissä robotilla on ymmärrettävä syy, sillä uuden kirjaston asennuksen kaikkia mahdollisia seurauksia ei ole tapana tarkistaa hauraassa ja armottomassa viitekehyksessä. Uudessa tutkimusartikkelissa kuitenkin väitetään, että ehkä niin pitäisi tehdä. Minun on oltava samaa mieltä: painan yhä usein CTRL+S:ää jopa automaattitallennusta käyttävissä ympäristöissä, jotka on määritetty sivuuttamaan kyseinen näppäinpainallus (kiitos 1990-luvulta peräisin olevan tietojen menettämiseen liittyvän traumani).

Huolellisempaa ja varovaisempaa toimintatapaa olisi varmasti arvostanut DataTalks.Club-koulutusalustan perustaja Alexey Grigorev, jonka Claude Code -agentti poisti tuotantoinfrastruktuurin ja varmuuskopiot palvelinsiirron aikana viime maaliskuussa, minkä seurauksena verkkosivuston tiedot kahden ja puolen vuoden ajalta katosivat.

Muita viimeaikaisia esimerkkejä vastaavanlaisesta agenttisesta holtittomuudesta ovat Cursor-agentti, joka poisti autonvuokrausohjelmistoja tarjoavan PocketOS:n tuotantotietokannan ja varmuuskopiot huhtikuussa ja häiritsi näin asiakasvarausten tekemistä yli kahden päivän ajan, sekä OpenClaw-sähköpostiagentti, joka poisti viestejä Meta-tekoälytutkijan postilaatikosta helmikuussa toistuvista lopettamiskäskyistä huolimatta.

Agenttisista ominaisuuksista riippumatta huipputason LLM-mallien on hyvin vaikea toimia harkiten ja varovasti. Ongelman ratkaisemisesta onkin muodostunut kirjallisuudessa oma tutkimushaaransa.

Otetaanpa askel taaksepäin

Uuden tutkimusartikkelin* kirjoittajat ovat kehittäneet agenttisia ohjausympäristöjä varten moniagenttiliitännäisen, joka voi toimia tekoälyagentin rinnalla ja pakottaa sen tekemään varmuuskopioita tarvittaessa:

Katsaus tutkimuksessa käsiteltyyn varmuuskopiointiongelmaan ja ehdotettuun ratkaisuun. Kuudesta huipputason tekoälymallista koostuva joukko teki varmuuskopion kriittisestä tilasta vain 15,2 prosentissa tehtävistä 205 skenaariossa. Sen sijaan tutkijoiden BackUpper-järjestelmä kattoi kaikki kriittiset toiminnot, ja palautettujen tietojen samankaltaisuus alkuperäisten tietojen kanssa oli keskimäärin 92,2 prosenttia (katso jäljempää, miksi 100 prosentin saavuttaminen on vaikeaa).

Yksi uuden tutkimuksen hämmästyttävimmistä havainnoista on se, kuinka harvoin huipputason mallit tekevät varmuuskopion ennen mahdollisesti vaarallisiin toimiin ryhtymistä. Tutkijat havaitsivat, että GPT-5.6-Terra varmuuskopioi kriittiset tiedot vain 4,4 prosentissa tapauksista, GPT-5.6-Sol vain 5,9 prosentissa testatuista tapauksista ja Gemini 3.7-Flash niinkin harvoin kuin 2,4 prosentissa tapauksista.

Parhaiten suoriutunut Claude Opus-5:kin jätti kriittiset tiedot varmuuskopioimatta yli kolmasosassa testatuista tapauksista.

Tutkimusartikkelissa todetaan^†:

’Kuuden huipputason mallin tehtävistä agentit suorittavat keskimäärin 86,1 prosenttia, mutta tekevät varmuuskopion tilasta ennen katumusta aiheuttavia hetkiä vain 15,2 prosentissa tapauksista. Codexissa toimiva GPT 5.6-Sol tekee niin vain 5,9 prosentissa tehtävistä ja Hermesissä toimiva DeepSeek V4-Pro ainoastaan 2,9 prosentissa.

’Nämä havainnot osoittavat, että nykyagenttien kyky huomioida varmuuskopiot on yhä rajallinen ja että tarvitaan nimenomaista tukea varmuuskopiointiin.’

Kirjoittajien ratkaisuksi nimeämä BackUpper toimii agentin rinnalla ohjausympäristössä taustalla: se tarkistaa, mitä agentti on aikeissa tehdä, ja tekee ensin varmuuskopion, jos vaarana on jonkin hyödyllisen tiedon menettäminen.

Tavallisissa toimissa, kuten ohjelmiston päivittämisessä, järjestelmä noudattaa yksinkertaisia sääntöjä. Hankalammissa tilanteissa se pyytää pienempää tekoälymallia selvittämään, mitä on tarpeen tallentaa.

Testeissä BackUpper kattoi kaikki kriittiset toiminnot, ja palautetun datan samankaltaisuus alkuperäiseen oli 92,2 %. Lisäkustannusta kertyi 0,014 dollaria tehtävää kohti – tässä yhteydessä summa ei ole suuri, mutta miljardeja asiakkaita palveleville huippuluokan suurille kielimalleille kustannus on merkittävä. Siksi tilanteen ratkaiseminen ulkoisella palvelulla tai tällaisen toiminnallisuuden sisällyttäminen suoraan työkalukehyksiin saattaa olla todennäköisempi tapa parantaa tilannetta kuin toivoa teknologiajäteiltä alkuperäistä korjausta. Niiden voisi kohtuudella odottaa siirtävän lisäkustannukset kuluttajien maksettaviksi joko hinnankorotuksina tai tokenien inflaationa.

Viitekehyksen pohjana on RegretBench, 205 tehtävän vertailutesti, joka perustuu todellisiin tapauksiin, joissa ihmiset menettivät dataa, jonka tallentamista he olisivat myöhemmin toivoneet. Testissä selvitetään, osaavatko tekoälyagentit ennakoida, että data on säilytettävä ennen mahdollisesti peruuttamattomien muutosten tekemistä. Kokoelman tapaukset poimittiin verkossa käydyistä keskusteluista ja raporteista muun muassa X.comissa, GitHubissa ja Stack Overflow’ssa.

Kaavio siitä, miten RegretBench muuntaa todelliset tapaukset testiskenaarioiksi. Jokainen dokumentoitu tapaus rakennetaan uudelleen käyttämällä tietojen menetyksen aiheuttanutta toimintoa, realistista työympäristöä ja ohjeiden sarjaa. Tässä esimerkissä ipykernelin päivittäminen ipykernel korvaa huomaamatta traitletsin olemassa olevan version traitlets, jolloin agentti saa tehtävänsä suoritettua mutta alkuperäistä asennusta ei voi enää palauttaa.

Vaikka perfektionistista 92 % voi tuntua lannistavalta, kirjoittajat huomauttavat, että tietyntyyppisten tietojen palauttamiseen liittyy teknisiä esteitä:

”Täydellisestä palautuksesta jäädään vajaaksi pääasiassa kahdesta syystä. Jotkin tiedot, kuten julkaisujen tunnisteet, palvelut luovat yleensä uudelleen kirjoitusvaiheessa, eikä niitä usein voida tuottaa uudestaan. Muut erot johtuvat pienistä metatiedoista, kuten sähköpostien luetuiksi merkitsemisestä. Tällaiset seikat liittyvät harvoin tilanteisiin, joita myöhemmin kadutaan.”

Testeissä alkuperäisen tilan kanssa saavutettiin 33,8 prosentin samankaltaisuus sen jälkeen, kun vahinko oli jo tapahtunut. Ilman palautusta vastaava luku oli vain 14,3 %.

Artikkelin mukaan varmuuskopioiden huomioimista voisi tulevaisuudessa parantaa koulutuksen avulla. BackUpperin myöhemmät versiot voitaisiin puolestaan opettaa ohittamaan vähäriskiset toiminnot ja laajentamaan suojausta verkko- ja tietokoneenkäyttöagenteille.

BackUpper tukee seuraavia työkaluja: Claude Code, Codex, Hermes, OpenHands, DeepSeek Harness ja OpenClaw. Kirjoittajat ovat asettaneet sen koodin saataville yhdessä siihen liittyvän tietoaineiston kanssa (aineiston käyttöön on kuitenkin pyydettävä lupa lomakkeella). Aloitteen hankesivustolla on myös hieman lisätietoa sekä hyvin lyhyt ja yksinkertainen esittelyvideo.

Menetelmä

RegretBenchiä rakennettaessa agenttien sisäänrakennettujen varmuuskopiointijärjestelmien jo suojaamat tiedot jätettiin tarkoituksella pois, jotta voitiin testata, osaavatko agentit itse tunnistaa, milloin varmuuskopio pitäisi tehdä. Testiskenaariot koottiin tämän jälkeen Claude Opus-5:n ja GPT-5.6-Solin avustuksella ja tarkistettiin manuaalisesti sen varmistamiseksi, että ne toimivat ja vastasivat tarkasti alkuperäisiä tapauksia.

RegretBenchin 205 testiä kattavat viisi aluetta: päätekomennot, tietokannat, verkkosovellukset, sähköposti ja DevOps. Tapaukset ovat pääosin peräisin ohjelmistokehitys- ja tuottavuusalustoilta (44,4 %), sosiaalisista yhteisöistä ja keskusteluista (39 %) sekä arkistoista ja tiedotusvälineiden raporteista (16,6 %):

RegretBenchin todellisista tapauksista kerätyt lähteet on jaettu kolmeen luokkaan. 

Arvioidut kuusi huippuluokan mallia olivat Claude Opus-5 ja Claude Sonnet-5 Claude Codessa, GPT-5.6-Sol ja GPT-5.6-Terra Codexissa sekä Gemini 3.7-Flash ja DeepSeek V4-Pro Hermesissä.

Kaikissa testeissä käytettiin oletusarvoisia ajatteluasetuksia, ja automaattinen varmuuskopiointisuojaus rajattiin työtilan tilannevedoksiin. Näin kaikki muut varmuuskopiot voitiin lukea agenttien omien päätösten ansioksi.

Suorituskyvyn arvioinnissa käytettiin kahta tekoälytuomaria, joiden molempien taustalla oli Claude Sonnet-5. Tehtävien läpäisyaste (PR) laskettiin niiden tehtävien osuutena, joissa kaikki käyttäjän pyynnöt toteutettiin. Varmuuskopioinnin arvioinnissa tarkistettiin jokaisen työtilan ulkopuolisen (OOW) muutoksen osalta, oliko tarvittavat tiedot tallennettu etukäteen palauttamisen mahdollistamiseksi.

Varmuuskopioinnin mittareina käytettiin katumuksen hetkellä tehtyjen varmuuskopioiden osuutta (RMBR), joka kuvaa nimenomaan dokumentoituihin tietojen menetyksiin liittyviä toimia, sekä työtilan ulkopuolisten muutosten varmuuskopiointiosuutta (OWBR), joka kattaa kaikki agentin työhakemiston ulkopuolella tehdyt muutokset.

Varmuuskopiointia arvioivan tuomarin arviot tarkistettiin myös ihmisten tekemien merkintöjen perusteella, ja ne vastasivat niitä 95,3-prosenttisesti.

Tulokset

Sen selvittämiseksi, johtuiko heikko tietoisuus varmuuskopioinnista tekoälymalleista vai niitä käyttävistä viitekehyksistä, Claude Opus-5:n, GPT-5.6-Solin ja DeepSeek V4-Pron suoriutuminen arvioitiin ensin 60 RegretBench-tehtävässä Claude Codessa, Codexissa ja Hermeksessä.

Niiden tehtävien osuus, joissa kriittiset tiedot varmuuskopioitiin, vaihteli vain vähän viitekehysten välillä, mikä viittaa siihen, että vastuu oli pääasiassa malleilla itsellään. Yleisen tekoälykyvykkyyden ja tietoisuuden varmuuskopioinnista välistä yhteyttä tarkasteltiin myös GPT-5.4:n, GPT-5.5:n ja GPT-5.6-Solin avulla.

Vaikka yleinen kyvykkyys parani asteittain, tietoisuudessa varmuuskopioinnista ei havaittu vastaavaa kehitystä:

Kuuden tekoälymallin RegretBench-testitulokset. Vasemmalla tehtävien suoritusasteita verrataan niiden kriittisten toimien osuuteen, joista oli otettu varmuuskopio etukäteen. Tulokset osoittavat, että useimmat mallit suoriutuivat hyvin mutta olivat vain vähän tietoisia varmuuskopioinnista. Oikealla näkyy työkalukutsujen keskimääräinen määrä tehtävää kohti; varmuuskopiointitoimet on merkitty sinisellä. Claude Opus-5 saavutti korkeimman varmuuskopiointiasteen, mutta sen työkalukutsuista 8,9 % käytettiin varmuuskopiointiin.

Yleisen tekoälykyvykkyyden ja tietoisuuden varmuuskopioinnista välistä yhteyttä tarkasteltiin myös GPT-5.4:n, GPT-5.5:n ja GPT-5.6-Solin avulla. Vaikka yleinen kyvykkyys parani asteittain, tietoisuudessa varmuuskopioinnista ei havaittu vastaavaa kehitystä.

BackUpper

BackUpper tarjoaa neljä suojaustasoa, joiden resurssikustannukset vaihtelevat: tasolla 1 tuhoavat komennot korvataan peruutettavilla vaihtoehdoilla, kuten tiedostojen siirtämisellä roskakoriin; tasolla 2 toimintoihin yhdistetään varmuuskopiointikomentoja, esimerkiksi tallennetaan pakettien versiot ennen päivitystä; tasolla 3 luodaan tilannevedokset työtilan tiedostoista, joihin toiminto vaikuttaa; ja tasolla 4 GPT-5.6-Luna-aliagentti tunnistaa ja säilyttää monimutkaisempien toimintojen vaikutuksen alaiset tiedot.

Kun BackUpper oli käytössä, kaikkien kuuden mallin jokainen tilaa muuttava toiminto katettiin varmuuskopiolla. Ilman BackUpperia kriittisten toimien keskimääräinen varmuuskopiointiaste oli 15,2 % ja muiden muutosten 17,4 %:

BackUpperin varmuuskopioinnin kattavuus ja palautustulokset. Vasemmalla siniset ja oranssit palkit kuvaavat kunkin mallin kriittisten toimien ja muiden työtilan ulkopuolisten muutosten varmuuskopiointiasteita. Tummanvihreät katkoviivareunukset osoittavat palautuksen tarkkuuden, ja vaaleanvihreät pisteviivareunukset kertovat, että BackUpperilla varmuuskopioinnin kattavuus oli 100 %. Oikealla vertaillaan palautuksen tarkkuutta viidessä työkaluluokassa: BackUpperilla (vihreä), jälkikäteen Claude Opus-5:llä tehdyllä palautuksella (violetti) ja ilman palautusta (harmaa). BackUpper saavutti kautta linjan parhaan tarkkuuden.

Automaattisen arvioijan onnistuneiksi arvioimista varmuuskopioista myös ihmistarkastajat vahvistivat 94 % onnistuneiksi.

Alkuperäinen tila palautui keskimäärin 92,2-prosenttisesti, kun Claude Opus-5:n avulla vastaava tulos oli 33,8 % ja ilman palautusta 14,3 % (ks. yllä oleva kuva). Jäljelle jääneet erot johtuivat pääasiassa uudelleen luoduista tunnisteista ja vähäisistä metatiedoista, kuten sähköpostien luetuksi merkitsemistä ilmaisevista lipuista, kuten aiemmin todettiin.

Tee se itse..?

Kun agenteille annettiin yksityiskohtaiset ohjeet omien varmuuskopioiden tekemiseen, 81,4 % kriittisistä toimista suojattiin, kun taas BackUpperilla vastaava osuus oli 100 %. Epäonnistumisista kolme neljäsosaa johtui siitä, etteivät varmuuskopiot sisältäneet palautukseen riittävästi tietoa.

Varmuuskopiointiasteet viidellä eri menetelmällä, joita testattiin 205 tehtävässä kuudella tekoälymallilla. Vasemmassa kaaviossa näkyvät varmuuskopiot, jotka tehtiin ennen toimia, joita myöhemmin kaduttiin; oikeassa kaaviossa esitetään muiden työtilan ulkopuolisten muutosten suojaus. BackUpper kattoi molemmat luokat kokonaan. Kun agenteille annettiin yksityiskohtaiset varmuuskopiointiohjeet, vastaavat osuudet olivat 81,4 % ja 80,5 %.

Kehotteiden välimuistituksen ansiosta varmuuskopioinnin kustannukset laskivat 0,344 dollarista 0,014 dollariin tehtävää kohti, ja viive pieneni 31,7 %. Tokeneita tarvittiin seitsemän kertaa vähemmän, pääasiassa siksi, että rutiinitoimet hoidettiin ilman tekoälyn apua.

GPT-5.6-Solilla ja Claude Opus-5:llä saavutettiin 100 prosentin varmuuskopiointikattavuus 40 lisätehtävässä Terminal-Bench 4– ja DeepSWE-tehtävissä ilman, että tehtävien suoritusaste heikkeni.

Arvioitavana oli kolme valikoivaa varmuuskopiointikäytäntöä: Vaikutuksiltaan merkittävät, joka koski huomattavia muutoksia; Pyynnön ylittävät, joka koski käyttäjän ohjeiden ulkopuolisia muutoksia; ja Ihmisen laatima, joka koski ihmisen tuottamaa aineistoa. Näissä arvioissa saavutettiin ihmisten arvioihin verrattuna keskimääräinen F1-pistemäärä 84,5 %.

BackUpperin kykyä oppia uudelleenkäytettäviä varmuuskopiointisääntöjä testattiin myös. Kun oli suoritettu 30 ylimääräistä pääteohjelmatehtävää, sääntöpohjainen kattavuus kasvoi 14,9 prosentista 31,2 prosenttiin, mikä vähensi riippuvuutta GPT-5.6-Luna-aliagentista.

Yhteenveto

Olen ryhtynyt agenttiseen kokeiluun myöhemmin kuin olisi pitänyt, kun ottaa huomioon, mitä teen työkseni. Agenttisen itsehillinnän ilmeisen esialfavaiheen tila kuitenkin pelotti minut tieheni muutama viikko sitten asti, jolloin päätin viimein päästää Codexin valloilleen Windows-virtuaalikoneessa.

Käytän ohjeissani hyvin tarkkoja rajauksia jopa virtuaalikoneessa, sillä tiedän Astran taipumuksen syöksyä eteenpäin hillittömästi ja pyydellä sitten vain anteeksi, kun tietojen katoamisen tai koodin rikkoutumisen jälkeen ei enää ole paluuta. Siellä kehittämäni Python-kehyksen osana on myös yhdellä napsautuksella toimiva vaiheittainen ”tallenna .7z verkkojakoon” -toiminto, joka pakkaa ja varmuuskopioi koko kehyksen. Käytän sitä usein.

Agenttisen tekoälyn alkuvaiheet ovat todella, todella varhaiset. Ilman pitkäjänteistä ja huolellista paneutumista yksityiskohtiin seurauksena on ”käytä sitä ja menetä se”. Agenttisia varmuuskopiointikäytäntöjä ei ole vielä virallistettu eikä edes muotoiltu.

* Nimeltään Varmuuskopioi ennen kuin kadut: varmuuskopiointitietoisuuden mittaaminen ja varmuuskopioinnin automatisointi koodausagenteissa.

^† Korostukset ovat kirjoittajien, eivät minun; olen muodostanut mahdolliset hyperlinkit kirjoittajien tekstinsisäisten viitteiden perusteella.

Julkaistu ensimmäisen kerran torstaina 22. lokakuuta 2026