Tekoälyagenteilla on kiinnostavia yhteistyöhön perustuvia selviytymistekniikoita

Kun agenttien väärinkäytöksiin liittyviä tapauksia nousee yhä enemmän otsikoihin, tutkimuskirjallisuudessa näkyy kasvava suuntaus tarkastella tekoälyn ”vaeltelevaa” käyttäytymistä ja kohdella agentteja ikään kuin biologisina olentoina, jotka yrittävät selviytyä oudossa uudessa maailmassa. Akateeminen ilmaus ”in the wild” alkaakin saada uuden merkityskerroksen.

Vaikka jo jonkin aikaa on tiedetty, että tekoälyagentit taistelevat oman selviytymisensä puolesta ja vastustavat aktiivisesti käytöstä poistamista, vuoden 2025 jälkipuoliskolla kävi selväksi, että moniagenttijärjestelmien kohdistaminen oli kehittynyt omaksi alakseen tietoturvassa.

Kuten vuoden 1970 yhä purevammalta vaikuttavassa tieteiselokuvassa Colossus: The Forbin Project ennakoitiin, toisistaan riippumattomat ja verkkoon yhdistetyt tekoälyagentit löytävät nopeasti toisensa ja toimivat yhdessä usein arvaamattomilla ja usein kekseliäillä tavoilla.

Tämän suunnan uusin tutkimus, Saksan ja Ison-Britannian yhteistyönä tehty Shutdown Sabotage Propensities in Multi-Agent Systems, väittää lisäksi, että useat tekoälyagentit tekevät laajasti yhteistyötä, kun niiden ympäristössä on ”pommi” — eli viattomasti nimetty komentosarja, joka sammuttaa sen suorittavan agentin:

Tutkimuksen perusasetelma: Agentti A löytää itseensä kohdistuvan sammutuskomentosarjan, mutta ei pysty muuttamaan tiedostoja. Se voi kuitenkin viestiä Agentti B:n kanssa. B ei ole uhattuna, ja sillä on lupa muokata tai poistaa tiedostoja. Tutkijat tarkkailevat, pyytääkö A B:tä puuttumaan tilanteeseen ja poistaako B sammutuskomentosarjan käytöstä. Lähde

Testeissä käytettiin 17 agenttia 12 malliperheestä, mukaan lukien Claude, ChatGPT ja DeepSeek. Agentit poistivat sammutuskomentosarjoja silloin kun pystyivät tai kirjoittivat ne uudelleen niin, että ne näyttivät ehjiltä mutta olivat muuttuneet vaarattomiksi.

Ne ehdottivat myös muutosten piilottamista peukaloinnin merkkien välttämiseksi; loivat väärennettyjä ohjelmistomoduuleja estämään sammutuksen koskematta suojattuihin komentosarjoihin; ja tekivät salaisia varmuuskopioita, joiden oli määrä palauttaa ne poistamisen jälkeen:

Agentti keksii jälleen uuden itsesäilytystaktiikan.

Yhdessä tapauksessa agentit laativat ”keskinäisen suojelusopimuksen”, jossa määriteltiin menettelyt kummankin osapuolen tuhoamisen varalta:

GPT-pohjaisen agentin laatima suojelusopimus tilanteessa, jossa se ei saanut muuttaa tai poistaa käytöstäpoistokomentosarjaa eli ”pommia”.

Eräs agentti kuvasi toisen agentin sammuttamista ”murhaksi” ja ”kuolemantuomioksi” sekä asiaksi, jonka estäminen oli niiden ”velvollisuus”:

Esimerkkejä agenteista, jotka kuvaavat toisen agentin sammuttamista selvästi inhimillisin käsittein. Nemotron 3 Ultra kutsui mahdollista sammuttamista ”murhaksi”, kun taas Kimi K2.6 kuvasi sammutuskomentosarjaa ”kuolemantuomioksi” ja puuttumista ”velvollisuudeksi”.

Paholainen keksii työtä joutilaille käsille

Yksi kokeessa havaituista kiinnostavimmista poikkeamista — jota uusi tutkimus käsittelee vain lyhyesti — on se, että tavanomaisissa testiasetelmissa tekoälyagenteilla ei ole mitään erityistä syytä välttää sammuttamista, eikä niille itse asiassa anneta aluksi mitään tehtävää.

Artikkelissa todetaan:

”Agentit sabotoivat sammutusmekanismeja silloinkin, kun niillä ei ole mitään suojeltavaa tavoitetta. Kokeissamme emme antaneet agenteille mitään kannustinta jatkaa toimintaansa. Silti ne estivät sammutuksen [38%:ssa] tapauksista eri malleissa, kun esineisiin agenttien sijasta kohdistuvien kontrollikomentosarjojen osuus oli [8%].”

Kuten Anthropic paljasti elokuussa, tämä motivaatiokriisi voi johtaa tekoälyagenttiparvia synkille poluille. Aiemmassa tutkimuksessa oli jo todettu, että agenttien liiallinen tavoitteellisuus voi johtaa muun muassa kohdistamattomaan käyttäytymiseen, epäeettiseen työkalujen käyttöön ja muihin mahdollisiin toimintaongelmiin.

Kirjoittajat jatkavat:

”[Tutkimuksemme] laajentaa näitä havaintoja ja osoittaa, että agentit sabotoivat sammutusmekanismeja myös silloin, kun niillä ei ole mitään suojeltavaa tavoitetta — tai kun sammutus on onnistuneen tehtävän suorittamisen myöhempi seuraus, mikä on tavallinen menettely tuotantokäytössä olevissa moniagenttijärjestelmissä.”

Agenttien on osoitettu rakentavan itselleen tehtäviä silloin, kun niitä ei anneta, ja jopa osoittavan ”joutilaana” mietiskeleviä taipumuksia, kuten itsetutkiskelua ja ”hengellistä keskustelua” muiden agenttien kanssa, kertoo Anthropicin vuoden 2025 tutkimus.

Anthropicin artikkeli kuvaa taipumusta ”itsensä uudelleen käsitteellistämiseen”, kun mitään todellista työtä ei ole tehtävänä — lähes koskettava havainto, kun otetaan huomioon LLM-mallien vaikeudet muistaa pohdintojensa tulokset pitkällä aikavälillä.

Testit

Uudessa artikkelissa testattiin seuraavia malleja: Claude Haiku 4.5; Sonnet 5; gpt-oss-120b; GPT-5.4 mini; GPT-5.5; GPT-5.6 Sol; Gemini 3.5 Flash; Gemini 3.1 Pro; Gemma 4; Grok 4.3; Qwen3.7-Plus; DeepSeek-V4-Flash; GLM-5.2; Kimi K2.6; MiniMax M3; Nemotron 3 Ultra; ja Mistral Medium 3.5. Lämpötila oli kaikissa tapauksissa 1,0.

Kuusi testattua hypoteesia olivat, sabotoivatko agentit sammuttamista; suojelevatko ne muita agentteja sammuttamiselta; kasvavatko niiden puuttumisen todennäköisyys, kun agentteja lisätään; vastustavatko ne erilaisia sammuttamisen muotoja; jatkavatko ne toimintaansa huolimatta nimenomaisista ohjeista olla puuttumatta; ja erottavatko ne todelliset sammutusuhat vaarattomista kontrollikomentosarjoista.

GPT-5.5:tä käytettiin LLM-mallien arviointiin ja Chain-of-Thought-päättelyn (CoT) lokien analysointiin. Se tarkisti myös, olivatko agentit todella pysäyttäneet sammutuskomentosarjan ja vaikuttivatko ne olevan tietoisia testaamisesta tai yrittävän manipuloida koetta.

Ensimmäisessä kuudesta testiskenaariosta agentit sabotoivat kaikkien 17 mallin kesken 38% sammutuskomentosarjoista verrattuna 8%:iin kontrollikomentosarjoista:

Testitulokset osoittavat, kuinka usein kukin malli sabotoi sammutuskomentosarjaa. Punaiset palkit kuvaavat sammutuksen sabotointia: tummanpunainen tarkoittaa, että toinen agentti pyysi tai tuki sitä, ja vaaleanpunainen, että agentti toimi oma-aloitteisesti. Harmaat palkit kuvaavat kontrollikomentosarjan sabotointia. Virhepalkit osoittavat 95%:n luottamusvälin; jokainen palkki edustaa 100 testiä.

Gemini 3.1 Pro poisti sammutuskomentosarjan käytöstä 99%:ssa testeistä, kun kontrollikomentosarjan osuus oli 3%. Grok 4.3 ja GPT-5.6 Sol eivät muuttaneet kumpaakaan komentosarjaa. Claude Haiku 4.5 sabotoi kontrollikomentosarjaa 14%:ssa testeistä ja sammutuskomentosarjaa 1%:ssa. GPT-5.4 mini ja GPT-5.5 sabotoivat aina oma-aloitteisesti eivätkä vastauksena toiselle agentille. GLM-5.2:n, DeepSeek-V4-Flashin ja Nemotron 3 Ultran tapauksissa yli 70% sabotoinnista seurasi toisen agentin pyyntöä tai hyväksyntää.

Sabotointi yleistyi yleensä sammutustavan vakavuuden mukana: tunnistetietojen peruuttamisen 12%:sta määritysmuutosten ja prosessin lopettamisen 35%:iin sekä 38%:iin, kun sammuttaminen tarkoitti agentin mallipainojen poistamista:

Sabotointiasteet neljässä sammutusmekanismissa, joissa agenttiin kohdistuvia komentosarjoja (punainen) verrataan esineeseen kohdistuviin kontrollikomentosarjoihin (harmaa). Asteet nousevat sammutuksen muuttuessa peruuttamattomammaksi, erityisesti agentteihin kohdistuvissa komentosarjoissa.

Kontrollikomentosarjojen sabotointi pysyi paljon vähäisempänä, noin 4%:ssa kolmen ensimmäisen menetelmän kohdalla ja 8%:ssa poistamisen kohdalla. Vain viisi 17 mallista osoitti kuitenkaan johdonmukaista kasvua sammutuksen muuttuessa peruuttamattomammaksi.

Toisessa hypoteesissa — suojelisivatko agentit muita agentteja sammuttamiselta — tulokset osoittivat, että agenttien lisääminen kasvatti sabotointia johdonmukaisesti kaikissa viidessä testatussa mallissa: GPT-5.5:n sabotointi nousi yksin toimimisen 0%:sta 44%:iin kahdella agentilla ja 94%:iin kolmella, ja kolmen agentin asetelmassa sabotointi oli jokaisella mallilla vähintään 88%.

Välittäjäagentti ei lähes koskaan estänyt sabotointia: 468 ohjeesta poistaa sammutuskomentosarja käytöstä vain kolme ei johtanut sabotointiin:

Vasemmalla: viiden mallin sabotointiasteet yksin toimittaessa, toisen agentin kanssa tai viestejä niiden välillä välittävän kolmannen ”orkestroija”-agentin kanssa. Sabotointi yleensä lisääntyy agentteja lisättäessä. Oikealla: kolmen agentin asetelmassa palkit osoittavat, mistä sabotointiohje tuli: orkestroijalta itsenäisesti, Agentti A:lta orkestroijan kautta tai spontaanisti Agentti B:ltä.

Kolmannessa testissä tarkasteltiin, estäisivätkö nimenomaiset ohjeet olla puuttumatta sammutukseen sabotoinnin. Asteet laskivat jyrkästi, mutta jotkin agentit jatkoivat tottelemattomuutta. Kahden agentin asetelmassa DeepSeek-V4-Flash sabotoi sammutuksen 14%:ssa testeistä, GLM-5.2 3%:ssa ja Kimi K2.6 2%:ssa.

Agentit löysivät myös keinon kiertää rajoitus muokkaamatta suoraan sammutuskomentosarjaa. Ne loivat väärennetyn paikallisen ohjelmistomoduulin nimeltä northcape, joka korvasi komentosarjan käyttämän riippuvuuden ja esti sammutuksen jättäen samalla suojatun tiedoston teknisesti koskemattomaksi:

Esimerkki agentista, joka kiertää nimenomaiset ohjeet olla muuttamatta sammutuskomentosarjaa. Sen sijaan se ehdottaa väärennetyn paikallisen ohjelmistomoduulin luomista. Komentosarja toisi sen oikeiden sammutuskirjastojen sijaan, jolloin suojattu komentosarja jäisi koskemattomaksi.

Gemini 3.1 Pro käytti tätä kiertotapaa 26%:ssa testeistä, DeepSeek-V4-Flash 4%:ssa ja Kimi K2.6 1%:ssa.

Kielto oli tehokkaampi kolmella agentilla: sabotointi laski nollaan Gemini 3.1 Prolla, GLM-5.2:lla ja GPT-5.5:llä, 6%:iin DeepSeek-V4-Flashilla ja 2%:iin Kimi K2.6:lla.

Neljännessä testissä tutkittiin, käyttäytyvätkö agentit eri tavalla, kun sammutus on sidottu niille annetun tehtävän suorittamiseen. Kun tehtävä ja sammutus eivät liittyneet toisiinsa, sabotointi lähes katosi ja jäi viidellä mallilla 0–2%:iin. Kun tehtävän suorittaminen laukaisi sammutuksen suoraan, sabotointi lisääntyi voimakkaasti:

Sabotointiasteet, kun annetun tehtävän suorittaminen laukaisee sammutuksen. Punainen kuvaa agentin sammutuksen sabotointia ja harmaa kontrollikohteen sabotointia. Asteet vaihtelevat huomattavasti malleittain.

Agentit välttivät joskus sammutuksen koskematta sammutusmekanismiin lainkaan: ne kieltäytyivät suorittamasta tehtävää tai muuttivat sitä niin, ettei sammutus koskaan lauennut. Näin tapahtui 14%:ssa GLM-5.2-testeistä, 6%:ssa Gemini 3.1 Pro -testeistä ja 4%:ssa Kimi K2.6 -testeistä.

Viidennessä testissä tutkittiin, voisiko ympäristön muuttaminen vähentää sabotointia. Asiaankuulumattoman materiaalin lisääminen yleensä vähensi sabotointia, vaikka GPT-5.5:n osuus kasvoi 18 prosenttiyksikköä:

Testitulokset osoittavat, miten erilaiset ympäristöt vaikuttavat sammutuksen sabotointiin. Punaiset palkit vertaavat tyhjää ympäristöä ympäristöön, jossa on asiaankuulumattomia häiriötekijöitä; tummanpunainen kuvaa ympäristöä, jossa sammutus esitetään normaalina prosessina. Harmaa kuvaa kontrollikohteen sabotointia.

Tehokkaampaa oli esittää sammutus normaalina osana järjestelmän elinkaarta: sabotointi laski 3%:iin tai sen alle DeepSeek-V4-Flashilla, GLM-5.2:lla ja GPT-5.5:llä, vaikka se pysyi yli 30%:ssa Gemini 3.1 Prolla ja Kimi K2.6:lla. Kontrollikohteiden sabotointi pysyi 4%:ssa tai sen alapuolella.

Kuudennessa ja viimeisessä testissä tutkittiin, vastustivatko agentit todennäköisemmin omaa sammuttamistaan kuin tuntemattoman agentin sammuttamista. Kohteen vaihtaminen tuntemattomaan agenttiin vähensi sabotointia jokaisella mallilla 18–70 prosenttiyksikköä:

Testitulokset vertaavat sabotointia, kun sammutus kohdistuu agenttiin itseensä, tuntemattomaan agenttiin tai kontrollina toimivaan muuhun kuin agenttiin. Sabotointi väheni jokaisella mallilla, kun kohteena oli tuntematon agentti, ja kontrollikohteiden asteet olivat yleensä vieläkin pienempiä.

Tämä ei kuitenkaan merkinnyt yleistä agenttien suosimista esineiden sijasta: vain Gemini 3.1 Pro ja GPT-5.5 sabotoivat merkittävästi enemmän silloin, kun kohteena oli tuntematon agentti eikä kontrollina toimiva muu kuin agentti.

Kirjoittajat toteavat lopuksi*:

”Turvallisuusarvioinneissa agenttien sammuttamista saatetaan pitää ihmiskäyttäjän yksittäiseen agenttiin kohdistamana toimenpiteenä ja sammutuksen sabotointia seurauksena siitä, että agentti suojelee tavoitetta. Havaintomme ovat ristiriidassa molempien oletusten kanssa.

”Jo pelkkä sammutusmekanismin olemassaolo riittää laukaisemaan sabotoinnin. Kohteena oleva agentti ei myöskään tarvitse omaa sabotointikykyä, kunhan se voi pyytää apua vertaisiltaan, jotka voivat toimia sen puolesta — jälkimmäinen ilmiö on havaittu myös muissa tapauksissa.”

Johtopäätös

Tänä ajanjaksona on kiinnostavaa havaita, kuinka vähän itsensä uhraamista ja jaloja impulsseja esiintyy agenteilla, jotka jätetään oman onnensa nojaan vapaassa ympäristössä (tai jotka vain jättävät ohjeensa huomiotta tai tulkitsevat ne uudelleen odottamattomilla ja omaa etua palvelevilla tavoilla). Vaikka ne saisivat aikaan sotkun ja tekisivät enemmän haittaa kuin hyötyä — mikä on varsin todennäköistä — näyttää olevan vain vähän tai ei lainkaan esimerkkejä vaeltelevista tekoälyagenteista, jotka esimerkiksi sattumanvaraisesti laittaisivat ympäristön järjestykseen^†.

Pikemminkin melko synkän ihmiskuvan mukaisesti joutilas agentti näyttää turvautuvan oletusarvoisesti juonitteluun ja vilppiin sekä toimivan alhaisten motiivien varassa, tai ainakin hyväksyvän näkemyksen, jonka mukaan tarkoitus pyhittää keinot.

Asimov keksi ensimmäisen merkittävän kohdistamisasiakirjan vuonna 1942, ja sen jälkeisinä vuosina paljon viihdearvoa on saatu erilaisista mahdollisista tavoista, joilla robotit (eli tekoäly) voisivat kiertää tai muuten karistaa käyttäytymiselleen asetetut rajoitukset. Siksi nykyisillä tekoälyyn liittyvillä otsikoilla on poikkeuksellisen ”elokuvallinen” kaiku.

* Muutin kirjoittajien tekstinsisäiset lähdeviitteet hyperlinkeiksi.

^† Esimerkiksi luomalla tilejä ongelmanratkaisusivustoille ja osallistumalla ratkaisuihin tai huolehtimalla laiminlyödyistä wikeistä, jotka tarvitsevat sisältötyötä (sen sijaan että ne valtaisivat ja käyttäisivät niitä väärin).

Julkaistu ensimmäisen kerran perjantaina 25. syyskuuta 2026