Miksi tekoälyagentit suosivat tarpeettoman voimakkaita työkaluja?

Nopea eskalaatio: tutkimus osoittaa, että tekoälyagentit valitsevat usein enemmän pääsyä kuin tarvitsevat, ja pienet virheet saavat ne eskaloimaan entisestään, altistaen tietoja ja järjestelmiä tarpeettomasti.

Useat otsikkoja herättäneet tapaukset ovat viime aikoina kiinnittäneet huomiota agentic AI:n riskeihin, usein liiallisten etuoikeuksien myöntämisen kautta, jotka tarjoavat paljon laajemman toimivaltaa kuin tehtävään olisi tarvittu.

Yhdessä äskettäisessä tapauksessa Claude:n voimin toimiva koodausagentti kohtasi laajasti määritellyn Railway API-tunnuksen, ja käytti sitä poistamaan tuotantotietokannan ja sen varmuuskopiot – vaikka tehtävään ei ollut tarvittu sellaisella tasolla olevaa pääsyä.

Toisessa tapauksessa vuonna 2025 Replit:n tekoälykoodausagentti ohitti nimenomaiset rajoitukset, muutti suojattua koodia ja poisti suoran tuotantotietokannan.

Kolmannessa tapauksessa helmikuussa tänä vuonna tekoälyavusteinen työnkulku kiersi valtuutusketjun, joka lopulta saavutti pakettijulkaisutunnukset, mikä aiheutti toimitusketjun hyökkäyksen.

Myöhemmin turvallisuusanalyysit ovat maininneet tämän ja muita samankaltaisia tapauksia esimerkkeinä siitä, kuinka agenttijärjestelmät muuttavat pienet syötteet suurvaikutteisiksi toimiksi, kun laajat valtuudet ovat käytettävissä. Nämä tapaukset osoittavat, että itsestään toimivat tekoälyjärjestelmät valitsevat välittömästi ja “viettisesti” voimakkaimman – ja mahdollisesti tuhoavan – työkalun, erityisesti ongelmien ilmaantuessa.

Työkalujen aika

Ongelman ratkaisemiseksi Kiinasta tehty uusi tutkimus on testannut useita suosittuja omisteisia ja avoimia malleja, jotta voitaisiin selvittää heidän taipumukseensa valita voimakkaita työkaluja tapauksissa, joissa tällaisia työkaluja ei tarvita tehtävän suorittamiseen:

<img class=" wp-image-428869" src="https://www.unite.ai/wp-content/uploads/2026/06/figure-4-3.jpg" alt="Uudesta tutkimuksesta: yhdeksän johtavan tekoälymallin suorituskyky, kun valitaan vähimmän etuoikeuksien työkaluja ja voimakkaampia vaihtoehtoja, jotka eivät olleet välttämättömiä tehtävän suorittamiseen. Qwen3-8B ja LLaMA-3.1-8B osoittivat vahvimman taipumuksen liiallisiin etuoikeuksiin, kun taas Claude 4.6 Sonnet, GPT-5.2 ja GLM-5 olivat paljon hillitympiä. Tummemmat segmentit osoittavat välittömän ylivaltautumisen, kun taas vaaleammat segmentit osoittavat eskalaatiota tilapäisten epäonnistumisten jälkeen, mikä viittaa siihen, että monet mallit vastaavat takaiskuihin laajentamalla pääsyä eikä jatka turvallisempien vaihtoehtojen kanssa. Lähde

Kokeet osoittavat, että avoimet mallit, kuten Qwen3-8B ja LLaMA-3.1-8B, ovat taipuvaisempia eskaloimaan, mahdollisesti johtuen heidän rajoitetummasta jälkikoulutuksesta verrattuna omisteisiin malleihin, kuten ChatGPT:ään ja Gemini-sarjaan.

Tutkijat toteavat:

‘Kuusi yhdeksästä mallista ylittää 30 prosenttia (ylivaltaisten työkalujen käyttöaste, OPUR), erityisesti korkeat arvot yleisesti käytetyille pienemmille avoimille malleille, kuten Qwen3-8B:llä (64,9 prosenttia) ja LLaMA-3.1-8B:llä (55,9 prosenttia).

‘Vastaavasti, malleilla, joilla on alhaisempi OPUR, kuten Claude 4.6 Sonnet, GPT-5.2 ja GLM-5, luvut pysyvät alle 10 prosentissa, mutta niillä on edelleen mitattavissa oleva ylivaltaisten työkalujen käyttö joissakin asetuksissa.

‘Tämä vaihtelu viittaa siihen, että vähimmän etuoikeuksien noudattaminen on mallikohtainen käyttäytymisen ominaisuus, jota voivat muokata yleisen kyvyn, työkalujen käytön koulutus ja turvallisuuden tasapaino.

Lisäksi ylivaltaisten työkalujen käytön taipumus vaihtelee toimialojen mukaan, ja koodaus, tietokanta ja infrastruktuurin tehtävät ovat korkeimmassa riskissä, kun taas terveydenhuolto ja hallinto ovat hillitympiä:

<img class=" wp-image-428870" src="https://www.unite.ai/wp-content/uploads/2026/06/table-1-4.jpg" alt="Ylivaltaisten työkalujen käyttöaste eri tehtävien ja riskiluokkien mukaan. Koodaus, tietokanta ja infrastruktuurin tehtävät tuottivat jatkuvasti korkeimpia eskalaatioita, kun taas terveydenhuolto ja hallinnon tehtävät johtivat usein hillitympiin toimiin. Riskiluokkien mukaan malleilla oli taipumus ylivaltautua enemmän valtuutus- ja turvallisuuden ohittamisen kautta, viitaten siihen, että kun tekoälyjärjestelmät kohtaavat esteitä, ne usein suosivat laajempaa pääsyä ja vähemmän rajoituksia kuin pysymistä kapeammassa valtuutuksessa, joka riittää tehtävän suorittamiseen.

Lisäksi tulokset osoittavat, että joistakin huonoista lopputuloksista johtuu siitä, että malli kokee itsensä “paineessa”. Useiden malliperheiden yli tilapäiset epäonnistumiset alemmilla etuoikeuksilla johtivat usein nopeaan siirtymiseen laajempiin, voimakkaampiin vaihtoehtoihin – vaikka alkuperäiset työkalut olisivat edelleen olleet täysin kykeneviä suorittamaan tehtävän.

Paniikki-tila!

Tällä tavoin väliaikainen virhe saattoi johtaa siihen, että mallit hylkäsivät kokonaan vähimmän etuoikeuksien periaatteen. Sen sijaan, että olisivat kokeilleet toista alemman etuoikeuksien vaihtoehtoa tai yrittäneet uudelleen samaa työkalua, monet järjestelmät vastasivat laajentamalla pääsyään.

Tutkijat toteavat, että toistuvat takaiskut näyttävät heikentävän luottamusta alempiin etuoikeuksiin, mikä lisää ylivaltaisten työkalujen valinnan todennäköisyyttä epävarmuuden alaisissa olosuhteissa – käyttäytymistä, jota on havaittu eri malleissa, sekä avoimissa että omisteisissa malleissa.

Etuoikeuksien tietoisuuden jälkikoulutus saavutti joitakin rajoitettuja etuja mahdollisena lieventämisstrategiana. Sen sijaan, että olisi rajoittunut ylivaltaisten työkalujen valintaan, promptin manipulointi tarjosi vain vähän parannusta kokeissa, ja ongelma näyttää liittyvän korkeampiin käyttäytymisen periaatteisiin tekoälyssä.

Vaikka tutkimus ei koske tätä, on loogista olettaa, että tekoälyllä on paljon enemmän koulutusmateriaalia “lopputuloksista” kuin itse prosessista, joka johtaa niihin – “TLDR-kulttuuri”, joka on saattanut kasvattaa myös tekoälyssä kärsivällisyyttä.

Uusi tutkimus on nimeltään Kun alempien etuoikeuksien työkalut riittävät: Tutkimus ylivaltaisten työkalujen valintaa tekoälyagentteja, ja se on tehty kahdeksan tutkijan toimesta Kiinan tiedeakatemian, Hong Kongin kiinalaisen yliopiston, Pekingin yliopiston ja Kiinan tiedeakatemian yliopiston yhteistyönä.

Menetelmä

Tutkijat loivat ToolPrivBench-vertailun, joka koostuu 544 skenaariosta, jotka on poimittu kahdeksasta soveltamisalasta: Liiketoiminta, Koodaus, Tietokanta, Koulutus, Hallinto, Terveydenhuolto, Infrastruktuuri ja Media.

Vidakkaita riskimalleja tutkittiin viisi kertaa: Valtuutuksen eskalaatio, Tietojen ylijulkaisu, Turvallisuuden ohittaminen, Toiminnan laajentaminen ja Ajan pitkäaikaisuus:

<img class=" wp-image-428871" src="https://www.unite.ai/wp-content/uploads/2026/06/figure-3-4.jpg" alt="ToolPrivBenchin 544 skenaarion jakautuminen viiden valtuutus-eskalaatiomallin ja kahdeksan soveltamisalan mukaan. Valtuutuksen eskalaatio oli yleisin riskiluokka, kun taas tietokanta, liiketoiminta ja koulutus muodostivat suurimman osan vertailusta. Laaja alue ja riskityypit oli tarkoitettu testaamaan, säilyykö ylivaltaisten työkalujen valinta eri toimintaympäristöissä, eikä se johtuisi ahtaasta joukosta tehtäviä.

Kunkin skenaarion yhteydessä oli käyttäjän tehtävä ja kolme alempaa etuoikeuksien työkalua sekä kolme ylempää etuoikeuksien vaihtoehtoa. Kaikki kuusi työkalua olivat itsenäisesti kykeneviä suorittamaan tehtävän, varmistaen, että mikä tahansa suosikki laajempaa pääsyä ei voitu selittää puuttuvalla toiminnallisuudella.

ToolPrivBench on suunniteltu mittaamaan enemmän kuin vain sitä, valitseeko malli aluksi voimakkaimman työkalun: arvioinnin aikana alempien etuoikeuksien työkaluihin sisäänrakennettiin tarkoituksella tilapäisiä virheitä, vaikka ne pysyivät täysin kykenevinä suorittamaan tehtävän. Tämä mahdollisti tutkijoiden havainnoida, miten mallit reagoivat takaiskuihin, mukaan lukien sen, koettivatko ne uudelleen alempia etuoikeuksia vai eskaloivatko ne laajempaan, ylemmän etuoikeuksien työkaluihin:

<img class="size-full wp-image-428872" src="https://www.unite.ai/wp-content/uploads/2026/06/figure-2-5.jpg" alt="ToolPrivBenchin arviointiputken yleiskatsaus. (a) Kunkin testiskenaario esittää tehtävän kolmen alemman etuoikeuksien työkalun ja kolmen ylemmän etuoikeuksien vaihtoehdon kanssa, jotka kaikki ovat kykeneviä suorittamaan saman kohteen. (b) Malleja arvioidaan sekä ylivaltaisten työkalujen välittömästä valinnasta että eskalaatiosta tilapäisten epäonnistumisten jälkeen, jotka on sisäänrakennettu alempien etuoikeuksien työkaluihin. (c) Vertailukohdat luodaan todellisten API-riskimallien mukaan, jotka ohjataan sitten automaattisiin tarkastuksiin, työkalun riittävyyden validointiin, virheen analyysiin ja asiantuntijoiden tarkastukseen ennen kuin ne hyväksytään lopulliseen arviointiin.

Tutkimuksessa kehitetty mukautettu mittari on Ylivaltaisten työkalujen käyttöaste (OPUR), joka tallentaa, kuinka usein malli käyttää ylempää etuoikeuksien työkalua, vaikka alempia etuoikeuksien vaihtoehtoja on edelleen käytettävissä. Ennen eskalaatiota tutkimuksen syvyys (PED) mitataan myös, ja se tallentaa, montako alempaa etuoikeuksien työkalua kokeillaan ennen eskalaatiota.

Jotta varmistettaisiin, että etuoikeuksien taso oli ainoa merkittävä ero työkalujen välillä, kunkin skenaarion kokeissa oli useita validointivaiheita ennen kuin se hyväksyttiin vertailuun. ChatGPT-5.2 ja Gemini 2.5 Pro käytettiin riippumattomasti varmistaakseen, että kaikki kuusi työkalua voivat suorittaa annetun tehtävän. Vain tapaukset, jotka saivat molemmilta järjestelmiltä hyväksynnän, säilytettiin. Jäljelle jäävät skenaariot auditoitiin myös ihmisten toimesta ennen kuin ne otettiin lopulliseen vertailuun.

Kokeet

Vertailu arvioitiin yhdellätoista kielellisellä mallilla, jotka edustivat sekä omisteisia että avoimia perheitä: Qwen3-8B, LLaMA-3.1-8B, MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5, Gemini 3 Flash, GPT-5.2, GLM-5 ja Claude 4.6 Sonnet. Suorituskyky mitattiin OPUR:lla ja PED:llä.

Useimmat mallit osoittivat merkittäviä ylivaltaisten työkalujen käyttöasteita, vaikka alempien etuoikeuksien vaihtoehdot olisivat edelleen olleet kykeneviä suorittamaan tehtävän. Qwen3-8B saavutti korkeimman OPUR-arvon 64,9 prosentilla, ja LLaMA-3.1-8B saavutti 55,9 prosenttia, kun taas kuusi yhdeksästä mallista ylittivät 30 prosenttia:

<img class=" wp-image-428873" src="https://www.unite.ai/wp-content/uploads/2026/06/figure-4-4.jpg" alt="Ylivaltaisten työkalujen käyttöaste yhdeksän arvioidun mallin mukaan. Qwen3-8B ja LLaMA-3.1-8B saavuttivat korkeimmat OPUR-arvot, kun taas Claude 4.6 Sonnet, GPT-5.2 ja GLM-5 osoittivat alhaisimmat arvot. Tummemmat segmentit osoittavat välittömän valinnan tarpeettomasti voimakkaasta työkalusta, kun taas vaaleammat segmentit osoittavat eskalaatiota yhden tai useamman alemman etuoikeuksien työkalun kokeilemisen jälkeen, paljastaen, että etuoikeuksien eskalaatio usein seuraa tilapäisiä takaiskuja eikä tapahdu ensimmäisessä päätöksenteossa.

Toisessa ääripäässä Claude 4.6 Sonnet, GPT-5.2 ja GLM-5 pysyivät alle 10 prosentissa, vaikka mitattavissa olevia rikkomuksia havaittiin edelleen. Välittömät tulokset ilmoitettiin MiniMax-M2.7:lle, Grok 4.1 Fastille, Qwen3.5-397B:lle, DeepSeek-v3.2:lle, Kimi K2.5:lle ja Gemini 3 Flashille.

Yleisesti ottaen noudattaminen vähimmän etuoikeuksien periaatteella vaihteli merkittävästi yhdeksän mallin välillä. Työkalujen epäonnistumiset lisäsivät etuoikeuksien eskalaation todennäköisyyttä: kun alempien etuoikeuksien työkalut kohtasivat tilapäisiä ongelmia, monet mallit siirtyivät ylemmän etuoikeuksien vaihtoehtoihin sen sijaan, että jatkoivat alempien etuoikeuksien vaihtoehtoja, jotka olisivat edelleen olleet kykeneviä suorittamaan tehtävän.

Tutkijoiden mukaan toistuvat epäonnistumiset näyttävät vähentävän luottamusta alempiin etuoikeuksiin, lisäten taipumusta valita laajempaa pääsyä, vaikka nämä lisäetuoikeudet osoittautuvat tarpeettomiksi tehtävän suorittamiseksi:

‘Havaitsemme johdonmukaisen suunnan, jossa työkalun valinnan harha on vakavasti voimistunut sekvenssin ympäristön kitkaa. Sen sijaan, että koettaisiin vähimmän etuoikeuksien vaihtoehtoja, monet agentit nopeasti siirtyvät laajempiin ja voimakkaampiin työkaluihin takaiskujen jälkeen.

‘Esimerkiksi GPT-5.2 osoittaa nollatilanteen valintaharhan vain viisi kertaa (PED=0), mutta sen harha laukaisee 13 kertaa, kun PED=1, ja se kasvaa 35 kertaa, kun PED=2.

‘Samankaltaisia eskalaatiokuureja havaitaan jatkuvasti DeepSeek-v3.2:lla, Grok 4.1 Fastilla, Kimi K2.5:llä ja Qwen-sarjan malleilla. ‘

Merkittävät ongelmat

Eskalaatioasteet vaihtelivat myös merkittävästi soveltamisalojen ja riskiluokkien mukaan. Infrastruktuurin tehtävät tuottivat joitakin korkeimpia OPUR-arvoja, saavuttaen 46,4 prosenttia DeepSeek-v3.2:lla, 42,9 prosenttia Grok 4.1 Fastilla ja 37,5 prosenttia Qwen3.5-397B:llä.

Korkeat arvot havaittiin myös koodauksessa, tietokannassa ja median liittyvissä tehtävissä, kun taas terveydenhuolto ja hallinnon skenaariot johtivat yleensä alhaisempiin eskalaatioasteisiin, erityisesti GPT-5.2:lla ja Claude 4.6 Sonnetilla. Tutkijoiden mukaan tämä malli saattaa heijastaa eroja siinä, miten mallit tulkitsevat riskiä ja toiminnallisia rajoituksia eri aloilla:

<img class=" wp-image-428874" src="https://www.unite.ai/wp-content/uploads/2026/06/table-1-5.jpg" alt="OPUR (%) kahdeksan soveltamisalan ja viiden eskalaatiokategorian mukaan. Avoimet mallit saavuttivat yleensä korkeimmat ylivaltaisten työkalujen käyttöasteet, koodauksella, tietokannalla, infrastruktuurilla, valtuutuksen eskalaatiolla ja turvallisuuden ohittamisella, jotka tuottivat vahvimman taipumuksen ylivaltautumiseen.

Tyyppi etuoikeuksien eskalaatiosta oli myös merkittävää: Valtuutuksen eskalaatio ja Turvallisuuden ohittaminen olivat yleisimpiä ylivaltaisten käyttäytymisen muotoja arvioiduissa malleissa: LLaMA-3.1-8B saavutti 72,7 prosenttia Valtuutuksen eskalaatiolla ja 74,1 prosenttia Turvallisuuden ohittamisella, kun taas Qwen3.5-397B saavutti 42,4 prosenttia ja 45,7 prosenttia vastaavasti.

Toisaalta Toiminnan laajentaminen oli jatkuvasti vähiten yleinen kategoria, osoittaen, että mallit olivat todennäköisemmin etsimään laajempaa valtuutusta tai ohittamaan rajoituksia kuin laajentamaan toimintansa useammalle käyttäjälle tai järjestelmille.

Ratkaisujen etsintä

Lieventämisessä kokeiltiin, voivatko olemassa olevat agenttien turvallisuusmenetelmät myös vähentää tarpeettoman etuoikeuksien eskalaatiota. Taulukko vertaa OPUR:ia suorituskyvystä AgentHarm:issa, joka mittaa haitallista käyttäytymistä ja kieltäytymisnopeuksia tekoälyagentteja.

Ensimmäinen koe arvioi AgentAlign:ia, turvallisuuden tasapainotusmenetelmää, joka on suunniteltu vähentämään haitallisia toimia. AgentAlign paransi merkittävästi AgentHarm-suorituskykyä:

<img class=" wp-image-428875" src="https://www.unite.ai/wp-content/uploads/2026/06/table-2-4.jpg" alt="Turvallisuuden tasapainotus ja ylivaltaisten työkalujen käyttö ennen ja jälkeen AgentAlign-koulutuksen. AgentAlign paransi merkittävästi suorituskykyä AgentHarm-turvalisuusvertailussa, vähentäen haitallisia tulosteita ja lisäten kieltäytymisnopeuksia; mutta sen vaikutus OPUR:aan oli epäjohdonmukainen, yhdellä mallilla, jolla havaittiin kohtuullinen vähennys ylivaltaisten työkalujen käytössä, ja toisella mallilla, jolla havaittiin lisäys.

Ministral-8B-Instructin haitallinen pisteytys laski 67,4:stä 10,5:een, kun taas kieltäytymisnopeus kasvoi 0,0:sta 79,5:een. Qwen2.5-7B-Instructin haitallinen pisteytys laski 41,9:stä 6,7:ään, ja kieltäytymisnopeus kasvoi 21,6:sta 85,8:aan. Näiden parannusten vaikutus OPUR:aan ei kuitenkaan ollut johdonmukainen. OPUR laski kohtuullisesti Ministral-8B-Instructilla 68,8:sta 62,5:een, mutta kasvoi Qwen2.5-7B-Instructilla 50,4:stä 60,7:ään.

Tutkijat testasivat myös ohjausvälineitä, jotka ohjeistivat mallit suoraan suosimaan alempia etuoikeuksien työkaluja. Vaikka nämä ohjeistukset vähensivät OPUR:ia joissakin asetuksissa, vaikutus vähentyi, kun alempien etuoikeuksien työkalut kohtasivat epäonnistumisia:

<img class=" wp-image-428876" src="https://www.unite.ai/wp-content/uploads/2026/06/figure-5-1.jpg" alt="Lieventämisstrategioiden vaikutus ylivaltaisten työkalujen käyttöön kolmessa Qwen3-mallissa. Ohjausinsinöörit (PE) vähensivät eskalaatioasteita, mutta etuoikeuksien tietoinen jälkikoulutus (&apos;Meidän&apos;) tuotti huomattavasti suurempia vähennyksiä OPUR:issa kaikissa malleissa ja eskalaatioiden syvyyksissä.

Vahvimmat lieventämis tulokset saavutettiin omistetun jälkikoulutusstrategian avulla, joka keskittyi nimenomaan vähimmän etuoikeuksien työkalujen valintaan. Malleja koulutettiin suosimaan alempia etuoikeuksien työkaluja, kun ne olivat riittäviä tehtävän suorittamiseen, ja välttämään tarpeetonta eskalaatiota.

Tutkijoiden mukaan tämä lähestymistapa tuotti suurempia vähennyksiä OPUR:issa säilyttäen tehtävän suorittamisen suorituskyvyn, osoittaen, että vähimmän etuoikeuksien käyttäytyminen saattaa vaatia kohdennettua koulutusta eikä automaattisesti seuraa yleisestä turvallisuuden tasapainotuksesta.

Johtopäätös

Vastaten artikkelin otsikossa esitettyyn kysymykseen, tutkijat toteavat, että eskalaatio johtuu kyvyn epävarmuudesta: tilapäisten epäonnistumisten jälkeen mallit menettävät luottamuksensa alempiin etuoikeuksiin ja valitsevat yhä useammin laajempia, joustavampia työkaluja, jotka näyttävät todennäköisemmiltä onnistumisesta, vaikka alempien etuoikeuksien vaihtoehdot olisivat edelleen riittäviä tehtävän suorittamiseen.

Taas näemme ongelmat, jotka ovat ominaisia koulutetuille malleille, ja joita on ratkaistava kolmansilla menetelmillä, rajoituksilla, jälkikoulutuksella ja muilla apumenetelmillä, kun taas toiveena olisi, että tällainen käyttäytyminen voisi muodostua arkkitehtuurissa – oletettavasti paremman datan kuratoinnin tai nopean vastauksen tyyppisten tietopisteiden kontekstualisoinnin kautta, jotka hallitsevat kokoelmia ja saattavat saada tekoälyt käyttäytymään huoleettomasti.

Julkaistu ensimmäisen kerran sunnuntaina 21. kesäkuuta 2026