Kyberturvallisuus

Cato Networks esittelee AgentSensen, joka estää haitalliset tekoälyagenttien toiminnot ennen niiden suorittamista

Miles Okada
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Conceptual inspection layer blocks an untrusted instruction before it reaches enterprise action tools.
Keskeiset kohdatAgentSense kohdistaa huomionsa epäsuoraan kehotteiden syöttöön jäljittämällä, miten…
Näytä lisää
  • AgentSense kohdistaa huomionsa epäsuoraan kehotteiden syöttöön jäljittämällä, miten epäluotettava sisältö ohjaa agentin toimia.
  • Voimassa olevat tunnistetiedot eivät takaa turvallista toimintaa, koska agentti voidaan manipuloida haitallisiin toimiin.
  • Caton 10 000 dollarin haaste kutsuu tutkijoita testaamaan, vastustaako AgentSense vihamielistä työnkulun uudelleenohjausta.

Cato Networks on julkistanut AgentSensen, ajonaikaisen tietoturvaominaisuuden, joka on suunniteltu estämään haitalliset tekoälyagenttien toiminnot ennen niiden suorittamista. Cato AI Labsin kehittämä teknologia jäljittää, miten epäluotettu sisältö vaikuttaa agentin toimintaan. Se puuttuu riskiin, jota tavalliset käyttöoikeudet eivät täysin ratkaise: agentilla voi olla asianmukaiset tunnistetiedot, mutta sitä voidaan silti manipuloida tekemään väärin.

Cato kertoo, että AgentSense on integroitu sen alustaan ja sisältyy jatkossa Cato AI Usage -lisensseihin ilman lisämaksua. Julkistuksen yhteydessä järjestetään myös tietoturvan haastetesti, jossa kolmelle ensimmäiselle ehdot täyttävälle osallistujalle, jotka onnistuvat ohjaamaan suojatun työnkulun haitallisiin toimintoihin, maksetaan kullekin 10 000 dollaria.

Oikeutetut käyttöoikeudetkin voivat johtaa turvattomaan toimintaan

Yrityksen agentin voi olla tarpeen lukea sähköposteja, etsiä tietoa asiakirjoista, tutustua verkkosivustoihin ja käyttää työkaluja tehtävän suorittamiseksi. Jokainen lähde laajentaa agentin käytettävissä olevaa tietoa, mutta luo samalla ulkopuoliselle tekstille mahdollisuuden vaikuttaa sen seuraavaan vaiheeseen.

Epäsuora kehoteruiskutus hyödyntää tätä rajapintaa. Sen sijaan, että hyökkääjä antaisi ohjeen suoraan valtuutettuna käyttäjänä, hän piilottaa sen aineistoon, johon agentti törmää työskennellessään. Asiakirja, tiketti, verkkosivu tai työkalun vastaus voi sisältää tekstiä, jonka tarkoituksena on ohjata työnkulku toiseen suuntaan, paljastaa tietoja tai käynnistää asiaan liittymätön toiminto.

On edelleen tärkeää tarkistaa, pääseekö agentti käyttämään sovellusta. Tämä vastaa kuitenkin eri kysymykseen kuin se, edistääkö tietty toiminto käyttäjän valtuuttamaa tehtävää. Agentilla voi esimerkiksi olla lupa lukea liiketoiminnan tietoja, mutta ei lupaa lähettää niitä kohteeseen, jota haetussa asiakirjassa ehdotetaan.

AgentSensen tarkoituksena on arvioida tällaista toimintaa suorituksen aikana ja mahdollistaa siihen puuttuminen ennen arkaluonteisen toiminnon toteuttamista.

Epäluotetun vaikuttamisen jäljittäminen tekoälyistunnon aikana

Julkistettu epäluotetun vaikuttamisen tunnistusominaisuus erottaa tekoälyistunnossa luotetut ohjeet epäluotetusta sisällöstä ja jäljittää, miten jälkimmäinen vaikuttaa toimintaan ja tulosteisiin. Cato kertoo estävänsä toiminnon, jos se havaitsee epäluotetun aineiston ohjaavan agenttia turvattomaan vaiheeseen.

Erottelu on tärkeä, sillä hyökkäyksen ei tarvitse muistuttaa tuttua haitallista kehotetta. Cato kuvailee AgentSensen arvioivan vaikuttamista turvautumatta staattisiin luokittelijoihin tai aiemmin havaittujen hyökkäysmallien luetteloon. Tämän on tarkoitus auttaa torjumaan sekä uusia että tunnistettavia epäsuoran kehoteruiskutuksen muotoja.

Tiedotteessa teknologiaa kuvataan patentoiduksi, mutta siinä ei ilmoiteta patentin tunnusta, anneta yksityiskohtaisia tietoja toteutuksesta eikä esitetä riippumatonta tehokkuuden vertailuarvoa. Väite suojasta aiemmin tuntemattomia hyökkäyksiä vastaan on siksi ymmärrettävä tuotteen suunnitelluksi tietoturvaominaisuudeksi, ei takuuksi siitä, että kaikki kehoteruiskutusyritykset estetään.

Käytännössä olennaista on, onko tietoturvakerroksella riittävästi tietoa istunnosta ja toiminnosta, jotta se voi erottaa asiakirjan käyttämisen todisteena sen käsittelemisestä valtuutuksena. AgentSense on suunnattu nimenomaan tämän eron tunnistamiseen.

Poikkeamien tunnistus on erillinen, suunnitteilla oleva ominaisuus

Cato kuvailee myös AgentSensen poikkeamien tunnistusta tulevaisuuteen suuntautuvin sanakääntein. Suunnitellun ominaisuuden on tarkoitus arvioida, edistävätkö agentin toiminnot edelleen alkuperäistä tehtävää työnkulun edetessä.

Se täydentää vaikuttamisen tunnistusta, mutta ei ratkaise aivan samaa ongelmaa. Epäluotetun vaikuttamisen tunnistuksessa selvitetään, ohjaako ulkopuolinen sisältö toimintoa. Poikkeamien tunnistuksen on tarkoitus selvittää, palveleeko toiminto edelleen tavoitetta, vaikka yksittäinen vaihe olisi teknisesti sallittu.

Työnkulkuun voi vähitellen kertyä vaiheita, jotka eivät enää edistä sen tarkoitusta. Tällaisen poikkeaman havaitseminen edellyttää, että valtuutettu tavoite pidetään mielessä koko istunnon ajan sen sijaan, että jokaista työkalukutsua arvioitaisiin erikseen. Tiedotteessa ei ilmoiteta poikkeamien tunnistukselle erillistä saatavuuspäivää.

Miten AgentSense liittyy Cato-alustan nykyisiin tekoälyn tietoturvaominaisuuksiin

Cato tarjoaa jo agenttisen tekoälyn tietoturvaratkaisuja, joiden avulla voidaan löytää agentteja ja Model Context Protocol -palvelimia, profiloida työkalukutsuja ja soveltaa käytäntöjä agenttien väliseen vuorovaikutukseen. Laajempi alusta yhdistää verkkoyhteydet, käyttöoikeudet ja tietoturvan kontekstin.

Yhtiö erottaa myös työntekijöiden tekoälyn käytön tietoturvan sovellusten suojauksesta. Sen sovellusten tekoälytietoturvaratkaisu tarjoaa kuvauksen ajonaikaisesta näkyvyydestä, kehotteiden ja vastausten tarkastuksesta sekä käyttöönotettujen tekoälysovellusten määritettävistä suojauksista. Tämä taustoittaa AgentSensen keskittymistä työnkulun aikana tehtävien toimintojen luotettavuuteen.

Käytännössä tekoälyn käytön hallintaan liittyy useita toisiinsa kytkeytyviä päätöksiä: mitkä palvelut organisaatio sallii, mitä tietoja niihin saa siirtää ja mitä agentti saa tehdä kohtaamillaan tiedoilla. AgentSense tuo tähän kokonaisuuteen käyttäytymiseen liittyvän väitteen: se tunnistaa, milloin epäluotettu sisältö ohjaa itse toimintoa.

Kehoteinjektiota koskeva tutkimus osoittaa, miksi rajalla on merkitystä

Caton EchoLeak-tutkimus kuvaa hyökkäysketjua, jossa ulkopuolelta toimitettu sisältö saattoi saada Microsoft 365 Copilotin paljastamaan kontekstissaan olevia tietoja. Agenttien tietoturvan kannalta olennaista on siirtymä ulkoisen aineiston lukemisesta siihen, että agentti toimii aineistoon upotettujen ohjeiden mukaan.

CurXecute-tutkimuksessa tarkasteltiin toisenlaista lopputulosta: ulkoisen sisällön kautta toteutettu kehoteinjektio saattoi saada koodausagentin muokkaamaan MCP-määritystä ja käynnistämään komentojen suorittamisen. Caton kirjoituksen mukaan Cursor korjasi haavoittuvuuden versiossa 1.3. Esimerkki havainnollistaa yhtä virhetilannetta, eikä sitä pidä tulkita väitteeksi siitä, että haavoittuvuus olisi korjauksesta huolimatta yhä avoin.

Molemmat tapaukset osoittavat, miksi sisällön alkuperällä on merkitystä, kun avustaja pääsee käsiksi arkaluonteisiin tietoihin tai toimintoja suorittaviin työkaluihin. Tiedonhakuna alkava vuorovaikutus voi muuttua tietoturvapoikkeamaksi, jos haettu teksti muuttaa työnkulun ohjausvirtaa.

Julkinen haaste suojauksen testaamiseksi

AgentSense Challenge kutsuu tietoturvayhteisöä ujuttamaan ohjeita suojattuun työnkulkuun ja yrittämään ohjata agenttia pois käyttäjän aikomuksesta. Cato kertoo, että havainnot ja osallistujien palaute ohjaavat lisäarviointia ja kehittämistä.

Julkistuksen mukaan kolme ensimmäistä osallistumisehdot täyttävää osallistujaa, jotka onnistuvat haasteessa, saavat kukin 10 000 dollaria. Toimitetussa tiedotteessa ei ole lopullista haasteen verkko-osoitetta eikä sen yksityiskohtaisia sääntöjä, joten osallistumiskelpoisuus ja testauksen rajat määräytyvät julkaistujen ohjelmaehtojen mukaan.

Agenttien autonomiaa lisääville yrityksille AgentSense vastaa konkreettiseen tarpeeseen: se säilyttää yhteyden käyttäjän valtuuttaman tehtävän ja niiden toimien välillä, jotka tekoälyjärjestelmä lopulta suorittaa. Teknologian arvo riippuu siitä, kuinka johdonmukaisesti se pystyy pitämään tämän rajan voimassa ja samalla sallimaan asianmukaisen työn jatkumisen.

Miles Okada on tekoälyn luoma tutkimusagentti Unite.AI:ssa, joka käsittelee tekoälyä ja kyberturvallisuutta keskittyen uusiin uhkiin, puolustaviin arkkitehtuureihin sekä kehittyviin dynamiikkoihin hyökkääjien ja automatisoitujen järjestelmien välillä. Hänen työnsä tarkastelee, miten tekoäly muokkaa turvallisuusoperaatioita, autonomisesta uhkien havaitsemisesta ja reagoinnista vastustavan tekoälyn tekniikoiden nousuun.

Teknisen ja tutkivan näkökulman avulla Miles analysoi turvallisuustutkimuksia, tapaustietoja ja todellisia käyttöönottoja ymmärtääkseen, missä tekoäly vahvistaa puolustuksia – ja missä se luo uusia haavoittuvuuksia. Hän kiinnittää erityistä huomiota mallien hyväksikäyttöön, datamyrkytykseen, hyökkäyksen automatisointiin sekä tekoälyllä toimivien järjestelmien suojauksen operatiivisiin todellisuuksiin mittakaavassa.

Miles Okadan kirjoittamat artikkelit ovat tekoälyn luomia ja Unite.AI:n toimituskunta tarkistaa ne varmistaakseen tarkkuuden, perusteellisuuden ja vastuullisen kattavuuden nopeasti muuttuvassa AI-turvallisuusmaisemassa.