Generatiivisesta agenssi-AI:hin: Siirtyminen sisältöriskeistä toimintariskeihin

Yritysten AI on kehittymässä nopeasti. Se, mitä aluksi oli generatiivinen AI, joka toimi apuna sähköpostien laatimisessa ja asiakirjojen tiivistämisessä, on nyt muuttumassa jotain paljon autonomisempaa: järjestelmiä, jotka suunnittelevat, päättävät ja suorittavat tehtäviä työkalujen ja ympäristöjen yli.

Tämä on siirtymä generatiivisesta agenssi-AI:hin. Se on näkemys, jossa riski muuttuu.

GenAI esitteli sisältöriskejä, kuten hallucinaatioita, tietovuotoja kyselyjen kautta ja vinoutuneita tuloksia. Agenssi-AI:n altistuminen tapahtuu autonomisten järjestelmien kautta, joilla on valtuudet, muisti ja pääsy kaikkiin saatavilla oleviin työkaluihin koneen nopeudella.

Tämä on mahdollisuus turvallisuuden, hallinnon tai AI-ammattilaisena arvioida uudelleen asemaasi näissä uusissa riskeissä.

Mikä on agenssi-AI-riski?

Agenssi-AI-riski viittaa turvallisuuden, toiminnan ja hallinnon riskeihin, jotka liittyvät AI-järjestelmiin, jotka toimivat autonomisesti, eivät ainoastaan tuota tekstiä, vaan myös suorittavat monivaiheisia työvirran tehtäviä yritysjärjestelmissä.

Toisin kuin perinteiset suuret kielen mallit (LLM), agenssi-järjestelmät voivat jakaa tehtäviä dynaamisiin työvirtoihin, tehdä ulkoisia API-pyynnöksiä ja kutsua sisäisiä sovelluksia, ja tallentaa ja palauttaa muistia. Ne voivat myös toimia valtuutetun identiteetin alla ja viestiä muiden agenteiden kanssa.

Toisin sanoen ne ovat vähemmän kuin chatbotit ja enemmän kuin junior-digitaaliset työntekijät. Tämä edustaa massiivista lisäystä AI-agentin hyökkäyspinnassa.

Generatiivinen vs agenssi-AI: Mitä muuttuu?

Generatiivisen AI-riskejä keskittyy tuloksiin. Turvallisuustiimit kysyvät kysymyksiä, kuten voivatko mallit vuotaa tietoa, voivatko ne hallucinoida tai voivatko niistä aiheutua haitallista tai epäsovittaista sisältöä.

Ihmiset ovat vahvasti prosessin keskellä. AI ehdottaa, ihmiset hyväksyvät.

Agenssi-AI-riski on toimintalähtöinen. Nyt turvallisuustiimit on kysyttävä itseltään, mitkä järjestelmät agenti voi olla vuorovaikutuksessa, mitkä valtuudet se perii, miten pitkälle sen suunnitelma voi ulottua ja mitä tapahtuu, jos se petetään suorittamisen aikana.

Ero voi olla hyvin pieni, mutta se on merkittävä: Generatiivinen AI luo sisältöä. Agenssi-AI luo seurauksia. Tämä on siirtymä sisältöriskeistä toimintariskeihin.

Miten agenssi-AI laajentaa yritysten hyökkäyspintoja?

Agenssi-AI ei lisää vain uutta sovellusta. Se luo uuden toiminnallisen tason. Tässä on, miten hyökkäyspinta kasvaa:

1. Valtuutetut AI-agenteja

On paljon agenteja, jotka toimivat käyttäjien tai palvelutilien puolesta. Kun valtuutusten laajuus ei ole tiukka, ne tulevat arvokkaiksi kohteiksi.

Tämä voi johtaa sekavaan apulaisongelmiin, valtuutuksen eskaloitumiseen ja sivusuuntaiseen liikkeeseen. Tämä on ongelma, kun pilvi-, SaaS- ja sisäiset järjestelmät tarjoavat dynaamista tai periytyvää pääsyä agenteille.

2. Dynaamiset suorituspolut

Ohjausvirrat perinteisissä sovelluksissa ovat deterministisiä. Ohjausvirrat agenssi-AI-järjestelmissä eivät ole.

Ne pohtivat tavoitteita, toimia, heijastelevat, jalostavat ja kutsuvat työkaluja epädeterministisellä tavalla. Tämä johtaa vaikeasti analysoitaviin epäonnistumistapauksiin, monimutkaisiin riippuvuuskaavioihin ja kaskadiin epäonnistumisiin moniagenttijärjestelmissä. Turvallisuusohjaus, joka on kehitetty deterministisille ohjausvirroille, ei sovellu tähän.

3. Pysyvä muisti

Hyökkäyspinta, joka johtuu agentin muistista, on pysyvä.

Kun lyhyt- tai pitkäaikainen muisti on komprometoitu, vihamielinen tila voi vaikuttaa päätöksiin useiden istuntojen ajan. Tämä eroaa yhden kyselyn injektiosta, koska muistin korruptio tarjoaa pysyvyyden.

4. Konenopeuksisen päätöksenteon riskit

Autonomiset agenteja tekevät päätöksiä nopeudella, jota on mahdoton seurata. Tämä tuo konenopeuksisen päätöksenteon haasteita, kuten nopean virheen leviämisen, väärinkäytön syklien nopeuden, joka on nopeampi kuin ihmisen reagointi, ja eskaloitumisen ennen havaitsemista.

Moniagenttijärjestelmissä vaikutuksen laajuus on nopea. Väärä agenti voi laukaista epäonnistumisen kaskadin koordinaatioketjuissa.

Miksi perinteiset ohjaukset eivät toimi agenssi-AI:ssa

Useimmat perinteiset yritysten turvallisuusmallit perustuvat staattisiin sovelluksiin, ennustettaviin kutsupuihin, ihmisten hyväksyntään ja selkeään erotteluun tietojen käsittelyssä ja suorittamisessa. Agenssi-AI tekee nämä oletukset virheellisiksi.

Otetaan esimerkiksi perinteinen ohjaus, kuten syötteen validointi. Tämä turvaa järjestelmän rajat. Agenssi-riski ilmenee kuitenkin suorituksen keskellä, suunnittelun, heijastelun tai työkalujen vaiheessa.

Perinteinen haavoittuvuuden skannaus keskittyy myös infrastruktuuriin ja ohjelmistoihin. Agenssi-AI-riskejä asuu kuitenkin agentin päätöksenteon ja toiminnan tasolla.

Kysymys on: Miten suojella jotain, joka voi valita seuraavan toimintonsa? Et voi vain kietoa ohjausta ympäröivään yksittäiseen malliin. On turvallista suorittaa työvirran.

Agenssi-AI:n turvallisuus: Mitä toimii?

Agenssi-AI:n turvallisuuden osalta on siirryttävä reunamuodosta elinkaaren ajatteluun. Agenteja ei pidä sallia tulkita tavoitteita äärettömästi, ja on useita keinoja saavuttaa tämä.

Määritellään sallitut tavoitteiden järjestykset, säännöstellään suunnitelman laajentamisen syvyyttä, valvotaan päätöksenteon poikkeamia ja kielletään itse kirjoitetut tavoitteet, jotka ovat laajemmat kuin sallittu. Odottamattomat päätöksenteon muutokset ovat usein manipuloinnin edelläkävijöitä.

Kiinnitä työkalujen suorittamista. Työkalut ovat siellä, missä suunnitelma kohtaa todellisuuden, ja turvallisuuden on katettava valtuutusten tarkistus ennen työkalujen suorittamista, eristetyt suorittamisympäristöt, tiukka parametrin validointi ja ajoittainen valtuutuksen siirto. Jokaisen työkalun suorittamisen on oltava kirjattu ensisijaisena turvallisuustapahtumana.

Erillinen muisti ja valtuutuksen laajuus. Muisti on käsiteltävä herkkänä infrastruktuurina. Tämä tarkoittaa kirjoitusoperaatioiden validointia, muistin osittamista, lukuoikeuksien rajoittamista tehtävittäin, lyhytaikaisia valtuutuksia ja periytyvien valtuutusten estämistä. Valtuutusten kertyminen on merkittävä agenssi-AI-riski.

Turvallista moniagenttikoordinointia. Jaetussa agenttijärjestelmissä viestintä itse muodostaa hyökkäysvektorin. Tämä tarkoittaa agenttien todennusta, viestintäkaavion validointia, rajoitettuja viestintäkanavia ja poikkeavien vaikutusmallien valvontaa. Kun koordinointi poikkeaa odotetuista virroista, eristäminen on tapahduttava automaattisesti.

Altistumisen hallinnasta altistumisen arviointiin AI-järjestelmissä

Tässä on laajempi turvallisuusfilosofia. Perinteinen haavoittuvuuden hallinta tunnistaa tunnetut heikkoudet. Autonomiset AI-järjestelmät kuitenkin tuovat emergentin altistumisen: riskejä, jotka johtuvat konfiguraatiosta, valtuutuksen suunnittelusta, integrointireiteistä ja dynaamisesta käyttäytymisestä.

Tämä on linjassa siitä, mitä teollisuus on kutsunut altistumisen hallinnaksi ja myöhemmin altistumisen arviointiin.

Altistumisen hallinta on kaiken aikaa näkemys siitä, miten järjestelmät (mukaan lukien pilviomaisuus, identiteetit, sovellukset ja nyt AI-agenteja) luovat polkuja, joita huonot toimijat voivat hyödyntää.

Autonomisten AI-järjestelmien turvallisuuden osalta tämä tarkoittaa kysymyksiä: Mitä tämä agenti pystyy tavoittamaan? Mitkä valtuudet se kokoaa? Mitkä järjestelmät se orkestroi? Ja missä suorittaminen leikkaa herkkään tietoihin?

Joukkueet, jotka jo käyttävät altistumisperusteisia strategioita vähentämään kyber-riskiä, ovat vahvassa asemassa laajentamaan näitä periaatteita AI-ympäristöihinsä. Esimerkiksi alustat, jotka yhdistävät identiteetin, pilven ja haavoittuvuuden näkyvyyden, tarjoavat tavan ymmärtää, miten valtuutetut AI-agenteja leikkaavat olemassa oleviin hyökkäysreitteihin.

Avain on ei niinkään valmistajan työkalu. Se on mielentila:

Et turvaa agenssi-AI:ta suojelemalla mallia. Turvaa sen sijaan jatkuvasti mittaamalla ja vähentämällä sen altistumista.

Agenssi-AI:n suorittamisen tason riskejä hallitsemassa

Agenssi-AI:n turvallisuuden tunnusmerkki on: Hyökkäyspinta ei ole vastaus, vaan työvirta.

Suorittamisen tason riskit ovat monia, kuten vahvistamattoman työkalun käyttö, identiteetin väärentäminen, valtuutuksen lisääntyminen, muistin myrkyttäminen, agenttien välinen manipulointi ja ihmisten ohjausjärjestelmät, jotka ovat ahdistuksessa.

Näiden riskien lieventäminen tarkoittaa, että on oltava näkemys identiteettisuhteista, valtuutuksen periytymisestä, riippuvuuksista, suorittamisen aikaisesta toiminnasta ja suorittamisen telemetriasta.

Tämä ei ole enää vain GenAI:n turvallisuutta; se on myös AI:n operatiivinen turvallisuus.

Agenssi-AI-riski on arkkitehtoninen, ei hypoteettinen

Agenssi-AI on seuraava askel yritysten AI:n omaksumisessa. Se lupailee tehokkuutta, automaatiota ja skaalautuvuutta. Se kuitenkin tuottaa riskiä siitä, mitä AI sanoo, mitä AI tekee.

Siirtymä generatiivisista agenssi-järjestelmiin vaikuttaa seuraaviin:

• Sisältöriskeistä toimintariskeihin
• Staattisista kyselyistä dynaamisiin suorittamisvirtoihin
• Ihmisen tarkastelusta autonomiseen suorittamiseen
• Sovelluksen turvallisuudesta altistumisen hallintaan

Turvallisuusjohtajat, jotka ymmärtävät tämän siirtymän ensin, voivat suunnitella esteitä, jotka skaalautuvat autonomian kanssa. Muut joutuvat digitaalisten sisäpiirien ilman sisäpiirin valvontaa.

AI:n tulevaisuus yrityksissä on agenssi-AI. AI:n turvallisuuden tulee olla altistumisperusteinen, työvirran tietoinen ja suunniteltu koneen nopeuden toiminnalle.

Koska kun AI-agenteilla on mahdollisuus suorittaa, ainoa toimiva lähestymistapa on jatkuvasti ymmärtää (ja lieventää) mitä heille on altistunut.