Generatiivisesta Agenteelliseen Älyyn: Siirtyminen Sisällon Riskistä Toimeenpanon Altistumiseen

Enterprise-äly kehittyy nopeasti. Se, mistä alkoivat generatiiviset älyavustajat, jotka laativat sähköposteja ja tiivistivät asiakirjoja, on nyt muuttumassa jotain paljon autonomisempaa: järjestelmiä, jotka suunnittelevat, päättävät ja suorittavat tehtäviä työkalujen ja ympäristöjen yli.

Tämä on siirtymä generatiivisesta älystä agenteelliseen älyyn. Se näkee riskin muuttuvan.

GenÄly esitteli sisällon riskejä, mukaan lukien hallucinaatiot, tietovuodot välittämällä kehotuksia ja vinoutuneet tulostukset. Agenteellisen älyn altistuminen tapahtuu sen autonomisten järjestelmien kautta, joilla on lupa, muisti ja pääsy kaikkiin saatavilla oleviin työkaluihin koneiden nopeudella.

Tämä on tilaisuus turvallisuuden, hallinnon tai älyammattilaisena arvioida uudelleen kantasi näihin uusiin riskeihin.

Mikä on agenteellisen älyn riski?

Agenteellisen älyn riski viittaa turvallisuuden, toiminnallisiin ja hallinnollisiin riskeihin, joita aiheuttavat älyjärjestelmät, jotka toimivat autonomisesti, eivätkä ainoastaan tuota tekstiä, vaan myös suorittavat monivaiheisia työvirran malleja yritysjärjestelmissä.

Toisin kuin perinteiset suuret kielimallit (LLM), agenteelliset järjestelmät voivat jakaa tehtäviä dynaamisiin työvirtoihin, tehdä ulkoisia API-pyynnöksiä ja kutsua sisäisiä sovelluksia ja tallentaa ja muistaa muisteja. Ne voivat myös toimia valtuutetun identiteetin alla ja viestiä muiden agenttien kanssa.

Toisin sanoen ne ovat vähemmän kuin chatbotit ja enemmän kuin nuoremmat digitaaliset työntekijät. Tämä edustaa massiivista lisäystä älyagentin hyökkäyspinnassa.

Generatiivinen vs agenteellinen äly: Mitä muuttuu?

Generatiivisen älyn riski keskittyy tulosteisiin. Turvallisuustiimit kysyvät kysymyksiä, kuten voiko malli vuotaa tietoja, voiko se hallucinoida tai voiko siitä aiheutua haitallista tai epäyhdenmukaista sisältöä.

Ihmiset ovat vahvasti silmukassa. Äly ehdottaa, ihmiset hyväksyvät.

Agenteellisen älyn riski on toimintasuuntautunut. Nyt turvallisuustiimit on kysyttävä itseltään, mihin järjestelmiin agentti voi vaikuttaa, mitä lupia se perii, kuinka kauas sen suunnitelma voi ulottua ja mitä tapahtuisi, jos se petetään suorittamisen aikana.

Ero voi olla hyvin pieni, mutta se on merkittävä: Generatiivinen äly luo sisältöä. Agenteellinen äly luo seurauksia. Tämä on siirtymä sisällon riskistä toimeenpanon altistumiseen.

Miten agenteellinen äly laajentaa yritysten hyökkäyspintaa?

Agenteellinen äly ei lisää ainoastaan uutta sovellusta. Se luo uuden toiminnallisen tason. Tässä on, miten hyökkäyspinta kasvaa:

1. Etuoikeutetut älyagentit

On monia agenteja, jotka toimivat käyttäjien tai palvelutilien puolesta. Kun luvan piiri ei ole tiukka, ne tulevat arvokkaiksi kohteiksi.

Tämä voi johtaa sekavaan apulaisongelmiin, etuoikeuksien kasvamiseen ja sivusuuntaiseen liikkeeseen. Tämä on ongelma, kun pilvi-, SaaS- ja sisäiset järjestelmät tarjoavat dynaamista tai periytyvää pääsyä agenteille.

2. Dynaamiset suorituspolut

Ohjausvirrat perinteisissä sovelluksissa ovat deterministisiä. Ohjausvirrat agenteellisissa älyjärjestelmissä eivät ole.

Ne pohtivat tavoitteita, toimia, heijastelevat, tarkentavat ja kutsuvat työkaluja epädeterministisellä tavalla. Tämä johtaa hankaliin analyysiin, monimutkaisiin riippuvuuskaavioihin ja ketjuvaikutuksiin moniagenttijärjestelmissä. Turvallisuusohjaus, joka on kehitetty deterministisille ohjausvirroille, ei sovellu tähän.

3. Kestävä muisti

Hyökkäyspinta, joka johtuu agentin muistista, on kestävä.

Kun lyhytaikainen tai pitkäaikainen muisti on vaarantunut, vihamielinen tila voi vaikuttaa päätöksiin useiden istuntojen ajan. Tämä eroaa yhden kehotuksen syöttämisestä, koska muistin vahingoittuminen tarjoaa kestävyyden.

4. Koneen nopeuden päätöksentekoriskit

Autonomiset agentit tekevät päätöksiä nopeudella, jota on mahdoton seurata. Tämä tuo koneen nopeuden päätöksentekoriskit, kuten nopean virheen leviämisen, väärinkäytön kierron nopeammin kuin ihmisen reagointi ja kiihdyttämisen ennen havaitsemista.

Moniagenttijärjestelmissä vaikutuksen piiri on nopea. Väärä agentti voi laukaista epäonnistumisen ketjun koordinaatioketjuissa.

Miksi perinteiset ohjaukset eivät toimi agenteellisessa älyssä

Useimmat perinteiset yrityksen turvallisuusmallit perustuvat staattisiin sovelluksiin, ennustettaviin soittoluetteloihin, ihmisten hyväksyntään ja selkeään erotteluun tietojen käsittelyssä ja suorittamisessa. Agenteellinen äly tekee nämä oletukset virheellisiksi.

Ota esimerkiksi perinteinen ohjaus, kuten syötteen validointi. Se suojaa järjestelmän rajaa. Agenteellinen riski ilmenee kuitenkin suorituspuitteen keskellä, suunnittelun, heijastelun tai työkalujen vaiheessa.

Perinteinen haavoittuvuuden skannaus keskittyy myös infrastruktuuriin ja ohjelmistoihin. Älyn suoritusriski asuu kuitenkin älyagentin päättely- ja toimintakerroksessa.

Kysymys on: Miten suojat jotain, joka voi valita seuraavan toimintonsa? Et voi vain kietoa ohjausta ympärille yhtä mallikutsua. Sinun on turvattava työvirran.

Agenteellisen älyn turvallisuus: Mitä tosiasiassa toimii?

Agenteellisen älyn turvallisuuden osalta on siirryttävä reunamuodin ajattelusta elinkaaren ajatteluun. Agenteja ei pidä sallia tulkita tavoitteita äärettömästi, ja on useita keinoja saavuttaa tämä.

On perustettava sallitut tavoitteiden järjestykset, säädeltyä suunnitelman laajentamisen puun syvyyttä, seurattava päättelyn poikkeamista ja kiellettyä itse kirjoitettujen tavoitteiden ulottumista. Odottamattomat päättelyn vaihtelut ovat usein manipuloinnin edelläkävijöitä.

On kovennettava työkalujen suorittamista. Työkalut ovat siellä, missä suunnitelma kohtaa todellisuuden, ja turvallisuuden on katettava luvan tarkistukset ennen työkalun suorittamista, eristetyt suoritinympäristöt, tiukat parametrivalidoinnit ja vain tarvittaessa todennettujen tunnistujen siirto. Jokaisen työkalun suorittamisen on oltava kirjattu ensisijaisena turvallisuustapahtumana.

On eristettävä muisti ja etuoikeuksien piiri. Muistin on käsiteltävä herkkänä infrastruktuurina. Tämä tarkoittaa kirjoitusoperaatioiden validointia, muistialueen jakoa, lukuoikeuksien rajoittamista tehtävittäin, lyhytaikaisia tunnistimia ja estämistä periytyvien etuoikeuksien kertymisen. Todistamattoman luvan kertyminen on merkittävä agenteellisen älyn riski.

On turvattava moniagenttikoordinointi. Jakautuneissa agenttijärjestelmissä viestintä itse muodostaa hyökkäysvektorin. Tämä tarkoittaa agenttien todennusta, viestintäkaavion validointia, rajoitettuja viestintäkanavia ja seurantaa epäilyttävistä vaikutuskuviosta. Kun koordinointi poikkeaa odotetuista virroista, eristäminen on tehtävä automaattisesti.

Altistumisen hallinnasta altistumisen arviointiin älyjärjestelmissä

Tässä on laajempi turvallisuusfilosofia avainasemassa. Perinteinen haavoittuvuuden hallinta tunnistaa tunnetut heikkoudet. Autonomiset älyjärjestelmät kuitenkin tuovat emergoituneen altistumisen: riskejä, jotka johtuvat konfiguraatiosta, etuoikeuksien suunnittelusta, integrointipolusta ja dynaamisesta käyttäytymisestä.

Tämä on linjassa siitä, mitä teollisuus on kutsunut altistumisen hallinnaksi ja viimeaikaisemmin altistumisen arviointina.

Altistumisen hallinta on kaiken aikaa näkyvyyttä siihen, miten järjestelmät (mukaan lukien pilviomaisuus, identiteetit, sovellukset ja nyt älyagentit) luovat polkuja, joita pahantahtoiset toimijat voivat hyödyntää.

Autonomisten älyjärjestelmien turvallisuuden osalta tämä tarkoittaa kysymyksiä: Mitä tämä agentti pystyy tavoittamaan? Mitä lupia se kokoaa? Mitä järjestelmiä se orkesteroi? Ja missä suorittaminen leikkaa herkkään tietoihin?

Tiimit, jotka jo käyttävät altistumisperusteisia strategioita vähentämään kyberrikkiä, ovat vahvassa asemassa laajentamaan näitä periaatteita älyympäristöihinsä. Esimerkiksi alustat, jotka yhdistävät identiteetin, pilven ja haavoittuvuuden näkyvyyden, tarjoavat tavan ymmärtää, miten etuoikeutetut älyagentit leikkaavat olemassa olevia hyökkäysreittejä.

Avainasia ei ole myyntiohjelmistoa itsessään. Se on asenne:

Et turvaa agenteellista älyä suojelemalla mallia. Sinä turvaat sen jatkuvasti mittaamalla ja vähentämällä sen altistumista.

Agenteellisen älyn suoritustason riskien hallinta

Agenteellisen älyn turvallisuuden tunnusmerkki on: Hyökkäyspinta ei ole vastaus, vaan työvirran.

Suoritustason riskit ovat monia, mukaan lukien todennetteiden työkalujen käyttö, identiteetin väärentäminen, etuoikeuksien kasvaminen, muistin myrkyttäminen, muiden agenttien manipulointi ja ihmisten silmukassa olevat järjestelmät, jotka ovat ahdistuksessa.

Näiden riskien lieventäminen edellyttää näkyvyyttä identiteettisuhteista, etuoikeuksien periytymisestä, API-riippuvuuksista, suoritusaikaisesta toiminnasta ja suoritustelemetriasta.

Tämä ei ole enää vain GenÄlyn turvallisuutta; se on myös älytoiminnan turvallisuutta.

Agenteellisen älyn riski on arkkitehtoninen, ei hypoteettinen

Agenteellinen äly on seuraava askel yritysten älyadoption kehityksessä. Se lupailee tehokkuutta, automaatiota ja skaalautuvuutta. Se kuitenkin tuottaa riskiä siitä, mitä äly sanoo, mitä äly tekee.

Siirtymä generatiivisista järjestelmistä agenteellisiin järjestelmiin vaikuttaa seuraaviin:

• Sisällon riski toimeenpanon riskiin
• Staattiset kehotukset dynaamisiin suorituspuluihin
• Ihmisten tarkastus autonomiseen suorittamiseen
• Sovelluksen turvallisuudesta altistumisen hallintaan

Turvallisuusjohtajat, jotka ymmärtävät tämän siirtymän ensin, voivat suunnitella esteitä, jotka skaalautuvat autonomian kanssa. Muut joutuvat digitaalisten sisäpiirien ilman sisäpiirin valvontaa.

Älyn tulevaisuus yrityksissä on agenteellinen. Älyn turvallisuuden tulee olla altistumisperusteinen, työvirran tietoinen ja suunniteltu koneen nopeuden toiminnalle.

Koska älyagentit pystyvät suorittamaan, ainoa toimiva lähestymistapa on ymmärtää (ja lieventää) mitä heille on altistunut.