Tekoälyagentit tulevat olemaan suurempi osa siitä, miten organisaatiot toimivat, ja tämä muutos on jo käynnissä

Hetkellä, jolloin tekoälyagentit alkoivat varata tapaamisia, suorittaa koodia ja selata internetiä puolestasi, kyberTurvallisuuskeskustelu muuttui. Ei hitaasti, vaan yhdessä yössä.

Mikä oli aiemmin rajoitettu, ennustettavissa oleva ohjelmisto, muuttui joksikin, joka päättää, suunnittelee ja tekee toimia työkaluilla ja rajapinnoilla, joita se tuskin tiesi olemassa olleen vuosi sitten.

Tämä on aidosti jännittävää, ja se on myös aidosti pelottavaa, koska hyökkäyspinta-ala, joka liittyy tähän autonomiaan, on valtava, ja useimmat organisaatiot ovat vasta alkamassa ymmärtämään, mitä tarkoittaa päästää agentit infrastruktuuriin.

Chatbotit operaattoreiksi

Alkuperäinen tekoälylupaus oli yksinkertainen: kysy kysymys, saa vastaus. Tämä on edelleen totta useimmissa kuluttajakokemuksissa, mutta se ei ole enää sitä, mitä tapahtuu yrityssovelluksissa. Nykyiset agentit saavat käyttöoikeuksia, API-avaimia ja kykyä poistaa, luoda ja merkitä dataa, sekä tehdä todellisia toimia järjestelmissä, joilla on todellisia seurauksia.

Muutos tapahtui nopeasti. Alle kahdessa vuodessa tekoälyagentit kehittyivät tekstigeneraattoreista salliakseen sujuvat, moniagenttiset asetukset. Ne lukevat sähköposteja, laukaisevat työnkulkuja, kysyvät tietokantoja ja joissain tapauksissa hallinnoivat muita agenteja alle itsensä. Tällainen pääsy vaati aiemmin pitkän hankintaprosessin ja ihmisen silmän. Nyt se on konfiguraatiotiedosto ja muutamia API-kutsuja

Lisää pääsyä tarkoittaa enemmän altistumista

Perinteiset ohjelmistohyökkäykset ovat jonkin verran ennustettavissa. On tunnettu kohdistus, tunnettu haavoittuvuus, tunnettu korjaus. Tekoälyagentit rikkovat tämän mallin, koska ne ovat dynaamisia suunnittelun mukaan. Ne eivät seuraa staattista koodipolku. Ne päättävät, mitä seuraavaksi tehdään, mikä tekee heidän käyttäytymisensä vaikeammin ennustettavaksi ja paljon vaikeammin tarkastettavaksi myöhemmin.

Tämä ennustettavuus on hyödyllistä työn tekemiseksi. Se on myös etu kelle tahansa, joka yrittää hyödyntää järjestelmää. Kun agenteilla on mahdollisuus päättää kesken tehtävän, kutsua ulkoista API:ta tai tuoda kolmannen osapuolen työkalua, ei ole puhdasta puolustettavaa rajaa.

Turvallisuustiimit ovat tottuneet suojelemaan tunnettuja pintoja ja seuraamaan Kubernetes-kustannuksia. Agentit löytävät uusia pintoja ja hyökkäyksiä, ja kukaan ei kartoita niitä reaaliajassa. Ennen kuin tiedät mitään, joku voi kaapata tunnistetiedot ja saada valvontaa koko tekoäly”organismi” yhdellä liikkeellä.

Prompt-injektiot ovat uusi SQL-injektiot

Jos on yksi hyökkäysvektori, johon turvallisuustutkijat jatkuvasti palaavat, se on prompt-injektiot. Idea on yksinkertainen: sen sijaan, että hyödynnetään koodin haavoittuvuutta, hyökkääjä manipuloi ohjeita, joita agenteille annetaan syötteen kautta. Väärä ohje, joka on upotettu verkkosivulle, asiakirjaan tai jopa sähköpostiin, voi ohjata, mitä agenteille tapahtuu seuraavaksi.

Mikä tekee tästä erityisen terävää, on se, että agentit usein tekevät juuri sitä, mitä niille sanotaan. Ne käsittelevät sisältöä internetistä, käyttäjien viesteistä, kolmannen osapuolen työkaluista. Mikä tahansa tämä sisältö on mahdollinen injektiopinta. Agenteilla, jotka lukevat vaarallisen asiakirjan ja sitten tekevät API-kutsuja sen sisällön perusteella, on kaapattu, ja se ei todennäköisesti kirjaa mitään, joka tekee aiheuttamisen ketjun selväksi.

Puolustuskeinot ovat olemassa, mutta ne ovat epätäydellisiä. Agenttitoimintojen eristäminen, työkalujen rajoittaminen tiettyjen asioiden yhteydessä ja ihmisten tarkastuspisteiden rakentaminen korkean panoksen työnkulkuun vähentävät riskiä. Ne eivät poista sitä. Ja useimmat organisaatiot eivät ole toteuttaneet edes perustasoja.

Luottamusongelma moniagenttijärjestelmissä

Moniagenttijärjestelmät tuovat mukanaan kerroksen monimutkaisuutta, jota on helppo aliarvioida. Kun yksi agenteista ohjaa useita muita, on kyse luottamuksellisesta hierarkiasta. Ohjain välittää ohjeita alaspäin, ja aliamagentit noudattavat niitä. Jos ohjain menee väärään käsiin, jokainen agenteista sen alapuolella on tehokkaasti menee väärään käsiin, ja räjähdysalue kasvaa nopeasti.

On myös yli-vaatimisen ongelma. Agentit usein saavat enemmän pääsyä kuin heidän tarvitsee, koska on helpompaa antaa laaja pääsy etukäteen kuin tarkentaa niitä asteittain. Tutkimusagenteille ei tarvitse kirjoitusoikeutta tuotantotietokantaan.

Aikatauluagenteille ei tarvitse pääsyä taloudellisiin tietoihin. Kyllä, se tuntuu turvalliseksi, kun kaikki on kytketty yhteen, mutta se on liian riskaantista nähdä mitään vähenevää tuottoa. Mutta rajat tulevat epäselviksi käytännössä, ja vähimmäisperiaatteet, jotka toimivat teoriassa, hylätään hiljalleen kiireessä toimittaa.

Miltä kohtuullinen turvallisuus näyttää tässä

Ei ole yhtä ratkaisua, joka tekee agenttien käyttöönoton turvalliseksi. Se on kerroksellinen ongelma, ja se tarvitsee kerroksellisen vastauksen. Organisaatiot, jotka tekevät tämän hyvin, usein aloittavat pääsyvalvonnalla: antavat jokaiselle agenteille määritellyn, kapean laajuuden ja rakentavat tarkastusvälin kaikkiin toimiin, jotka koskevat herkkäjärjestelmiä tai ulkoisia palveluja.

Havainnointi on yhtä tärkeää kuin ehkäisy. Jos agenteilla tekee odottamattoman asian, tiimien on oltava täydellinen jälki siitä, mitä ohjeita se sai, mitä työkaluja se kutsui, ja mitä se palautti. Useimmat lokitukset eivät ole rakennettu tällaisen tarkkuuden kanssa. Jälkikäteen korjaaminen on kivuliasta. Rakentaminen alusta alkaen on arvokasta.

Vastustuskykyinen testaus on myös alihyödynnetty. Punainen tiimi agentteja, yrittäen injektoida väärää ohjeita ja seuraamalla, mitä tapahtuu, paljastaa haavoittuvuuksia, joita staattinen koodin tarkastus ei koskaan löydä. Se on epämukava ajatella, mutta ihmiset, jotka lopulta yrittävät hyödyntää näitä järjestelmiä, tekevät jo sitä. Päästä ennen heitä on ainoa järkevä liike.

Loppusanat

Tekoälyagentit tulevat olemaan suurempi osa siitä, miten organisaatiot toimivat, ja tämä muutos on jo käynnissä. Turvallisuuskeskustelu tarvitsee kiireesti kiinni. Risit ovat todellisia, hyökkäysvektorit ovat uusia, ja aikansa saada eteenpäin on kapea.

Ymmärtäminen tekoälyjärjestelmien uhkakuvaa ei ole enää valinnainen. Se on yksi tärkeimmistä asioista, joita turvallisuus- ja insinööritiimit voivat tehdä juuri nyt, ja kellon aika saada se oikein on jo alkanut.