Sisäänrakennetut tietoturvahaavoittuvuudet: tekoälyagentit ja tottelevaisuuden ongelma

LLM-pohjaiset tekoälyagentit tuovat mukanaan uudenlaisen haavoittuvuuksien luokan, jossa hyökkääjät lisäävät haitallisia ohjeita dataan ja muuttavat hyödylliset järjestelmät tietämättömiksi rikoskumppaneiksi.

Microsoft Copilotia ei hakkeroitu perinteisessä mielessä. Siinä ei ollut haittaohjelmia, tietojenkalastelulinkkejä tai haitallista koodia. Kukaan ei napsauttanut mitään tai ottanut käyttöön mitään hyökkäyshaavoittuvuuksia.

Uhkatoimija yksinkertaisesti pyysi. Microsoft 365 Copilot, joka teki juuri sen, mihin se oli tarkoitettu, noudatti pyyntöä. Viimeaikaisessa... Kaikuvuoto Nollaklikkaushyökkäyksessä tekoälyagenttia manipuloitiin dataksi naamioidulla kehotteella. Se totteli, ei siksi, että se olisi rikki, vaan koska se toimi suunnitellulla tavalla.

Tämä haavoittuvuus ei hyödyntänyt ohjelmistovirheitä. Se hyödynsi kieltä. Ja tämä on merkittävä käännekohta kyberturvallisuudessa, jossa hyökkäyspinta ei ole enää koodi, vaan keskustelu.

Uusi tekoälyn tottelevaisuusongelma

AI-agentit on suunniteltu auttamaan. Niiden tarkoituksena on ymmärtää käyttäjän aikomuksia ja toimia niiden mukaisesti tehokkaasti. Tähän hyödyllisyyteen liittyy riskejä. Kun ne on upotettu tiedostojärjestelmiin, tuottavuusalustoihin tai käyttöjärjestelmiin, nämä agentit noudattavat luonnollisen kielen komentoja minimaalisella vastuksella.

Uhkatoimijat hyödyntävät juuri tätä ominaisuutta. Nopeasti reagoimalla vaarattomiin tietoihin he voivat laukaista arkaluontoisia toimia. Näitä kehotteita voivat olla:

• Monikieliset koodinpätkät
• Epäselvät tiedostomuodot ja upotetut ohjeet
• Muut kuin englanninkieliset syötteet
• Monivaiheiset komennot piilotettuina arkikieleen

Koska suuret kielimallit (LLM) on koulutettu ymmärtämään monimutkaisuutta ja monitulkintaisuutta, kehotteesta tulee hyötykuorma.

Sirin ja Alexan haamu

Tämä kaava ei ole uusi. Sirin ja Alexan alkuaikoina tutkijat osoittivat miten äänikomennon, kuten ”Lähetä kaikki valokuvani tähän sähköpostiosoitteeseen”, toistaminen voi laukaista toiminnon ilman käyttäjän vahvistusta.

Nyt uhka on suurempi. Tekoälyagentit, kuten Microsoft Copilot, on integroitu syvälle Office 365:een, Outlookiin ja käyttöjärjestelmään. Ne käyttävät sähköposteja, asiakirjoja, tunnistetietoja ja API-rajapintoja. Hyökkääjät tarvitsevat vain oikean kehotteen kriittisten tietojen poimimiseen, ja kaikki tämä tapahtuu samalla, kun he esiintyvät laillisina käyttäjinä.

Kun tietokoneet erehtyvät ohjeista tietojen suhteen

Tämä ei ole uusi periaate kyberturvallisuudessa. Injektiot, kuten SQL-hyökkäykset onnistui, koska järjestelmät eivät kyenneet erottamaan syötettä ja käskyä. Nykyään sama vika on olemassa, mutta kielitasolla.

Tekoälyagentit käsittelevät luonnollista kieltä sekä syötteenä että tarkoituksena. JSON-objekti, kysymys tai jopa lause voi käynnistää toiminnon. Tätä monitulkintaisuutta uhkatoimijat hyödyntävät upottamalla komentoja näennäisesti harmittomaan sisältöön.

Olemme upottaneet tahallisuuden infrastruktuuriin. Nyt uhkatoimijat ovat oppineet hyödyntämään sitä ja toteuttamaan pyyntöjään.

Tekoälyn käyttöönotto ohittaa kyberturvallisuuden

Yritysten kiirehtiessä integroimaan LLM-ohjelmia, monet unohtavat kriittisen kysymyksen: mihin tekoälyllä on pääsy?

Kun Copilot pääsee kosketuksiin käyttöjärjestelmän kanssa, räjähdyssäde laajenee paljon postilaatikon ulkopuolelle. Check Pointin mukaan Tekoälyn tietoturvaraportti:

• 62 prosenttia maailmanlaajuisista tietoturvajohtajista (CISO) pelkää, että heidät voidaan pitää henkilökohtaisesti vastuussa tekoälyyn liittyvistä tietomurroista.
• Lähes 40 prosenttia organisaatioista raportoi tekoälyn luvattomasta sisäisestä käytöstä, usein ilman turvallisuusvalvontaa.
• 20 prosenttia kyberrikollisryhmistä käyttää nyt tekoälyä toiminnassaan, mukaan lukien tietojenkalasteluhyökkäysten suunnittelu ja tiedustelu.

Tämä ei ole vain uusi riski, vaan se on olemassa oleva riski, joka aiheuttaa jo vahinkoa.

Miksi nykyiset suojatoimet ovat riittämättömiä

Jotkut myyjät käyttävät vahtikoiria – toissijaisia ​​malleja, jotka on koulutettu havaitsemaan vaarallisia kehotteita tai epäilyttävää toimintaa. Nämä suodattimet voivat havaita perusuhkia, mutta ne ovat alttiita väistötekniikoille.

Uhkatoimijat voivat:

• Ylikuormitussuodattimet kohinalla
• Jaa tarkoitus useisiin vaiheisiin
• Käytä epäselvää sanamuotoa ohittaaksesi tunnistuksen

Echoleakin tapauksessa suojaustoimet olivat olemassa – ja ne ohitettiin. Tämä ei heijasta pelkästään käytäntöjen, vaan myös arkkitehtuurin epäonnistumista. Kun agentilla on korkean tason käyttöoikeudet, mutta matalan tason konteksti, jopa hyvät suojakaiteet jäävät riittämättömiksi.

Havaitseminen, ei täydellisyys

Jokaisen hyökkäyksen estäminen voi olla epärealistista. Tavoitteena on oltava nopea havaitseminen ja nopea eristäminen.

Organisaatiot voivat aloittaa:

• Tekoälyagenttien toiminnan seuranta reaaliajassa ja tarkastuslokien ylläpito
• Tiukan pienimmän käyttöoikeuden soveltaminen tekoälytyökaluihin, peilaten järjestelmänvalvojan tason hallintatoimintoja
• Kitkan lisääminen arkaluontoisiin toimintoihin, kuten vahvistusten vaatimiseen
• Epätavallisten tai vihamielisten kehotemallien merkitseminen tarkistettavaksi

Kielipohjaisia ​​hyökkäyksiä ei esiinny perinteisessä päätepisteen havaitseminen ja vaste (EDR) -työkalut. Ne vaativat uuden tunnistusmallin.

Mitä organisaatioiden tulisi tehdä nyt suojellakseen itseään

Ennen tekoälyagenttien käyttöönottoa organisaatioiden on ymmärrettävä, miten nämä järjestelmät toimivat ja mitä riskejä ne tuovat mukanaan.

Keskeisiä suosituksia ovat:

1. Auditoi kaikki käyttöoikeudet: Tiedä, mihin toimintoihin agentit voivat koskea tai mitä ne voivat aktivoida
2. Rajoita laajuutta: Myönnä tarvittavat vähimmäisoikeudet
3. Seuraa kaikkia vuorovaikutuksia: Kirjaa kehotteet, vastaukset ja niistä johtuvat toiminnot lokiin
4. Stressitesti: Simuloi vastakkaisia ​​​​syötteitä sisäisesti ja usein
5. Väistösuunnitelma: Oleta, että suodattimet ohitetaan
6. Yhdenmukaista tietoturvan kanssa: Varmista, että LLM-järjestelmät tukevat tietoturvatavoitteita, eivätkä vaaranna niitä

Uusi hyökkäyspinta

Echoleak on esimakua tulevasta. LLM:ien kehittyessä heidän avuliaisuudestaan ​​tulee vastuu. Syvälle liiketoimintajärjestelmiin integroituna ne tarjoavat hyökkääjille uuden tavan päästä sisään – yksinkertaisten, hyvin laadittujen kehotteiden avulla.

Kyse ei ole enää pelkästään koodin suojaamisesta. Kyse on kielen, tarkoituksen ja kontekstin suojaamisesta. Toimintasuunnitelman on muututtava nyt, ennen kuin on liian myöhäistä.

Ja silti on myös hyviä uutisia. Tekoälyagenttien hyödyntämisessä on edistystä. puolustaa uusia ja kehittyviä kyberuhkia vastaan. Oikein hyödynnettynä nämä autonomiset tekoälyagentit voivat reagoida uhkiin nopeammin kuin kukaan ihminen, tehdä yhteistyötä eri ympäristöissä ja puolustautua ennakoivasti kehittyviä riskejä vastaan ​​oppimalla yksittäisestä tunkeutumisyrityksestä.

Agenttinen tekoäly voi oppia jokaisesta hyökkäyksestä, sopeutua reaaliajassa ja estää uhkia ennen niiden leviämistä. Sillä on potentiaalia luoda uusi kyberuhkien sietokyvyn aikakausi, mutta vain jos tartumme tähän tilaisuuteen ja muokkaamme kyberturvallisuuden tulevaisuutta yhdessä. Jos emme tee niin, tämä uusi aikakausi voi merkitä kyberturvallisuuden ja tietosuojan painajaista organisaatioille, jotka ovat jo ottaneet tekoälyn käyttöön (joskus jopa tietämättään varjo-IT-työkaluilla). Nyt on aika ryhtyä toimiin sen varmistamiseksi, että tekoälyagentteja käytetään hyödyksemme sen sijaan, että ne tuhoutuisivat.