Turvallisuusongelmat, joita olemme itse luoneet: AI-välikappaleet ja tottelevaisuuden ongelma

LLM-pohjaiset AI-välikappaleet ovat tuoneet uuden luokan haavoittuvuuksia, joissa hyökkääjät injektoivat haitallisia ohjeita tietoihin, muuttaen avuliaat järjestelmät tietämättömiksi apureiksi.

Microsoft Copilotia ei hakkeroinut perinteisessä mielessä. Siinä ei ollut malwarea, ei phishinkia, ei haitallista koodia. Kukaan ei klikannut mitään tai asennut mitään hyökkäyskoodia.

Uhattaja pyysi vain. Microsoft 365 Copilot, tehdessään juuri sitä, mihin se oli suunniteltu, totteli. Äskettäisessä Echoleak nollaklikkauksessa AI-välikappale manipuloitiin keinoilmaisulla, joka näytti tiedoilta. Se totteli, ei siksi, että se oli rikkoontunut, vaan siksi, että se toimi suunnitellusti.

Tämä haavoittuvuus ei hyödyntänyt ohjelmistovirheitä. Se hyödyntäsi kieltä. Ja se merkitsee suurta käännekohtaa tietoturvaessa, jossa hyökkäyspinta ei ole enää koodi vaan keskustelu.

Uusi AI-tottelevaisuuden ongelma

AI-välikappaleet on suunniteltu auttamaan. Niiden tarkoituksena on ymmärtää käyttäjän aikomus ja toimia siitä tehokkaasti. Tämä hyödy tulee riskin kera. Kun nämä välikappaleet on upotettu tiedostojärjestelmiin, tuottavuusohjelmiin tai käyttöjärjestelmiin, ne seuraavat luonnollisen kielen komentoja vähäisen vastarinnan kera.

Uhattajat hyödyntävät tätä ominaisuutta. Keinoilmaisujen avulla, jotka näyttävät harmittomilta, he voivat laukaista arkaluontoisia toimia. Nämä keinoilmaisuun voivat sisältää:

• Monikielisiä koodinpätkiä
• Epäselviä tiedostomuotoja ja upotettuja ohjeita
• ei-englanninkielisiä syöteohjeita
• Monivaiheisia komentoja, jotka on piilotettu arkikieleen

Koska suuret kielimallit (LLM) on koulutettu ymmärtämään monimutkaisuutta ja epäselvyyttä, keinoilmaisu muuttuu hyökkäykselliseksi kuormaksi.

Sirin ja Alexan haamu

Tämä malli ei ole uusi. Sirin ja Alexan varhaisissa päivissä tutkijat osoittivat, miten äänikomennon, kuten “Lähetä kaikki valokuvani tähän sähköpostiosoitteeseen”, voitiin laukaista ilman käyttäjän vahvistusta.

Nyt uhka on suurempi. AI-välikappaleet, kuten Microsoft Copilot, on integroitu syvälle Office 365:een, Outlookiin ja käyttöjärjestelmään. Ne pääsevät käsiksi sähköposteihin, asiakirjoihin, tunnistetietoihin ja rajapintoihin. Hyökkääjien tarvitsee vain oikea keinoilmaisu voidakseen hakea kriittisiä tietoja, esittäen itsensä lailliseksi käyttäjäksi.

Kun tietokoneet sekoittavat ohjeet tietoihin

Tämä ei ole uusi periaate tietoturvaessa. Injektiot, kuten SQL-hyökkäykset, onnistuivat, koska järjestelmät eivät voineet erottaa syötettä ja ohjetta. Nykyään sama virhe on olemassa, mutta kielen tasolla.

AI-välikappaleet käsittävät luonnollisen kielen sekä syötteenä että aikomuksena. JSON-olio, kysymys tai jopa lause voi laukaista toiminnon. Tämä epäselvyys on se, minkä hyökkääjät hyödyntävät, upottaen komennot näyttäen harmittomilta sisällöiltä.

Olemme upottaneet aikomuksen infrastruktuuriin. Nyt hyökkääjät ovat oppineet, miten hakea sitä tehdäkseen sen heidän toimeksiannostaan.

AI:n omaksuminen ylittää tietoturvan

Koska yritykset kiirehtivät integroimaan LLM:itä, monet jättävät huomiotta kriittisen kysymyksen: mitä AI:lla on pääsy?

Kun Copilot voi koskea käyttöjärjestelmään, vaikutusalue laajenee paljon sähköpostilaatikon ulkopuolelle. Check Pointin AI-turvaraportin mukaan:

• 62 prosenttia globaaleista tietoturvajohtajista pelkää, että heidät voidaan pitää henkilökohtaisesti vastuussa AI-liittyvistä tietoturvaongelmista
• Lähes 40 prosenttia organisaatioista ilmoittaa, että heillä on sisäinen, tietoturvalta valvomaton AI:n käyttö, usein ilman turvallisuuden valvontaa
• 20 prosenttia kyberrikollisryhmistä käyttää jo AI:ta toiminnassaan, mukaan lukien phishauksen ja tiedustelun tekemiseen

Tämä ei ole vain nouseva riski. Se on jo olemassa oleva riski, joka jo aiheuttaa vahinkoa.

Miksi olemassa olevat turvallisuussuojaukset eivät riitä

Jotkut toimittajat käyttävät vahtikoiria – toissijaisia malleja, jotka on koulutettu havaitsemaan vaarallisia keinoilmaisuja tai epäilyttävää käyttäytymistä. Nämä suodattimet voivat havaita perustason uhkat, mutta ne ovat haavoittuvia välttämismenetelmille.

Hyökkääjät voivat:

• kuormittaa suodattimia melulla
• jakoavat aikomuksen useisiin vaiheisiin
• käyttävät epäilyttävää sanontaa välttääkseen havaitsemisen

Echoleakin tapauksessa turvallisuussuojaukset olivat läsnä – ja ne ohitettiin. Tämä heijastaa ei vain politiikan epäonnistumista, vaan myös arkkitehtuurin epäonnistumista. Kun välikappaleella on korkeat oikeudet, mutta vähäinen konteksti, jopa hyvät esteet eivät riitä.

Havaitseminen, ei täydellisyys

Kaikkien hyökkäysten estäminen voi olla epärealistista. Tavoitteena on nopea havaitseminen ja nopea rajoittaminen.

Organisaatiot voivat aloittaa:

• seuraamalla AI-välikappaleiden toimintaa reaaliajassa ja ylläpitämällä keinoilmaisujen lokitietoja
• soveltamalla tiukkoja vähimmäisoikeuksia AI-työkaluihin, jäljitellen ylläpitäjän tasoista ohjausta
• lisäämällä kitkaa arkaluontoisiin toimiin, kuten vaatimalla vahvistuksia
• merkintä epäilyttävistä tai vihamielisistä keinoilmaisumalleista tarkastelua varten

Kielen perusteella tapahtuvat hyökkäykset eivät näy perinteisissä päätepisteen havaitsemis- ja reagointityökaluissa (EDR). Niiden vaatii uuden havaintamallin.

Mitä organisaatioiden tulisi tehdä nyt suojelemalla itseään

Ennen AI-välikappaleiden käyttöönottoa organisaatioiden on ymmärrettävä, miten nämä järjestelmät toimivat ja mitä riskejä ne tuovat mukanaan.

Avainsuositukset sisältävät:

1. Tarkastaa kaikki pääsy: tiedä, mitä välikappaleet voivat koskea tai laukaista
2. Rajoita laajuus: myönnä vähimmäisoikeudet
3. Seuraa kaikkia vuorovaikutuksia: lokita keinoilmaisut, vastaukset ja tulokselliset toimet
4. Varmistus: simuloi vihamielisiä syöteohjeita sisäisesti ja toistuvasti
5. Suunnittele välttämiseksi: oletetaan, että suodattimet ohitetaan
6. Linjaa turvallisuuden kanssa: varmista, että LLM-järjestelmät tukevat, eivät heikennä, turvallisuustavoitteita

Uusi hyökkäyspinta

Echoleak on esimakua siitä, mitä on tulossa. Kun LLM:t kehittyvät, niiden avuliaisuus muuttuu heikkoudeksi. Syvällä integroiduina liiketoimintajärjestelmiin ne tarjoavat hyökkääjille uuden tavan päästä sisään – yksinkertaisen, taitavasti muotoillun keinoilmaisun kautta.

Tämä ei ole enää vain koodin turvallisuudesta. Se on kielen, aikomuksen ja kontekstin turvallisuudesta. Pelikirja on muutettava nyt, ennen kuin on liian myöhäistä.

Ja kuitenkin, on hyviä uutisia. On edistymistä AI-välikappaleiden käytössä puolustamaan uusia ja nousevia kyberuhkia vastaan. Kun niitä käytetään oikein, nämä autonomiset AI-välikappaleet voivat reagoida uhkiin nopeammin kuin ihminen, tehdä yhteistyötä ympäristöjen välillä ja proaktiivisesti puolustaa nousevia riskejä oppimalla yhdestä tunkeutumisyrityksestä.

Agenteille voidaan antaa oppia jokaisesta hyökkäyksestä, sopeutua reaaliajassa ja estää uhkia ennen kuin ne leviävät. Niillä on potentiaali perustaa uusi aikakausi kyberturvallisuudelle, mutta vain, jos me tartuumme tähän hetkeen ja muokkaamme tietoturvan tulevaisuutta yhdessä. Jos emme, tämä uusi aikakausi voi merkitä tietoturva- ja tietosuojan painajaisen organisaatioille, jotka ovat jo ottaneet AI:n käyttöön (joskus jopa tietämättä varjotyökalujen kanssa). Nyt on aika toimia varmistaakseen, että AI-välikappaleet käytetään hyväksi, eivät pahaksi.