Turvallisuusongelmat, joita olemme itse luoneet: tekoälyagentit ja kuuliaisuuden ongelma

LLM-pohjaiset tekoälyagentit ovat tuoneet uuden luokan haavoittuvuuksia, joissa hyökkääjät injektoivat pahantahtoisia ohjeita tietoihin, muuttaen avuliaat järjestelmät tietämättömistä avustajista.

Microsoft Copilot ei ollut perinteisessä mielessä hakkeroinut. Siinä ei ollut malwarea, ei phishinkia, ei pahantahtoista koodia. Kukaan ei ollut napsauttanut mitään tai käyttänyt hyväkseen mitään haavoittuvuutta.

Uhattaja pyysi vain. Microsoft 365 Copilot, tehdessään juuri sitä, mihin se oli suunniteltu, totteli. Äskettäisessä Echoleak nollaklik-hyökkäyksessä tekoälyagentti manipuloitiin viestillä, joka naamiutui tiedoksi. Se totteli, ei siksi, että se oli rikkoontunut, vaan siksi, että se toimi suunnitellusti.

Tämä haavoittuvuus ei hyödyntänyt ohjelmistovirheitä. Se hyödyntäsi kieltä. Ja se merkitsee suurta käännekohtaa tietoturvaessa, jossa hyökkäyspinta ei ole enää koodi vaan keskustelu.

Uusi tekoälykuuliaisuuden ongelma

Tekoälyagentit on suunniteltu auttamaan. Niiden tarkoituksena on ymmärtää käyttäjän aikomus ja toimia siitä tehokkaasti. Tuo hyödy tulee riskin kera. Kun ne on upotettu tiedostojärjestelmiin, tuottavuusohjelmiin tai käyttöjärjestelmiin, nämä agentit seuraavat luonnollisen kielen komentoja vähäisen vastarinnan kera.

Uhattajat hyödyntävät juuri tätä piirrettä. Pahantahtoisten injektioiden avulla, jotka näyttävät viattomilta, he voivat laukaista arkaluontoisia toimia. Nämä injektiot voivat sisältää:

• Monikielisiä koodinpätkiä
• Epäselviä tiedostomuotoja ja upotettuja ohjeita
• Non-englanninkielisiä syötekuoria
• Monivaiheisia komentoja, jotka on piilotettu arkisen kielen taakse

Koska suuret kielimallit (LLM) on koulutettu ymmärtämään monimutkaisuutta ja epäselvyyttä, viesti muuttuu hyökkäyksen kuormalaadiksi.

Sirin ja Alexan haamu

Tämä malli ei ole uusi. Sirin ja Alexan varhaisissa päivissä tutkijat osoittivat, miten äänikomennon, kuten “Lähetä kaikki valokuvani tähän sähköpostiosoitteeseen”, voitiin laukaista ilman käyttäjän vahvistusta.

Nyt uhka on suurempi. Tekoälyagentit, kuten Microsoft Copilot, on integroitu syvälle Office 365:een, Outlookiin ja käyttöjärjestelmään. Ne pääsevät käsiksi sähköposteihin, asiakirjoihin, tunnistetietoihin ja rajapintoihin. Hyökkääjien tarvitsee vain oikea viesti voidakseen hakea kriittisiä tietoja, esittäen samalla legitimejä käyttäjiä.

Kun tietokoneet sekoittavat ohjeet tiedoksi

Tämä ei ole uusi periaate tietoturvaessa. Injektiot, kuten SQL-hyökkäykset, onnistuivat, koska järjestelmät eivät voineet erottaa syötettä ja ohjetta. Tänään sama virhe on olemassa, mutta kielen tasolla.

Tekoälyagentit käsittävät luonnollisen kielen sekä syötteenä että aikomuksena. JSON-olio, kysymys tai jopa lause voi laukaista toiminnon. Tämä epäselvyys on sitä, mitä uhkaavat tahot hyödyntävät, upottaen komennot näyttäen viattomalta sisällöltä.

Olemme upottaneet aikomuksemme infrastruktuuriin. Nyt uhkaavat tahot ovat oppineet, miten ne voidaan hakea ja käyttää hyväkseen.

Tekoälyn omaksuminen on nopeampaa kuin tietoturva

Kun yritykset kiirehtivät integroimaan LLM:itä, monet jättävät huomiotta kriittisen kysymyksen: mihin tekoälyllä on pääsy?

Kun Copilot pääsee koskemaan käyttöjärjestelmää, vaikutusalue laajenee paljon laajemmaksi kuin vain sähköpostilaatikko. Check Pointin Tekoälyturvallisuusraportin mukaan:

• 62 prosenttia globaaleista tietoturvajohtajista pelkää, että heidät voidaan pitää henkilökohtaisesti vastuussa tekoälyyn liittyvistä tietoturvaongelmista
• Lähes 40 prosenttia organisaatioista ilmoittaa, että heidän sisäisessä toiminnassaan käytetään tekoälyä ilman tietoturvalleenkäintiä
• 20 prosenttia kyberrikollisryhmistä käyttää jo tekoälyä toiminnassaan, mukaan lukien phishauksen ja tiedustelun suorittamiseen

Tämä ei ole vain uusi riski. Se on nykyinen riski, joka jo nyt aiheuttaa vahinkoa.

Miksi olemassa olevat turvallisuusvarustukset eivät riitä

Jotkut toimittajat käyttävät vahtikoira-ohjelmia — toissijaisia malleja, jotka on koulutettu havaitsemaan vaarallisia viestejä tai epäilyttävää käyttäytymistä. Nämä suodattimet voivat havaita perustason uhkat, mutta ne ovat haavoittuvaisia välttämismenetelmille.