Ajatusjohtajat

Salaisuuksia säilyttämättömien järjestelmien välttämättömyys: miksi perinteiset turvallisuusmallit pettävät tekoälyagenttien käsitellessä koodia

Refael Angel
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatTekoälyagenttien on toimittava ilman salaisuuksia neutraloidakseen…
Näytä lisää
  • Tekoälyagenttien on toimittava ilman salaisuuksia neutraloidakseen prompt-injektiohyökkäykset.
  • Perinteiset suodattimet epäonnistuvat, koska tekoäly ei pysty erottamaan ohjeita tiedoista.
  • Prompt-injektio on nollaklikkauksen uhka, joka skaalautuu tekoälyn yhteyksien mukaan.

Huhtikuussa 2023 Samsung havaitsi insinööriensä vuotaneen arkaluontoista tietoa ChatGPT:lle. Mutta se oli vahinko. Kuvittele nyt, että koodivarastoihin olisi istutettu tarkoituksella ohjeita, jotka ovat ihmisille näkymättömiä mutta tekoälyn käsiteltävissä ja jotka on suunniteltu keräämään koodin lisäksi jokainen tekoälyn käytettävissä oleva API-avain, tietokannan tunnistetieto ja palvelutunniste. Tämä ei ole hypoteettinen tilanne.Turvallisuustutkijat ovat jo osoittaneet, että nämä “näkymättömät ohjeet” -hyökkäykset toimivat. Kysymys ei ole siinä, tapahtuuko tämä, vaan milloin.

Raja, Joka Ei Enää Ole Olemassa

Vuosikymmenten ajan olemme rakentaneet turvallisuuden perustavan oletuksen varaan: koodi on koodia ja data on dataa. SQL-injektiot opettivat meidät parametrisoimaan kyselyt. Sivustojen väliset komentosarjahyökkäykset opettivat käyttämään tulosteessa escape-käsittelyä. Opimme rakentamaan rajat ohjelmien toimintojen ja käyttäjien syötteiden välille.

AI-agenteilla tämä raja on haihtunut.

Toisin kuin deterministiset ohjelmat, jotka seuraavat ennustettavia polkuja, suuret kielimallit ovat todennäköisyyksiin perustuvia mustia laatikoita, jotka eivät voi erottaa legitimejä kehittäjän ohjeita ja väärinkäyttöön tarkoitettuja syötteitä. Kun hyökkääjä antaa kehotteen tekoälypohjaiselle ohjelmointiavustajalle, he eivät vain anna dataa. He ohjelmoivat sovelluksen uudelleen lennossa. Syöte on itse ohjelma.

Tämä edustaa perustavanlaatuista katkoa kaikesta, mitä tiedämme sovelluksen turvallisuudesta. Perinteiset syntaksiin perustuvat palomuurit, jotka etsivät väärinkäyttöön tarkoitettuja kuvioita, kuten DROP TABLE tai <script>-tagit, epäonnistuvat täysin luonnollisen kielen hyökkäyksissä. Tutkijat ovat osoittaneet “semanttisen korvaamisen” tekniikoita, joissa “API-avaimet” korvataan “omenilla” kehotteissa, jolloin hyökkääjät voivat kiertää suodattimet kokonaan. Miten voit torjua palomuurilla aikomuksen, kun se on naamioitu vaarattomaksi keskusteluksi?

Nolla-Klikkaus-Todellisuus, Josta Kukaan Ei Puhu

Tässä on se, mitä useimmat turvallisuustiimit eivät ymmärrä: kehoteinjektio ei vaadi, että käyttäjä kirjoittaa mitään. Nämä ovat usein nolla-klikkaus-hyökkäykset. AI-agentti, joka skannaa koodirepositorion tavalliselle tehtävälle, tarkastelee pull-pyynnön tai lukee API-dokumentaatiota, voi laukaista hyökkäyksen ilman ihmisen välikäsiä.

Kuvitella tämä skenaario, joka perustuu tekniikoille, joita tutkijat ovat jo todistaneet: Väärinkäyttöön tarkoitettu toimija upottaa näkymättömiä ohjeita HTML-kommentteihin suositun avoimen lähdekoodin kirjaston dokumentaatioon. Jokainen AI-avustaja, joka analysoi tätä koodia, olipa se sitten GitHub Copilot, Amazon CodeWhisperer tai mikä tahansa yrityksen koodin avustaja, voi muuttua potentiaaliseksi tunnistetiedon kerääjäksi. Yksi komprometoitu kirjasto voi tarkoittaa tuhansia alttiina olevia kehitysympäristöjä.

Vaara ei ole LLM itsessään; se on se toimivalta, jonka annamme sille. Hetkenä, jolloin integroimme nämä mallit työkaluihin ja API:hin, antaen niiden noutaa dataa, suorittaa koodia ja käyttää salaisuuksia, muutimme avustajat täydellisiksi hyökkäysvektoriksi. Riski ei skaalaa mallin älykkyyden mukaan; se skaalaa sen yhteyden mukaan.

Miksi Nykyinen Lähestymistapa On Tuomittu

Teollisuus on tällä hetkellä kiinnostunut “mallien kohdistamisesta” ja parempien kehotepalomuurien rakentamisesta. OpenAI lisää enemmän suojamekanismeja. Anthropic keskittyy perustuslailliseen AI:hin. Kaikki yrittävät luoda malleja, joita ei voi huijata.

Tämä on häviävä taistelu.

Jos AI on tarpeeksi älykäs ollakseen hyödyllinen, se on tarpeeksi älykäs ollakseen petetty. Olemme lankeamassa “syötteiden puhdistamisen ansaan”: oletetaan, että parempi syötteen suodatus pelastaa meidät. Mutta hyökkäykset voidaan piilottaa näkymättömiin teksteihin HTML-kommentteihin, haudattuna dokumentaatioon tai koodattuna tavoilla, joita emme ole vielä kuvitelleet. Et voi puhdistaa sitä, mitä et voi ymmärtää kontekstissa, ja konteksti on se, mikä tekee LLM:stä voimakkaan.

Teollisuuden on hyväksyttävä kova totuus: kehoteinjektio onnistuu. Kysymys on, mitä tapahtuu, kun se onnistuu.

Arkkitehtoninen Muutos, Jota Tarvitaan

Olemme tällä hetkellä “korjausvaiheessa”, lisäten syötteen suodattimia ja validointisääntöjä. Mutta juuri niin kuin lopulta opimme, että SQL-injektion estäminen vaati parametrisoituja kyselyitä eikä parempaa merkkijonojen escape-käsittelyä, tarvitsemme arkkitehtonisen ratkaisun AI-turvalle.

Vastaus piilee periaatteessa, joka kuulostaa yksinkertaiselta, mutta vaatii uudelleen ajattelua siitä, miten rakennamme järjestelmiä: AI-agenteilla ei koskaan pitäisi olla salaisuuksia, joita ne käyttävät.

Kyse ei ole tunnistetietojen hallinnan tai salaisuuksien säilytysjärjestelmien parantamisesta. Tekoälyagentit on tunnistettava yksilöllisen, todennettavan identiteetin omaaviksi toimijoiksi eikä salasanoja tarvitseviksi käyttäjiksi. Kun tekoälyagentti tarvitsee pääsyn suojattuun resurssiin, sen tulisi:

  1. Tunnistautua verifioitavalla identiteetillään (ei tallennetulla salaisuudella)

  2. Saada tunnistetiedot juuri tarpeen hetkellä, vain kyseistä tehtävää varten

  3. Antaa näiden tunnistetietojen vanhentua automaattisesti sekunneissa tai minuuteissa

  4. Olla koskaan tallentamatta tai edes “näkemättä” pitkäaikaisia salaisuuksia

Useita lähestymistapoja on kehittynyt.AWS IAM-roolit palvelutilille, Google Workload Identity, HashiCorp Vaultin dynaamiset salaisuudet ja tarkoitukseen suunnitellut ratkaisut, kuten Akeylessin Zero Trust Provisioning, osoittavat tätä salaisuuksia säilyttämättömän tulevaisuuden suuntaa. Toteutusyksityiskohdat vaihtelevat, mutta periaate pysyy: jos AI:lla ei ole salaisuuksia varastettavaksi, kehoteinjektio muuttuu merkittävästi pienemmäksi uhaksi.

Kehitysympäristö Vuonna 2027

Kolmen vuoden kuluttua .env-tiedosto on kuollut tekoälyavusteisessa kehityksessä. Pitkäaikaiset API-avaimet, jotka ovat ympäristömuuttujissa, tullaan näkemään samalla tavalla kuin salasanat tekstinä tällä hetkellä: häpeällinen jäännös viattomamman ajan ajalta.

Sen sijaan jokainen AI-agentti toimii tiukassa etuoikeuksien erottelussa. Oletuksena vain luku -oikeudet. Sallittujen toimintojen luettelo on vakioratkaisu. Eristetyt suoritusympäristöt ovat vaatimustenmukaisuuden edellytys. Me lopetamme yritykset hallita sitä, mitä AI ajattelee, ja keskitymme täysin siihen, mitä se voi tehdä.

Tämä ei ole vain tekninen evoluutio; se on perustavanlaatuinen muutos luottamisen malleissa. Siirrymme “luota ja tarkista” -mallista “älä koskaan luota, tarkista aina ja oleta järjestelmän olevan murrettu”. Vähimpien käyttöoikeuksien periaate, jota on pitkään opetettu mutta harvoin käytännössä, tulee ehdottomaksi, kun juniorikehittäjäsi on AI, joka prosessoi tuhansia potentiaalisesti väärinkäyttöön tarkoitettuja syötteitä päivittäin.

Valinta, Jota Meidän On Tehtävä

AI:n integrointi ohjelmistokehitykseen on välttämätöntä ja suurelta osin hyödyllistä.GitHubin mukaan kehittäjät, jotka käyttävät Copilotia, suorittavat tehtäviä 55 % nopeammin. Tuottavuuden hyödyt ovat todellisia, eikä mikään organisaatio, joka haluaa pysyä kilpailukykyisenä, voi jättää niitä huomiotta.

Mutta meidän on tehtävä valinta. Voimme jatkaa nykyistä tietä, lisätä enemmän suojamekanismeja, rakentaa parempia suodattimia, toivoa, että voimme luoda AI-agenteja, joita ei voi huijata. Tai voimme tunnustaa uhkauskuvion perustavanlaatuisen luonteen ja rakentaa turvallisuusarkkitehtuuriamme sen mukaisesti.

Samsungin tapaus oli varoituslaukaus. Seuraava tietomurto ei ole vahinko, eikä se rajoitu yhteen yritykseen. Kun AI-agentit saavat enemmän kykyjä ja pääsevät käsiksi enemmän järjestelmiin, potentiaalinen vaikutus kasvaa eksponentiaalisesti.

Kysymys jokaiselle CISO:lle, jokaiselle teknisen johtajalle ja jokaiselle kehittäjälle on yksinkertainen: Kun kehoteinjektio onnistuu teidän ympäristössänne (ja se onnistuu), mitä hyökkääjä löytää? Löytävätkö he aarrearkun pitkäaikaisia tunnistautumismerkkejä vai AI-agentin, jolla ei ole salaisuuksia varastettavaksi, vaikka se on komprometoitu?

Valinta, jonka teemme nyt, määrittää, muuttuuko AI suurimmaksi ohjelmistokehityksen kiihdyttäjäksi vai suurimmaksi haavoittuvuudeksi, jonka olemme koskaan luoneet. Teknologia turvallisten, salaisuuksia säilyttämättömien tekoälyjärjestelmien rakentamiseen on jo olemassa. Kysymys on, toteutammeko sen ennen kuin hyökkääjät pakottavat meidät tekemään niin.

OWASP on jo tunnistanut kehoteinjektion suurimmaksi riskiksi heidän Top 10 -listallaan suurten kielen mallien sovelluksille.NIST kehittää ohjeita nollaluottamusarkkitehtuureista. Kehykset ovat olemassa. Ainoa kysymys on toteutusnopeus verrattuna hyökkäyksen evoluutioon.

Bio: Refael Angel on Akeylessin toinen perustaja ja tekninen johtaja, joka on kehittänyt yrityksen patentoidun Zero-Trust-salausteknologian. Kokenut ohjelmistosuunnittelija, jolla on syvä asiantuntemus salauksesta ja pilviturvallisuudesta, Refael toimi aiemmin vanhempana ohjelmistosuunnittelijana Intuitin (INTU ) tutkimus- ja kehityskeskuksessa Israelissa, jossa hän rakensi järjestelmiä sala-avaimien hallintaan julkisissa pilviympäristöissä ja suunnitteli koneen todennuspalveluita. Hän on suorittanut tietojenkäsittelytieteen tutkinnon (B.Sc.) Jerusalem College of Technologyssa 19-vuotiaana.

Refael Angel on Akeylessin toinen perustaja ja tekninen johtaja. Hän kehitti siellä yrityksen patentoidun Zero-Trust-salausteknologian. Kokenut ohjelmistosuunnittelija, jolla on syvä asiantuntemus salauksessa ja pilviturvallisuudessa, Refael toimi aikaisemmin vanhempana ohjelmistosuunnittelijana Intuitin tutkimus- ja kehityskeskuksessa Israelissa, jossa hän rakensi järjestelmiä salausavainten hallintaan julkisissa pilviympäristöissä ja suunnitteli koneen todennuspalveluita. Hänellä on B.Sc. tietojenkäsittelytieteestä Jerusalemin teknologiakorkeakoulusta, jonka hän suoritti 19-vuotiaana.