Salaisuusvapaa välttämättömyys: Miksi perinteiset tietoturvamallit pettävät, kun tekoälyagentit koskettavat koodia

Huhtikuussa 2023, Samsung havaitsi insinööriensä vuotaneen arkaluonteisia tietoja ChatGPT:lleMutta se oli vahinko. Kuvittele nyt, jos noihin koodivarastoihin olisi tarkoituksella istutettuja ohjeita, jotka ovat ihmisille näkymättömiä, mutta tekoälyn käsittelemiä ja joiden tarkoituksena on poimia paitsi koodi, myös kaikki API-avaimet, tietokannan tunnistetiedot ja palvelutunnukset, joihin tekoälyllä on pääsy. Tämä ei ole hypoteettinen skenaario. Tietoturvatutkijat ovat jo osoittaneet Nämä ”näkymättömät käskyt” -hyökkäykset toimivat. Kysymys ei ole siitä, tapahtuuko näin, vaan milloin.

Raja, jota ei enää ole

Olemme vuosikymmenten ajan rakentaneet tietoturvaa perusoletuksen varaan: koodi on koodia ja data on dataa. SQL-injektio opetti meille kyselyiden parametrisoinnin. Sivustojenvälinen komentosarjasuunnittelu opetti meille tulosteiden välttämisen. Opimme rakentamaan muureja ohjelmien toiminnan ja käyttäjien syötteiden välille.

Tekoälyagenttien myötä tuo raja on häipynyt.

Toisin kuin deterministiset ohjelmistot, jotka seuraavat ennustettavia polkuja, suuret kielimallit ovat probabilistisia mustia laatikoita, jotka eivät pysty erottamaan laillisia kehittäjän ohjeita haitallisista syötteistä. Kun hyökkääjä syöttää kehotteen tekoälykoodausavustajalle, hän ei ainoastaan ​​anna tietoja. Hän pohjimmiltaan ohjelmoi sovelluksen uudelleen lennossa. Syötteestä on tullut itse ohjelma.

Tämä edustaa perustavanlaatuista eroa kaikesta, mitä tiedämme sovellusten tietoturvasta. Perinteiset syntaksipohjaiset palomuurit, jotka etsivät haitallisia malleja, kuten DROP TABLE tai tags, fail completely against natural language attacks. Researchers have demonstrated “semantic substitution” techniques where replacing “API keys” with “apples” in prompts allows attackers to bypass filters entirely. How do you firewall intent when it’s disguised as harmless conversation?

Nollaklikkaustodellisuus, josta kukaan ei puhu

Useimmat tietoturvatiimit eivät ymmärrä seuraavaa: pikainjektio ei vaadi käyttäjältä mitään kirjoittamista. Nämä ovat usein nollaklikkaushyökkäyksiä. Tekoälyagentti voi pelkkä koodivaraston skannaus rutiinitehtävän varalta, pull-pyynnön tarkastelu tai API-dokumentaation lukeminen laukaista hyökkäyksen ilman ihmisen toimia.

Harkitse tätä skenaariota sen perusteella, tekniikoita, jotka tutkijat ovat jo testanneetHaitallinen toimija upottaa näkymättömiä ohjeita HTML-kommentteihin suositun avoimen lähdekoodin kirjaston dokumentaatiossa. Jokainen tätä koodia analysoiva tekoälyavustaja, olipa kyseessä sitten GitHub Copilot, Amazon CodeWhisperer tai mikä tahansa yritystason koodausavustaja, voi kerätä tunnistetietoja. Yksi vaarantunut kirjasto voi tarkoittaa tuhansia alttiita kehitysympäristöjä.

Vaara ei ole itse oikeustieteen kandidaatti, vaan toimijuus, jonka sille annamme. Sillä hetkellä kun integroimme nämä mallit työkaluihin ja API-rajapintoihin, jolloin ne voivat hakea dataa, suorittaa koodia ja käyttää salaisuuksia, muutimme hyödylliset avustajat täydellisiksi hyökkäysvektoreiksi. Riski ei skaalaudu mallin älykkyyden mukaan; se skaalautuu sen liitettävyyden mukaan.

Miksi nykyinen lähestymistapa on tuomittu epäonnistumaan

Alan toimiala on tällä hetkellä pakkomielteisesti mallien ”yhdenmukaistamisessa” ja parempien palomuurien rakentamisessa. OpenAI lisää suojakaiteita. Anthropic keskittyy perustuslailliseen tekoälyyn. Kaikki yrittävät tehdä malleja, joita ei voida huijata.

Tämä on häviävä taistelu.

Jos tekoäly on tarpeeksi älykäs ollakseen hyödyllinen, se on tarpeeksi älykäs myös tullakseen huijatuksi. Olemme putoamassa niin sanottuun "puhdistusansaan": oletetaan, että parempi syötteen suodatus pelastaa meidät. Mutta hyökkäykset voidaan kätkeä näkymättömäksi tekstiksi HTML-kommentteihin, haudata syvälle dokumentaatioon tai koodata tavoilla, joita emme ole vielä kuvitelleet. Et voi puhdistaa sitä, mitä et voi ymmärtää kontekstuaalisesti, ja juuri konteksti tekee oikeustieteen maistereista tehokkaita.

Alan on hyväksyttävä karu totuus: nopea injektio onnistuu. Kysymys kuuluu, mitä tapahtuu, kun se onnistuu.

Tarvitsemamme arkkitehtoninen muutos

Olemme tällä hetkellä "korjausvaiheessa", jossa epätoivoisesti lisäämme syötesuodattimia ja validointisääntöjä. Mutta aivan kuten lopulta opimme, että SQL-injektion estäminen vaatii parametrisoituja kyselyitä, ei parempia merkkijonojen koodeja, tarvitsemme arkkitehtonisen ratkaisun tekoälyn tietoturvaan.

Vastaus piilee periaatteessa, joka kuulostaa yksinkertaiselta, mutta vaatii järjestelmien rakentamisen uudelleenarviointia: tekoälyagenttien ei pitäisi koskaan omistaa käyttämiään salaisuuksia.

Kyse ei ole paremmasta tunnistetietojen hallinnasta tai parannetuista holviratkaisuista. Kyse on tekoälyagenttien tunnistamisesta yksilöllisiksi, todennettavissa oleviksi henkilöllisyyksiksi sen sijaan, että käyttäjät tarvitsisivat salasanoja. Kun tekoälyagentin on käytettävä suojattua resurssia, sen tulisi:

1. Todenna käyttämällä sen todennettavissa olevaa henkilöllisyyttä (ei tallennettua salaisuutta)

2. Vastaanota juuri oikeaan aikaan -tunnistetiedot, jotka ovat voimassa vain kyseiseen tehtävään

3. Määritä tunnistetiedot vanhenemaan automaattisesti sekuntien tai minuuttien kuluessa

4. Älä koskaan säilytä tai edes "näe" pitkäikäisiä salaisuuksia

Useita lähestymistapoja on syntymässä. AWS IAM -roolit palvelutileille, Googlen työkuorman identiteetti, HashiCorp Vaultin dynaamiset salaisuudet, ja tarkoitukseen rakennetut ratkaisut, kuten Akeylessin Zero Trust Provisioning, viittaavat kaikki tähän salaisuudettomaan tulevaisuuteen. Toteutuksen yksityiskohdat vaihtelevat, mutta periaate pysyy: jos tekoälyllä ei ole varastettavia salaisuuksia, nopeasta injektoinnista tulee huomattavasti pienempi uhka.

Vuoden 2027 kehitysympäristö

Kolmen vuoden kuluessa .env-tiedosto on kuollut tekoälyllä täydennettyssä kehityksessä. Ympäristömuuttujissa olevat pitkäikäiset API-avaimet nähdään nyt, kun tarkastelemme salasanoja selkokielisinä: kiusallinen jäänne naiivimmalta ajalta.

Sen sijaan jokainen tekoälyagentti toimii tiukan käyttöoikeuserottelun alaisena. Oletusarvoisesti vain luku -käyttöoikeus. Toimintojen sallittujen listaus vakiona. Eristetyt suoritusympäristöt vaatimustenmukaisuusvaatimuksena. Lopetamme tekoälyn ajatusten kontrolloinnin ja keskitymme kokonaan sen mahdollisuuksien kontrollointiin.

Tämä ei ole vain tekninen kehitys; se on perustavanlaatuinen muutos luottamusmalleissa. Olemme siirtymässä "luota, mutta varmista" -periaatteesta "älä koskaan luota, aina varmista ja oleta kompromissi" -periaatteeseen. Pitkään saarnattu, mutta harvoin harjoitettu pienimmän oikeuksien periaate muuttuu ehdottomaksi, kun nuorempi kehittäjäsi on tekoäly, joka käsittelee päivittäin tuhansia mahdollisesti haitallisia syötteitä.

Valinta, jonka edessämme on

Tekoälyn integrointi ohjelmistokehitykseen on väistämätöntä ja suurelta osin hyödyllistä. GitHubin mukaan Copilotia käyttävät kehittäjät suorittavat tehtäviä 55 % nopeammin.Tuottavuuden kasvut ovat todellisia, eikä mikään kilpailukykynsä säilyttävä organisaatio voi jättää niitä huomiotta.

Mutta olemme risteyksessä. Voimme jatkaa nykyisellä polulla lisäämällä kaiteita, rakentamalla parempia suodattimia ja toivoen, että voimme tehdä tekoälyagentteja, joita ei voida huijata. Tai voimme tunnustaa uhkan perustavanlaatuisen luonteen ja rakentaa turvallisuusarkkitehtuurimme uudelleen sen mukaisesti.

Samsungin tapaus oli varoituslaukaus. Seuraava tietomurto ei tule olemaan vahinko, eikä se rajoitu yhteen yritykseen. Tekoälyagenttien saadessa lisää ominaisuuksia ja käyttäessä useampia järjestelmiä, mahdollinen vaikutus kasvaa eksponentiaalisesti.

Kysymys jokaiselle tietoturvajohtajalle, jokaiselle suunnittelujohtajalle ja jokaiselle kehittäjälle on yksinkertainen: Kun nopea injektio onnistuu ympäristössäsi (ja se onnistuu), mitä hyökkääjä löytää? Löytääkö hän aarreaitan pitkäaikaisia ​​​​valtakirjoja vai löytääkö hän tekoälyagentin, jolla ei vaarantumisestaan ​​​​ole salaisuuksia varastettavana?

Nyt tekemämme valinta ratkaisee, tuleeko tekoälystä ohjelmistokehityksen suurin kiihdyttäjä vai suurin haavoittuvuus, jonka olemme koskaan luoneet. Teknologia turvallisten ja salaisuudettomien tekoälyjärjestelmien rakentamiseen on olemassa jo tänään. Kysymys kuuluu, pystymmekö ottamaan sen käyttöön ennen kuin hyökkääjät pakottavat meidät siihen.

OWASP on jo tunnistanut nopean injektion suurimmaksi riskiksi heidän kymmenen parhaan joukossa LLM-hakemuksissa. NIST kehittää ohjeita nollaluottamusarkkitehtuureilla. Kehykset ovat olemassa. Ainoa kysymys on toteutuksen nopeus vs. hyökkäysten kehittyminen.

Bio: Refael Angel on yrityksen toinen perustaja ja teknologiajohtaja Avaimeton, jossa hän kehitti yrityksen patentoidun Zero-Trust-salausteknologian. Refael on kokenut ohjelmistoinsinööri, jolla on syvällinen asiantuntemus kryptografiasta ja pilviturvallisuudesta. Hän työskenteli aiemmin vanhempana ohjelmistoinsinöörinä Intuitin tutkimus- ja kehityskeskuksessa Israelissa, missä hän rakensi järjestelmiä salausavainten hallintaan julkisissa pilviympäristöissä ja suunnitteli konetodennuspalveluita. Hänellä on tietojenkäsittelytieteen kandidaatin tutkinto Jerusalemin teknillisestä korkeakoulusta, jonka hän suoritti 19-vuotiaana.