Miksi chatbottien turvallisuusvarustukset ovat väärä turvallisuuden raja

Enterprise AI on edennyt pitkälle koeprosessin jälkeen. 23% organisaatioista on jo laajentamassa agenteja koskevia AI-järjestelmiä jossakin yrityksensä osalla, ja 62% on ainakin kokeilemassa AI-agenteja. Nämä eivät ole tutkimushankkeita. Ne ovat tuotantokäyttöön otettuja, upotettuina työnkulkuun, joka koskettaa koodivarastoja, asiakastietoja, sisäisiä API:ja ja toiminnallista infrastruktuuria.

Teollisuuden vastaus tähän kasvuun on keskittynyt pitkälti siihen, mitä tapahtuu ennen agentin käyttöönottoa. Toimittajat ja tutkijat ovat panostaneet ennen käyttöönottoa tapahtuviin turvallisuusvarustuksiin: julkaisemalla skaalauksenkohtaisia käytäntöjä, lujittamalla perusmalleja, suodattamalla syötevirtoja, turvallistamalla AI-hankintaketjua ja pakottamalla sopimusta koulutusajassa. Suuret AI-palveluntarjoajat ovat tehneet huomattavia investointeja kehittäjien turvallisuustyökaluihin, vahvistaen keskeistä oletusta: jos malli ja sen syötevirrat voidaan hallita, alirajan riski voidaan rajoittaa.

Se on järkevä vaisto, mutta yhä epätäydellisempi.

Kysymys ei ole turvallisuuden raja

Turvallisuusvarustukset, jotka toimivat mallirajapinnassa, hyödyttävät ennen kaikkea tiimejä, jotka hallitsevat sovelluskoodia, mallin konfiguraatiota ja perustuvaa infrastruktuuria. Ne tarjoavat paljon vähemmän suojaa puolustajille, jotka ovat vastuussa AI-järjestelmien turvallisuudesta, joita he eivät ole itse rakentaneet eivätkä voi muuttaa. Se on merkittävä sokea piste, ja viholliset ovat jo löytäneet sen.

OpenAI:n uusin uhkainstikekohtaus dokumentoi täsmälleen tämän dynamiikan. Uhka-aktöörit hyökkäävät aktiivisesti ChatGPT:hen ja samankaltaisiin työkaluihin tuotantoympäristöissä, ei keksimällä uusia hyökkäystekniikoita, vaan upottamalla AI:ta olemassa oleviin työnkulkuun nopeuden lisäämiseksi. Tutkimus tekee tehokkaammaksi. Sosiaalinen insinööritaito skaalautuu. Malware-kehitys kiihtyy. Hyökkäyspinta-ala ei ole perustavanlaatuisesti muuttunut; hyökkäyksen nopeus ja määrä ovat.

Lisäksi on merkittävää, miten hyökkääjät vastasivat, kun nämä työkalut vastasivat. OpenAI havaitsi, että uhka-aktöörit muuttivat nopeasti syötevirtojaan, säilyttäen perusmuodon, kun taas pintapuolisissa muunnelmissa kierrettiin eturajapinnan valvontaa. Tämä on malli, jonka turvallisuuspäättäjät ovat nähneet aikaisemmin. Staattiset puolustukset, olivatpa ne perustuvia virustorjuntaa tai syötevirtojen suodattamista, eivät kestä vastustajia, jotka iteroida nopeammin kuin sääntöpäivitykset voivat seurata.

Haaste moninkertaistuu, kun agentit saavat autonomian. Nykyaikaiset AI-agentit eivät toimi yksittäisessä vaihdossa. Ne suorittavat monivaiheisia toimintorakenteita, kutsuen legitimejä työkaluja ja valtuuksia tavoin, jotka näyttävät täysin normaaleilta eristetyssä ympäristössä. Agentti, joka käyttää voimassa olevia valtuuksia sisäisten API:iden luetteleminen, ei laukaise hälytystä. Agentti, joka käyttää herkkää tietovarastoa, joka näyttää tavanomaiselta työnkululta, ei aiheuta välittömiä lippuja. Jokainen yksittäinen toimi menee tarkastuksen läpi; vaara asuu yhdistelmässä ja järjestyksessä.

Kun uhka siirtyy alavirtaan

Turvallisuustiimit, jotka puolustavat AI-käyttöönottoja tänään, kohtaavat rakenteellisen epäsymmetrian. Heidän käytettävissään olevat työkalut on suurelta osin rakennettu sille, mitä malli on sallittu sanoa. Todellinen riski, jonka heidän on hallittava, on se, mitä agentti tekee järjestelmissä, verkoissa ja identiteeteissä, kun sille on annettu valtuudet ja se on vapautettu tuotantoympäristöön.

Kysymysperusteiset turvallisuusvarustukset jakavat aiempien sääntöohjattujen turvallisuuslähestymistapojen perustavanlaatuiset heikkoudet. Ne ovat hauraita, koska ne riippuvat hyökkäysmallien ennustamisesta etukäteen. Ne ovat reaktiivisia, koska ne vaativat, että joku on havainnut ja koodannut uhkan ennen kuin puolustus voi toimia. Ja ne jäävät jälkeen vihollisista, jotka ovat omaksuneet AI-tukeutuvan iteroinnin standardikäytännöksi. Puolustaja, joka riippuu syötevirtojen suodattamisesta, jotta siepattaisiin uhka-aktööri, joka käyttää kielimallia luomaan tuoreita syötevirtojen muunnelmia, on perustavanlaatuisesti häviävän asemassa.

Todellinen altis pinta näkyy käyttöönoton jälkeen. Agenttien toimet leviävät ympäristössä tavoin, joita ei voida täysin ennakoida ennen käyttöönottoa. Agentit kohtaavat reunatapauksia, vuorovaikuttavat tietolähteiden kanssa, joita ne eivät ole suunniteltu käsittelemään, vastaanottavat syötevirtoja järjestelmistä, jotka eivät kuulu alkuperäiseen arkkitehtuuriin, ja tekevät päätöksiä, jotka kasautuvat ajan myötä. Ennen käyttöönottoa tapahtuva testaus on valokuva; tuotanto on jatkuva virta. Puolustaminen vain valokuvaa tarkoittaa hyväksymistä, että kaikki, mitä virta tapahtuu, on käytännössä valvomaton.

Turvallisuuden raja siirtyy agentin käyttäytymiseen

Rakentaminen AI-järjestelmien kestävyyttä vaatii toisenlaisen viitekehyksen, ja tavoitteena ei pitäisi olla mallirajapinnan suojaaminen. Sen pitäisi olla havaitseminen hyökkääjän aikomus näkyvien seurausten kautta agenttitoimista. Se on merkittävä ero. Aikomus ei aina tule esiin siinä, mitä agentti sanoo tai mitä syötevirtoja se vastaanottaa.

AI-järjestelmien turvallisuuden on oltava laajempi kuin mallin rajapinnan suojaus. Se on jatkuvan arvioinnin agenttien käyttäytymisestä, kun ne vuorovaikuttavat oikeiden työkalujen, oikeiden API:iden ja oikeiden tietojen kanssa. Staattinen arviointi käyttöönoton aikana on välttämätöntä, mutta riittämätöntä. Uhka-ympäristö, jossa agentti toimii, muuttuu jatkuvasti. Agenttien käyttäytymisen on seurattava samalla jatkuvuudella.

Tämä on ongelma, jota syötevirtojen lujittaminen ei voi ratkaista. Hyökkääjän aikomuksen havaitseminen, kun se ilmenee toimintorakenteiden kautta, vaatii malleja, jotka ymmärtävät monimutkaisia, peräkkäisiä käyttäytymismalleja toiminnallisissa ympäristöissä. Syväoppimisen perusmallit, jotka on suunniteltu käyttäytymisanalyysiin, voivat tehdä tämän tavoin, jota sääntöpohjaiset järjestelmät ja perinteiset SIEM-työkalut eivät voi. Ne oppivat, mitä normaali näyttää koko agenttitoiminnan yhteydessä, ja ne tuottavat poikkeamia, jotka osoittavat, että jotain on muuttunut, vaikka yksittäinen toimi ei laukaise perinteistä hälytystä.

Peruslogiikka on sama riippumatta käyttöönottoympäristöstä: turvallisuus, joka on kiinnitetty syötevirtojen tasolle, häviää aina hyökkääjille, jotka toimivat toimintatasolla. Puolustuksen on siirryttävä sinne, missä uhka todella asuu.

Mitä turvallisuustiimit tulisi tehdä nyt

Turvallisuusjohtajat, jotka yrittävät päästä asiassa eteenpäin, voivat tehdä joitakin käytännön muutoksia, jotka voivat sulkea aukon siitä, missä puolustukset tällä hetkellä ovat, ja siitä, missä ne tarvitsevat olla.

Arvioi AI-turvallisuutta koko sovelluspinon yli. Perusmalli on yksi kerros. Yhtä tärkeää on se, miten agentit käyttäytyvät, kun ne on otettu tuotantoon, mitkä työkalut ne kutsuvat, mitkä valtuudet ne käyttävät ja miten nämä valinnat kehittyvät ajan myötä. Turvallisuuden arvioinnit, jotka pysähtyvät mallirajaan, jättävät toiminnallisen pinnan suurelta osin tarkkailemattomaksi.

Pakota vähimmäisvaltuuksia agentitasolla. AI-agenttien on oltava pääsy vain niiden työkaluihin, API:hin ja tietoihin, jotka ovat välttämättömiä niiden määrättyyn toimintaan. Tämä rajoitus on tärkeä, vaikka agenttien tulosteen näyttäisi sopusoinnussa. Toiminnan rajoittaminen vähentää vaaravyöhykettä, jos agentti on murennettu, ja luo selkeämmät käyttäytymismallit, jotka tekevät poikkeamien havaitsemisen tehokkaammaksi.

Käsittele agenteja identiteetteinä, jotka tuottavat telemetriaa. Jokainen toimi, jonka agentti tekee, on tietopiste. Turvallisuustiimit tulisi rakentaa havaintalogiikkaa agenttien aloittamien toimintaketjujen ympärille, ei vain käyttäjän syötevirtojen perusteella, jotka edeltävät niitä. Tämä uudelleenmäärittely siirtää valvontaa siitä, mitä joku pyysi agentilta tekemään, siihen, mitä agentti itse teki, missä hyökkääjän aikomus tulee näkyviin.

Panosta jatkuvaan käyttäytymisen valvontaan havaintomalleilla, jotka on suunniteltu tähän tehtävään. Hyökkääjän aikomuksen tunnistaminen, kun se ilmenee toimintorakenteiden kautta, vaatii erikoistunutta kykyä. Perinteiset valvontatyökalut on rakennettu ihmisten toimintamalleille. Agenttien käyttäytymiselle, sen nopeudelle, määrälle ja monivaiheiselle rakenteelle vaaditaan havaintoinfrastruktuuria, joka on suunniteltu alusta alkaen tämän ympäristön kanssa.

Priorisoi yhteinen puolustus. AI-käyttöön perustuvat hyökkäystekniikat kehittyvät nopeammin kuin yksikin organisaatio voi seurata. Jaettu tutkimus, avoin yhteistyö ja yhteisöllinen uhkainstikekohtaus eivät ole vapaaehtoisia lisäyksiä AI-turvallisuusstrategiaan; ne ovat ydin syötteitä. Puolustajat, jotka pysyvät ajan tasalla, ovat niitä, jotka osallistuvat ja piirtävät yhteisestä tietämysperustasta.

Käyttäytymisen turvallisuus toimii todella

Turvallisuustiimit, jotka tekevät tämän muutoksen, saavat käytännöllisen hyödyn. Havaintojen kiinnittäminen agenttien käyttäytymiseen mallitulosteiden sijaan mahdollistaa aikaisemman havaitsemisen hyökkääjän aikomusta, vaikka hyökkäykset ovat salamaisia, sopeutuvia tai salattuja. Hyökkääjät, jotka onnistuvat muuttamaan syötevirtojaan syötevirtojen suodattimien ohi, joutuvat silti toimimaan. Nämä toimet jättävät jälkensä. Käyttäytymisen havainnointi löytää nämä jäljet ennen kuin vahinko leviää.

Ehkä merkittävimmänä tämä lähestymistapa antaa organisaatioille uskottavan tavan ottaa AI-agentteja laajasti käyttöön ilman sitä, että turvallisuusasema heikkenee käyttöönoton kasvaessa. Kysymys, joka pitää monia yrityksiä takkua, ei ole se, voivatko AI-agentit toimia; se on se, voivatko ne ottaa käyttöön riittävällä luottamuksella, että turvallisuusasema ei heikkene käyttöönoton laajentuessa. Käyttäytymisen turvallisuus, joka perustuu siihen, miten agentit toimivat, ei siis mitä syötevirtoja ne vastaanottavat, tarjoaa tämän luottamuksen tavalla, jota syötevirtojen hallinta ei voi.