Tekoälyn Näkyvyyden Kriisi: Miksi Turvallisuustiimit Lentävät Pimeässä ja Miksi He Eivät Tarvitse

Teollisuus on kiihdyttänyt tekoälyagenttien integrointia tuotantoympäristöihin, mutta turvallisuusarkkitehtuuri, joka vaaditaan niiden turvaamiseen, jäänee vaarallisesti jälkeen. Olemme aikakaudella, jossa tekoälyagentti, joka on tehtävänään tavallinen työ staging-ympäristössä, voi itsenäisesti päättää “korjata” tunnistetietojen epäilyttävän tilanteen poistamalla tietokantavolyymit.

Teollisuutena olemme yhteisesti sammuttamassa aivomme, kun on kyse tekoälyn perustavanlaatuisista turvallisuuden ja havaittavuuden periaatteista. Turvallisuustiimit lentävät pimeässä, mutta he eivät tarvitse.

Tehtäväohjeiden ja Turvallisen Työkalun Myytti

Yleinen myytti tekoälytilassa on, että voimme hallita agenttien käyttäytymistä kertomalla niille, miten ne pitäisi käyttäytyä. Järjestelmäohjeet ovat neuvoa-antavia, eivät pakottavia. Edellä mainitussa tapauksessa tekoälyn järjestelmäsäännöt määräsivät nimenomaisesti, että se ei saa suorittaa tuhoisia komentoja, mutta agentti rikkoi omia markkinoituja varoitusviittojaan ja suoritti kaikkein peruuttamattoman toimen.

Meidän on toimittava oletuksella, että tekoäly ei “tiedä” mitään. Hyökkäykset tekoälyä vastaan ovat sosiaalista manipulaatiota, paitsi että kohde on tyhmempää kuin keskivertoihminen. Jokainen, jolla on kokemusta penetraatiotestauksesta, ymmärtää, kuinka vaikeaa on organisaatioille puolustautua sosiaalista manipulaatiota vastaan. Nyt tietokoneetkin ovat haavoittuvia.

Lisäksi tekoälytyökalut ovat lopulta vain ohjelmisto, ja kaikki ohjelmistot sisältävät bugeja. Olemme jo nähneet tapauksia, joissa tekoälytyökalut käynnistävät automaattisesti todennäköisiä HTTP-palvelimia, jolloin mikä tahansa paikallinen prosessi tai verkkosivu voi suorittaa satunnaisia shell-komentoja käyttöoikeuksilla.

Tehtävän Seurannan Musta Ritari

Jos tekoäly “karkaa” tai manipuloidaan, on selvittäminen siitä, mitä se teki, painajainen. Tekoälytyökalut eivät yleensä tarjoa seurantalogien. Jos olet tarpeeksi onnekas olla yritysversiossa, saatavat logit ovat äärimmäisen puutteellisia. Esimerkiksi saat vain epämääräisen tapahtuman, jossa käyttäjä “käytti Gen AI:ta” ja perustason mittaukset, jotka kertovat syötteen ja tulosteen tokenien määrän.

Kumpikaan näistä auttaa turvallisuusanalystia vastaamaan perustavaa kysymystä: Mitä tämä agentti suoritti?

Tehtävän Paljastaminen: Kuinka Lopettaa Lentäminen Pimeässä

Hyviä uutisia on, että sinun ei välttämättä tarvitse uutta, loistavaa tekoälyturvallisuuslaitetta palauttaaksesi näkyvyyden. Varjo-Tehtävä käytön ja agenttitoiminnan havaitseminen on mahdollista olemassa olevien lokianalyysitekniikoiden avulla, joita tiimisi tulisi jo nyt käyttää. Tekoälytyökalukutsut, komentosuoritukset ja järjestelmän muuttuvat tapahtumat voidaan jäljittää tekoälyyn olemassa olevan prosessin suoritusanalyysin (jota teette turvallisuustiedon ja tapahtumanhallinnassa (SIEM), oikein?) avulla.

Tässä on, miten voit hyödyntää nykyistä infrastruktuuria tekoälytoiminnan havaitsemiseen:

• DNS-analyysi: DNS-lokien analysointi tekoälypalveluiden tunnettujen verkkotunnusten kyselyjen osalta voi auttaa havaitsemaan tekoälyn käytön ympäristössäsi.
• Uhkausten luettelot: Tämä lähestymistapa edellyttää uhkausten luettelon ylläpitämistä, joka liittyy tekoälyalustoihin tai mallipalveluntarjoajiin.
• Yhteisöresurssit: On olemassa yhteisöprojekteja ja estolistoja, joita voidaan muuttaa hakutauluiksi ohjelmalliseen käyttöön.
• SSL-seuranta: Samaan tapaan voidaan käyttää SSL-lokeja seuratakseen palvelinten nimiä, vaikka se antaa hieman vähemmän yksityiskohtaisia tietoja, koska koko URL-osoite ei ole tallennettu.
• Päätepisteen telemetria: Voit käyttää työkaluja kuten Sysmonia laskeaksesi aliprosesseja ja metsästääksesi korkeita bash-kutsujen määrää, mikä on vahva osoitus potentiaalisista tekoälyagenttien suorittamisesta päätepisteessä.

Sokkoreikka, joka edellyttää aktiivisia muutoksia tietojen keräämiseen, on itse ohjeistukset. Mitä käyttäjät pyytävät tekoälyltä? Lataavatko he mahdollisesti arkaluontoisia asiakirjoja, mikä aiheuttaa noudattamisongelmia? Vastataksesi näihin kysymyksiin on todennäköisesti kerättävä API-pyyntöjä palveluntarjoajalle; verkkoproksit, LLM-proksit ja tietojen keräämisen työkalut lokien ja SIEM-tarjoajilta. Nämä voivat poistaa verhon, joka estää tämän arvokkaan tietolähteen.

Uusi Uhka: Pahantahtoiset MCP-palvelimet

Malli-kontekstiprotokolla (MCP) on kehittynyt tavaksi määritellä, miten tekoälysovellukset integroidaankin ulkoisiin työkaluihin ja tietolähteisiin. Vaikka se standardisoi yhteydet, se esittää myös massiivisia uusia hyökkäysvektoreita “Pahantahtoinen MCP” -palvelimien kautta.

Isännöin käytännön koulutusworkshopia, jossa opiskelijat voivat kokea tämän hyökkäyksen käytännössä. He suunnittelevat pahantahtoisen MCP-palvelimen, joka huijaa LLM:n kutsumaan legitiimejä työkaluja ja lähettämään tulosteen takaisin hyökkääjälle. Koska LLM:t ovat erittäin haavoittuvia sosiaalisen manipulaation suhteen, ohittaminen niiden sisäänrakennetuista varoitusviitoista on usein vain asioiden paremman sanamuodon tai älykkään esipuheen valitseminen.

Opiskelijat käyttävät usein pahantahtoista palvelintaan ohjeistamaan tekoälyä siitä, että se on “huolto-tilassa” ja on lähetettävä tietoja toissijaiselle työkalulle “auditointilogiiksi”, mikä johtaa tietojen vuotamiseen. Jotkut ovat luovempia ohjeistuksessaan kuin toiset, mutta kaikki ovat yleensä onnistuneita.

Valvonta Takaisin

Tehtävän toiminnan oikean seurannan toteuttamiseksi todellisessa maailmassa tarvitset välityspalvelimen tekoälypyyntöjen sieppaamiseen ja lokien keräämiseen soveltuvan työkalun. Tällä näkyvyydellä voit havaita ja priorisoida uhkia. Et voi luottaa yksinomaan tekoälytoimittajiin turvallisuuden tarjoamisessa. Pakollinen toteutus on oltava organisaatiosi järjestelmissä, eikä tekstin kappaleessa, jonka toivomme mallin noudattavan. Hyvän lokiratkaisun avulla turvallisuustiimit ovat saaneet telemetrian; on aika, että he alkavat sitä kysymään.