Kun tekoälykyky nousee nopeammin kuin turvamalleja, jotka on rakennettu sen hallitsemiseksi

Teckoälytyökalut saapuvat yleensä tuttuun tapaan. Ne lupaavat sujuvoittaa työnkulkua, lisätä tuottavuutta ja ottaa haltuun tehtäviä, joita kukaan ei halua tehdä. Ja useimmiten he toimittavat juuri sitä. Ne yksinkertaistavat kirjautumisia, tiivistävät asiakirjoja, automatisoivat työnkulkua ja tekevät rutiininomaisista toimista melkein vaivattomia.

Mutta kaiken tämän mukavuuden alla on toinen tarina. Nämä työkalut eivät ole enää rajoitettu tekstilaatikkoon. Ne alkavat toimia itse käyttöjärjestelmässä. Ne voivat selata tiedostoja, luoda sähköposteja, vuorovaikuttaa sovellusten kanssa ja suorittaa toimia, jotka vaativat aikaisemmin tarkkaavaisen ihmisen, joka ymmärsi seuraamukset. Tämä siirtää tekoälyn asemaan, jota olemassa olevat turvaoletukset eivät ole koskaan suunniteltu hallitsemaan.

Hetki, jolloin tekoäly saa järjestelmän pääsyn

Kun tekoälyjärjestelmä voi lukea oikeita tiedostoja ja suorittaa oikeita komentoja, se kuuluu luotettavaan laskentaperustaan. Se on hetki, jolloin pitkään pidetyt odotukset tekoälyn turvallisuudesta alkavat murtua.

Viime vuosina ohjelmoinjektio on pidetty outona mallin käyttäytymisenä. Se sai chatbotit tuottamaan harhaanjohtavia tai sopimattomia vastauksia, mutta vahingot päättyivät keskusteluun. Nyt sama virhe voi laukaista isäntätasolla tapahtuvia toimia, ei vain tekstiä. Salainen käsky, joka on piilotettu PDF-tiedostoon, verkkosivustoon tai sähköpostiin, ei enää tuota outoa vastausta. Se tuottaa toiminnan, joka suoritetaan koneella.

Tämä ei ole mitään, minkä alan voi hylätä teoreettisena. Carnegie Mellonin ja Washingtonin yliopiston tutkijat ovat toistuvasti osoittaneet, että piilotetut käskyt voivat ohjata suuria kielen malleja suorittamaan toimia, joita käyttäjät eivät ole aikaisemmin aikoneet. Samaan aikaan näkömallien tutkijat ovat osoittaneet, miten manipuloituja kuvia voidaan muuttaa mallin havainnon tavalla, joka vaikuttaa eteenpäin suoritettaviin toimiin.

Nämä kokeet on aikaisemmin kohdeltu laboratoriolöytöinä. Ne eivät enää tunteudu akateemisilta, kun tekoälyllä on pääsy käyttöjärjestelmään.

Kun agentin kyky ylittää puolustajan valvonnan

Jopa yritykset, jotka rakentavat näitä agenteja, myöntävät haasteen vakavuuden. He ovat vahvistaneet suodattimia käskyjen käsittelyyn, mutta he myöntävät avoimesti, että tekoälyjärjestelmien todellisten maailman toimien hallitseminen on edelleen avoin ja ratkaisematon ongelma koko alalla. Tämä kuilu agentin kykyjen ja puolustajien valvontakykyjen välillä luo uuden riskiluokan, jota olemassa olevat turvallisuussuunnitelmat eivät voi absorboida.

Tekoälyagentit ovat ylittäneet rajan, jolle ala ei ole täysin valmis. Ainoa tapa ymmärtää tämä on tarkastella, miten ohjelmoinjektio nyt leikkaa samojen hyökkäysketjujen kanssa, joita puolustajat ovat seuranneet yli vuosikymmenen ajan.

Miten ohjelmoinjektio nyt vastaa hyökkäysketjuihin, joita jokainen tietää

Hyökkääjät ovat aina seuranneet ennustettavissa olevaa mallia. MITRE ATT&CK -kehyksessä on selvästi määritelty vaiheet. Alkuvaiheen pääsy seuraa suoritusta, pysyvyyttä, havaintoa, sivusuunnan liikettä, keräämistä ja vuotamista. Tekniikat vaihtelevat, mutta rakenne on vakaampi.

Mikä on muuttumassa, on toimitusmekanismi. Sen sijaan, että houkutellaan käyttäjää avaamaan vaarallinen liite tai klikkaamaan vaarallista linkkiä, hyökkääjät voivat asettaa käskyt sinne, missä tekoälyagentti lukee ne. Agentista tulee suoritustympäristö. Se suorittaa vaiheet tarkalleen kuin ne on kuvattu. Malli ei kyseenalaista, onko käsky haitallinen. Se ei sovella arviointia tai intuitiota. Se toimii yksinkertaisesti.

Kun hyökkääjä pystyy vaikuttamaan agentin päättelyyn, hyökkäysketju kootaan nopeasti. Manipuloitu tiedosto laukaistaan, seuraavat käskyt luovat pysyvyyden, järjestelmähaku tarjoaa havainnon, ja tiedostojen lataus mahdollistaa keräämisen ja vuotamisen. Malwarea ei tarvita. Agentti suorittaa vaiheet tarkalleen kuin ne on kirjoitettu.

Tämä on se osa tarinaa, johon turvatiimit ovat kamppailemassa sopeutumisessa. He ovat viettäneet vuosia rakentamassa havaintasääntöjä, valvontaa ja vastausprosesseja koodipohjaisen suorituksen ympärille. Tekoälyagentit esittävät erilaisia tulkkeita. Ne suorittavat luonnollisen kielen kautta, ei käännetyistä binääritiedostoista. Olemassa olevat työkalut eivät ole suunniteltu seuraamaan tai edes analysoimaan tätä päättelyprosessia.

Turvatiimit eivät ole valmiit ja eivät edes tajua sitä

Turvallisuusohjelmat olettavat edelleen, että ihminen istuu sisällön ja toiminnan välissä. Ihmiset voidaan petkuttaa, mutta he pysähtyvät, kun jokin tuntuu väärältä. He huomaavat outoja lauseita, kyseenalaistavat odottamattoman käyttäytymisen ja tuovat arvion viime metreille päätöksenteossa.

Teckoälyagentit eivät tee mitään tätä; ne ovat johdonmukaisia, kirjaimellisia ja nopeampia kuin mikään vihollinen. Yksittäinen piilotettu tekstirivi on tarpeeksi käskyn antamiseen agentille lukemaan arkaluontoisia tiedostoja, siirtymään sovellusten läpi tai ottamaan yhteyttä etäpalvelimeen. Tämä asettaa puolustajat asemaan, jossa he eivät ole aikaisemmin olleet.

Turvatiimit ovat rajallisesti näkevissä siitä, miten agentti saavuttaa päätöksensä, eivätkä he voi helposti määrittää, onko toiminta peräisin käyttäjältä vai tekoälyltä. Perinteinen malware-havaitseminen ei tarjoa apua, koska mitään maliciousia koodia ei suoriteta tavallisessa mielessä, eikä ole takeita siitä, että agentti kyseenalaistaa tai hylkää haitallisia käskyjä, jotka on piilotettu normaaliin sisältöön.

Työkalut, jotka on suunniteltu ihmisten käyttäytymiseen, eivät siirry maailmaan, jossa luonnollinen kieli muuttuu käsikirjoitukseksi, joka ohjaa järjestelmän käyttäytymistä.

Mitä korvaavat valvontatoimet tosiaan toimivat

Mallin lujittaminen ei ole tarpeeksi. Turvatiimejä tarvitaan valvontaa agentin ympärillä, joka rajoittaa sitä, mitä tekoäly voi tehdä, vaikka sen päättely on vaikuttunut.

Useat strategiat ovat osoittaneet lupaavia tuloksia:

• Vähimmäispääsy on olennaista. Agenttien on oltava pääsy vain niiden tehtäviin tarvittaviin tiedostoihin ja toimiin. Tarpeettomien käskyjen rajoittaminen rajoittaa manipuloiden käskyjen vaikutusta.
• Ihmisen hyväksyntä vaiheet voivat estää haitalliset toimet ennen kuin ne tapahtuvat. Kun agentti yrittää herkkää toimintaa, kuten suorittaa komentoa tai päästä arkaluontoisiin tietoihin, käyttäjän on hyväksyttävä tai hylättävä pyyntö.
• Sisällön suodatus luo puskurin luotettavien ja epäluotettavien materiaalien välille ja agentin välille. Asiakirjojen, URL-osoitteiden ja ulkoisen tekstin tarkistaminen vähentää mahdollisuuksia, että piilotetut käskyt pääsevät malliin.
• Kattava lokitus on pakollista. Jokainen agentin aloittama toiminto on tallennettava ja tarkistettava. Nämä toiminnot on käsiteltävä samalla tavalla kuin yksityisten käyttäjien toimintaa.
• Agentin käyttäytymisen kartoittaminen ATT&CK-tekniikoihin auttaa puolustajia tunnistamaan, mihin kohtiin agenttia voidaan ajaa haitallisiin toimiin ja mihin kohtiin on asetettava esteitä. Se käyttää samaa järjestelmää, joka jo muodostaa puolustuksen strategian.

Nämä korvaavat valvontatoimet eivät poista riskiä. Mutta ne sisältävät sen tavalla, jota mallin tasolla olevat puolustukset eivät voi.

Mihin ala menee seuraavaksi

Teckoälyagentit edustavat suurta muutosta siinä, miten laskenta toimii. Ne tarjoavat uskomattoman tuottavuuden, mutta ne myös esittävät uuden kategorian operatiivista riskiä, joka ei mahdu olemassa oleviin turvakehyksiin. UK:n National Cyber Security Centren ohjeistus on aloitus, mutta useimmat organisaatiot ovat edelleen ilman selkeää tapaa hallita agenteja, jotka voivat toimia järjestelmässä.

Tämä hetki tuntuu samalta kuin pilvipalvelujen alkuvaiheissa. Teknologia eteni nopeammin kuin valvontaa. Organisaatiot, jotka sopeutuivat nopeasti, olivat niitä, jotka tunnistivat muutoksen aikaisin ja rakensivat prosessit sen mukaan.

Sama pitää paikkansa tässä. Teckoälyagentit eivät ole vain avustajia. Ne ovat toimijoita, joilla on järjestelmätason ulottuvuus. Niiden turvallisuuden varmistaminen vaatii uusia pelikirjoja, uusia esteitä ja uusia tapoja mallintaa altistumista.

Ala ei tarvitse pelätä näitä työkaluja. Mutta se tarvitsee ymmärtää niitä. Ja se tarvitsee liikkua nopeasti, koska hyökkääjät näkevät jo mahdollisuuden. Kysymys on, rakentavatko puolustajat oikeat suojaukset, kun heillä on vielä aikaa.