Jonathan Zanger, Chief Technology Officer at Check Point – Haastattelusarja

Jonathan Zanger, Check Pointin Chief Technology Officer, tuo harvinaisen yhdistelmän eliittiarmeijan tiedustelukokemusta, syvää AI-asiantuntemusta ja operatiivista johtamiskokemusta sekä startup-yrityksistä että globaaleista yrityksistä. Ennen nykyistä tehtäväänsä hän toimi Trigon CTO:na, jossa hän johti seuraavan sukupolven AI- ja tietokoneen näköjärjestelmien kehittämistä, jotka mahdollistivat kitkattoman vähittäiskaupan ja tappioiden eston suurten mittakaavoissa, ja johti tuotteen ja tutkimus- ja kehittämistoiminnan liniassa olevan kaupallisen käytön. Aikaisemmin hänellä oli johtavat tutkimus- ja kehittämistehtävät Trigossa ja hän vietti yli kymmenen vuotta Israelin eliittiyksikössä, Unit 8200, jossa hän lopulta johti kybernetisen tutkimus- ja kehittämisyksikköä, joka oli vastuussa kansallisen mittakaavan tiedustelu- ja kyberturvallisuusaloitteista ja ansaitsi korkeimman kansallisen tunnustuksen työstään.

Check Point Software Technologies (CHKP ) on johtava kyberturvallisuusyritys, joka tarjoaa AI-käyttöisiä, pilvipohjaisia turvallisuusratkaisuja, jotka on suunniteltu suojelemaan yrityksiä ja hallituksia yhä monimutkaisemmista digitaalisista uhista. Yritys palvelee yli 100 000 organisaatiota maailmanlaajuisesti kattavalla alustalla, joka suojaa verkkoja, pilviympäristöjä, päätepisteitä ja käyttäjiä ennaltaehkäisevällä lähestymistavalla, jonka tavoitteena on estää hyökkäykset ennen kuin ne voivat tapahtua. Sen integroitu arkkitehtuuri hyödyntää tekoälyä ja reaaliaikaisia uhkatietoja turvallisuustoimintojen yksinkertaisuuden, riskin vähentämisen ja organisaatioiden turvallisen skaalautumisen mahdollistamiseksi, kun ne omaksuvat tekoälyyn, pilvilaskentaan ja hajautettuihin järjestelmiin.

Olet johtanut laajamittaisia kyberturvallisuus- ja AI-aloitteita, rakennuttanut AI-käyttöisiä järjestelmiä Trigossa ja valvoo nyt AI-strategiaa Check Pointissa. Mitkä ovat tarkalleen ottaen epäonnistumismoodit, joita olet havainnut, kun AI-järjestelmät siirtyvät hallituilta alustoilta tuotantoon, erityisesti kun niille annetaan työkalujen ja yritysdatan käyttöoikeus?

Kaksi asiaa muuttuvat perustavasti tuotannossa. Ensinnäkin, mittakaava muuttaa reunatapaukset jokapäiväisiksi tapahtumiksi. 0,1 prosentin virheellinen positiivinen arvo kuulostaa erinomaiselta laboratoriossa, mutta kun prosessoidaan miljoonia vuorovaikutuksia, se kääntyy tuhansiksi tapahtumiksi, jotka vaativat huomiota. Tilastolliset poikkeamat testauksessa muuttuvat operatiivisiksi totuuksiksi mittakaavassa.

Toiseksi, tuotanto tarkoittaa vihamielistä altistumista. Hallitussa ympäristössä syötteet ovat hyvinvoivia ja ennustettavissa. Oikeassa maailmassa jotkut käyttäjät ja uhka-aktöörit yrittävät aktiivisesti huijata järjestelmää hyödyntäen jokaista luotettavaa tietokanavaa, joka on saatavilla, manipuloidakseen käyttäytymistä. Siirtymä demoamisesta tuotantoon ei ole skaalauksen ongelma. Se on siirtymä yhteistyökykyisestä ympäristöstä kiistellyyn ympäristöön, ja se vaatii perustavanlaatuisesti erilaisia suunnitteluoletuksia.

Agenteissä, joissa mallit voivat kutsua API:ita, suorittaa koodia ja ketjuttaa toimintoja, mitkä ovat tärkeimmät hyökkäyspinnat, joita turvallisuustiimit eivät vielä instrumentoi oikein?

Kriittinen pinta, jota useimmat tiimit aliarvioivat, on itse data. Agenteillä on pääsy luotettaviin tietolähteisiin — saapuvat sähköpostit, verkkosivut, Jira-liput, avoimen lähdekoodin, ulkoisen dokumentaation. Tietoja analysoidaan malleilla osana heidän päättelyprosessiaan.

Tämä luo kaksi konkreettista riskiä. Ensinnäkin, muistinmyrkytys — jossa manipuloitu sisältö muokkaa mallin tulevia vastauksia ja päätöksiä ilman mitään ilmeistä kehotteen syöttämistä. Toiseksi, epäsuora kehotteen syöttäminen — jossa vihamieliset ohjeet upotetaan siihen ulkoiseen dataan ja vaikuttavat malliin sisältäpäin. Hyökkääjä ei koske kehotteeseen suoraan. He vain istuttavat ohjeet, joita agentti löytää.

Kehotteen syöttäminen on usein kuvattu malliongelmana, mutta käytännössä se muuttuu järjestelmätasoisksi ongelman. Miten yritykset pitäisivät suunnitella uudelleen arkkitehtuurinsa eristääkseen mallisyötteet, työkalujen suorittamisen ja herkkien tietojen käytön?

Kehotteen syöttäminen ei ole yleinen ongelma, jolla on yleinen ratkaisu. Onko annettu syöte legitiimi vai vihamielinen, riippuu täysin asiayhteydestä. Pyytäminen agentilta “vaihda ylläpitäjän salasana” on täysin legitiimiä, jos se on tekninen tukipalvelu. Sama pyyntö verkkokaupan chatbottiin on hyökkäys.

Tämän vuoksi arkkitehtuuri on tärkeämpää kuin mikään yksittäinen havaitsemistekniikka. Järjestelmien on oltava sekä deterministisiä että ei-deterministisiä mekanismeja, jotka toimivat yhdessä. Deterministiset ohjausjärjestelmät hallitsevat pääsyä työkaluihin ja tietoihin agentin, käyttäjän ja järjestelmän määritellyn roolin perusteella. Ei-deterministiset, mallipohjaiset ohjausjärjestelmät lisäävät kyvyn ymmärtää kieltä, asiayhteyttä ja aikomusta. Tarvitset molemmat kerrokset — jäykät käytäntöjen valvonta ja älykäs asiayhteyden päättely — koska kumpikaan yksin ei ole riittävä.

Monet AI-agentit luottavat hakemiseen ja ulkoisiin tietolähteisiin. Mitkä ovat riskit datamyrkytyksen ja asiayhteyden manipuloinnin suhteen näissä putkistoihin, ja miten niitä voidaan lieventää suorituskyvyn aikana?

Riskit eroavat riippuen tietovirtauksen suunnasta. Sisäisille tietolähteille ensisijainen riski on herkkien tietojen vuoto — henkilötietojen paljastaminen, asiakastietojen jakaminen, sisäisen tiedon näyttäminen valtuuttamattomille osapuolille. Ulkoisille tietolähteille riskit sisältävät mallinharhaisuuden vahvistamattoman tiedon kautta, epäsuoran kehotteen syöttämisen, joka on upotettu noudatettavaan sisältöön, ja riippuvuuden epäluotettavista tai manipuloitavista lähteistä.

Lieventäminen on tehtävä transaktiotasolla, reaaliajassa. Jokaisen agenteiden vuorovaikutuksen on oltava turvattu molemmin puolin: varmistetaan, että herkkät tiedot eivät vuoda sisältäpäin ulospäin, ja varmistetaan, ettei myrkyllistä tai vihamielistä tietoa syötetä ulkoa järjestelmään tai malliin. Et voi ratkaista tätä ainoastaan syötteen aikana, koska asiayhteys on dynaaminen ja uhkakuvat muuttuvat jatkuvasti.

Haluatko kertoa AI-puolustussiitä, joka esittelee yhdenmukaisen valvontakerroksen työntekijöiden AI-käytölle, sovelluksille ja agenteille. Mitkä olivat suurimmat arkkitehtuuriset haasteet rakennettaessa järjestelmää, joka voi havainnoida ja valvoa käytäntöjä hajanaisen AI-pinojen yli?

Uskomme, että lähitulevaisuudessa agenteille ominaiset työkuormat kattavat päätepisteet, sovellukset, SaaS-palvelut ja pilvityökuormat — kaikki hyperkytkettyjä siinä, mitä kutsumme “agenttien internetiksi”. AI-puolustuskerroksen idea on löytää, hallita ja suojella kehittyvää yritysten agenteille ominaista infrastruktuuria yhdessä näkymässä.

Perusarkkitehtuurinen haaste on dynaaminen arviointi jokaisen agentin riskiprofiilia ja asiayhteyttä samalla kehittäen tehokkaita reaaliaikaisia suojaustoimia jokaiselle agenteille ominaiselle transaktiolle. Tämä tarkoittaa korkeiden estoimien ylläpitämistä todellisia uhkia vastaan samalla vähentäen virheellisiä positiivisia tuloksia tuotannon nopeudella ja mittakaavalla useissa suoritettavissa ympäristöissä. Järjestelmän rakentaminen, joka voi havainnoida ja valvoa käytäntöjä yhdenmukaisesti hajanaisen ja nopeasti kehittyvän AI-pinon yli, edellytti meiltä uudelleenarviointia, miten abstrahdimme ja arvioimme AI-toimintaa perustasolla.

Alustan painopiste on reaaliaikaisessa päätöksenteossa koneen nopeudella eri kielillä ja työnkulkujen yli. Miten tasapainotat viivevaatimukset syvän AI-käyttöisten toimintojen tarkastelun ja valvonnan tarpeen tuotantoympäristöissä?

Kehitämme ja koulutamme perusmalleja nimenomaan uhkaeston estämiseksi, ja käytämme tislaustekniikoita tehdäkseen niistä erittäin tehokkaita. Se mahdollistaa nopean suorittamisen ja vähäisen laskennan — jopa CPU:illa tai perus-GPU:illa — samalla ylläpitäen monikielisen ja monitapaista kattavuutta, mukaan lukien kuvan ja äänen analyysi, maksimaalisen tarkin.

Tämä lähestymistapa mahdollistaa agenteille ominaisten transaktioiden syvän tarkastelun ilman, että se muodostuu pullonkaulaksi. Turvallisuus, joka aiheuttaa hyväksymättömän viiveen, ohitetaan. Turvallisuus, joka on näkymätön työnkulkuun, mutta joka toteuttaa merkityllisiä valvontaa, on se, mikä todella otetaan käyttöön ja pysyy käytössä.

AI-agentit toimivat yhä useammin valtuutettujen oikeuksien kanssa useiden järjestelmien yli. Miten organisaatioiden pitäisi uudelleenarvioida identiteetin ja pääsyoikeuksien hallintaa epä-ihmishahmoille, erityisesti kun agentit laajentavat dynaamisesti aluettaan työkalujen avulla?

Virhe, jonka useimmat organisaatiot tekevät, on kohdella AI-agenteja joko ihmiskäyttäjien laajennuksina tai perinteisinä palvelutileinä. Kumpikaan malli ei sovi. Ajattele niitä digitaalisina työntekijöinä — yksiköinä, joilla on määritellyt roolit, vastuut ja rajat.

Agentin identiteetti on määriteltävä kolmella ulottuvuudella: työnkululla, jonka agentti suorittaa, käyttäjällä, joka omistaa tai loi agentin, ja käyttäjällä, joka on tällä hetkellä vuorovaikutuksessa sen kanssa. Kaikki kolme tekijää muokkaavat, mitä agentin pitäisi voida tehdä. Organisaatioiden on sovellettava nollatrust-periaatteita agenteihin — älä oleta luottamusta alkuperän perusteella, tarkista jatkuvasti käyttäytyminen ja valvoa vähimmäispääsyä jokaisessa vaiheessa. Ilman tätä agentit keräävät hiljaisesti enemmän valtuuksia, kuin kukaan on aikonut.

Useimmat yritykset käyttävät nykyään varjossaan olevaa AI-käyttöä, kuten kopioita, laajennuksia ja sisäisiä skriptejä. Mitkä ovat telemetria, joita turvallisuustiimien on kerättävä, jotta he saavat todellisen näkyvyyden siihen, miten AI on vuorovaikutuksessa herkkien tietojen kanssa?

Näkyvyys on toimiva agenteille ominaisen transaktiotasolla — ei ainoastaan kehotteita ja vastauksia, vaan työkalukutsuja, tietoa, jota nämä työkalut palauttavat, ja toimia, jotka suoritetaan niiden seurauksena. Turvallisuustiimien on nähtävä koko ketju: mitä pyydettiin, mitä tietoja käytettiin, mitkä työkalut kutsuttiin, mitkä parametrit siirrettiin ja mitä tapahtui seuraavaksi.

Ilman tätä transaktiotasolla olevaa telemetriaa et voi vastata perustavaa kysymyksiin altistumisesta, väärinkäytöstä tai vaikutuksesta. Varjossaan oleva AI ei ole vaarallista, koska se on olemassa. Se on vaarallista, koska se toimii ilman tällaista hallintaa tai näkyvyyttä.

Punainen tiimi agenteille on perustavanlaatuisesti erilainen kuin staattisten sovellusten testaaminen. Miten simuloit vihamielistä käyttäytymistä monivaiheisissa työnkuluissa, ja mitä hyökkäystyyppejä paljastetaan yleisimmin?

Toimimme Gandalf (https://gandalf.lakera.ai), joka on maailman suurin AI-punainen tiimiharjoitus. Se on joukkorahoitettu alusta, jossa todelliset käyttäjät yrittävät saada AI-agentit rikkomaan varmistuksensa. Tämä antaa meille ainutlaatuisen ja jatkuvasti kasvavan aineiston todellisista vihamielisistä taktiikoista — ei teoreettisista hyökkäyksistä, vaan strategioista, joita todelliset ihmiset käyttävät manipuloidakseen AI-järjestelmiä.

Hyödynnämme tätä aineistoa ohjaamaan punaisten tiimien kykyjämme. Hyökkäykset, joita näemme useimmin, liittyvät käyttäjiin, jotka vakuuttavat agentteja vähitellen rikkomaan rajoituksiaan — epäsuoran kehotteen syöttämisen, luovien uudelleenmuotoilun, asiayhteyden manipuloinnin ja astettavien luottamuksen hyödyntämisen kautta monivaiheisissa vuorovaikutuksissa. Nämä ongelmat ovat näkymättömiä, jos testaat vain yksittäisiä kehotteita. On testattava jonoja ja kestäviä vihamielisiä kampanjoita.

Kun hyökkääjät alkavat käyttää autonomisia agenteja järjestelmien tutkimiseen jatkuvasti, odotatko, että puolustus siirtyy reaaliaikaisiin mukautuvaisiin ohjauksiin, jotka perustuvat tekoälyyn, ja miltä arkkitehtuuri näyttää käytännössä?

Kyllä. Staattiset puolustukset eivät voi pitää tahtia autonomisten hyökkääjien kanssa, jotka toimivat jatkuvasti. Puolustuksen on oltava mukautuva, reaaliaikainen ja automaattinen. Tämä tarkoittaa AI-käyttäytymisen reaaliaikaista seurantaa, jatkuvaa riskiarviointia ja välitöntä täytäntöönpanoa, kun käytäntöjä rikotaan. Tekoälyohjattujen hyökkäysten nopeus ja mittakaava voidaan torjua vain yhtä nopeilla, koneen nopeudella toimivilla puolustuksilla.

Käytännössä turvallisuus muuttuu palautekehäksi sääntöjen sijaan. Tekoälyjärjestelmiä havainnoidaan, arvioidaan ja rajoitetaan dynaamisesti, samalla nopeudella ja mittakaavalla kuin ne toimivat. Tämä siirtymä on välttämätön, jos organisaatiot haluavat ottaa tekoälyn turvallisesti käyttöön yrityskoossa.

Kiitos hienosta haastattelusta, lukijoille, jotka haluavat oppia lisää, on suositeltavaa vierailla Check Point Software Technologies -sivustolla.