Jonathan Zanger, teknologidirektør i Check Point – Intervju-serie

Jonathan Zanger, teknologidirektør i Check Point, bringer en sjelden kombinasjon av elitemilitær etterretningserfaring, dyp AI-ekspertise og operasjonell ledelse i både startups og globale bedrifter. Før sin nåværende stilling var han CTO i Trigo, der han ledet utviklingen av neste generasjons AI- og datavisjonssystemer som muliggjorde friksjonsløs detaljhandel og tapforebygging i stor skala, samtidig som han koordinerte produkt- og FoU-utvikling med kommersiell utrulling. Tidligere hadde han ledende FoU-roller i Trigo og tilbrakte over ett tiår i Israels eliteenhet 8200, der han til slutt ledet en cyber-FoU-avdeling som var ansvarlig for nasjonalskala intelligens- og cybersikkerhetsinitiativer og mottok nasjonal anerkjennelse for sitt arbeid.

Check Point Software Technologies (CHKP ) er en global leder innen cybersikkerhet, og tilbyr AI-drevne, skybaserte sikkerhetsløsninger som er designet for å beskytte bedrifter og myndigheter mot stadig mer sofistikerte digitale trusler. Selskapet betjener over 100 000 organisasjoner verden over med en omfattende plattform som sikrer nettverk, sky-miljøer, sluttpunkter og brukere gjennom en forebyggende tilnærming som har som mål å stoppe angrep før de skjer. Deres integrerte arkitektur utnytter kunstig intelligens og sanntids trusselintelligens for å forenkle sikkerhetsoperasjoner, redusere risiko og muliggjøre at organisasjoner kan skaleres trygt når de tar i bruk AI, skydatadeling og distribuerte systemer.

DU har ledet større skala cybersikkerhets- og AI-initiativer, bygget AI-drevne systemer i Trigo, og nå overvåker AI-strategi i Check Point. Hva er de spesifikke feilmodusene du har observert når AI-systemer går fra kontrollerte miljøer til produksjon, særlig når de får tilgang til verktøy og bedriftsdata?

To ting endrer seg fundamentalt i produksjon. Først endrer skalaen seg fra randtilfeller til hverdagslige hendelser. En feilrate på 0,1 prosent lyder utmerket i laboratoriet, men når du prosesserer millioner av interaksjoner, oversettes det til tusenvis av hendelser som krever oppmerksomhet. Statistiske outliers i testing blir operasjonelle realiteter i skala.

For det andre betyr produksjon adversarial eksponering. I en kontrollert miljø er inndata benevnte og forutsigbare. I den virkelige verden vil noen brukere og trusselaktører aktivt prøve å lure systemet, ved å utnytte hver eneste uverifisert datakanal tilgjengelig for å manipulere atferd. Overgangen fra demo til produksjon er ikke et skaleringsproblem. Det er en overgang fra et samarbeidende miljø til et kontestert miljø, og det krever fundamentalt forskjellige designantagelser.

I agensystemer, der modeller kan ringe API-er, kjøre kode og kjede handlinger, hva er de mest kritiske angrepsflatene som sikkerhetsteamene fortsatt ikke instrumenterer ordentlig?

Den kritiske overflaten som de fleste teamene undervurderer, er dataene selv. Agensystemer aksesserer ofte uverifiserte datakilder — innkommende e-poster, nettsider, Jira-billetter, åpen kildekode, ekstern dokumentasjon. Disse dataene blir innlemmet og analysert av modellene som en del av deres resonneringsprosess.

Dette skaper to konkrete risikoer. Først, minneforgiftning — der manipulert innhold subtilt former modellens fremtidige responser og avgjørelser uten noen åpenbar promptinjeksjon. For det andre, indirekte promptinjeksjon — der adversarial instruksjoner er innlemmet i den eksterne dataen og effektivt “jailbreaker” modellen fra innen. Angriperen berører aldri prompten direkte. De planter bare instruksjoner der agenten vil finne dem.

Promptinjeksjon blir ofte fremstilt som et modellproblem, men i praksis blir det et systemnivåproblem. Hvordan bør bedrifter omstrukturere sin arkitektur for å isolere modellinndata, verktøkskjøring og sensitiv dataadgang?

Promptinjeksjon er ikke et universelt problem med en universell løsning. Om en gitt innputt er legitim eller adversarial, avhenger fullstendig av kontekst. Å be en agent om å “endre adminens passord” er fullstendig legitimt hvis det er en teknisk hjelpdesksagent. Samme forespørsel til en nettbutikks chatbot er et angrep.

Dette er hvorfor arkitektur betyr mer enn noen enkelt detekteringsteknikk. Systemer trenger både deterministiske og ikke-deterministiske mekanismer som arbeider sammen. Deterministiske kontroller administrerer tilgang til verktøy og data basert på agentens identitet, brukerens identitet og systemets definerte rolle. Ikke-deterministiske, modellbaserte kontroller legger til evnen til å forstå språk, kontekst og intensjon. Du trenger begge lag — rigid politikkstyring og intelligent kontekstuell resonnering — fordi ingen av dem alene er tilstrekkelig.

Mange AI-agenter avhenger av gjennopprettende generering og eksterne datakilder. Hva er risikoene rundt datapforgiftning og kontekstmanipulering i disse pipelineene, og hvordan kan de mitigieres på kjøretid?

Risikoene varierer avhengig av datastrømmens retning. For interne datakilder er den primære risikoen sensitiv datalekkasje — PII-eksponering, kunde-data-delning, intern informasjon som blir fremmet til uautoriserte parter. For eksterne datakilder inkluderer risikoene modellforvrengning fra uverifisert informasjon, indirekte promptinjeksjon innlemmet i hentet innhold og avhengighet av uverifisert eller manipulert kilder.

Mitigering må skje på transaksjonsnivå, i sanntid. Hver agensinteraksjon må sikres i begge retninger: sikre sensitiv data ikke lekker fra innside til utsiden, og sikre forgiftet eller adversarial informasjon ikke blir matet fra utsiden inn i systemet eller modellen. Du kan ikke løse dette på innmatnings tid alene fordi kontekst er dynamisk og trussellandskapet endrer seg kontinuerlig.

Din AI-forsvarsgrense introduserer et forent kontrolllag på tvers av ansatt AI-bruk, applikasjoner og agenssystemer. Hva var de største arkitektoniske utfordringene i å bygge et system som kan observere og påtvinge politikk på tvers av så fragmentert AI-stakk?

Vi tror at i nær fremtid vil agensarbeidsbelastninger omfatte sluttpunkter, applikasjoner, SaaS-tjenester og skyarbeidsbelastninger — alle hyper-tilkoblet i det vi kaller “Internett av agenter”. Idéen bak AI-forsvarsgrensen er å oppdage, styre og beskytte denne evoluerende bedriftsagens-infrastrukturen innen én pane av glass.

Den grunnleggende arkitektoniske utfordringen er å dynamisk vurdere risikoprofilen og konteksten til hver enkelt agent samtidig som vi utvikler effektiv sanntidsbeskyttelse for hver enkelt agens-transaksjon. Det betyr å opprettholde høye blokkeringsrater mot ekte trusler samtidig som vi minimerer feilpositive — på produksjonshastighet og skala, på tvers av flere kjørende miljøer. Å bygge et system som kan observere og påtvinge politikk konsistent på tvers av så fragmentert og raskt evoluerende AI-stakk, krevde at vi måtte tenke om hvordan vi abstraherer og vurderer AI-aktivitet på et grunnleggende nivå.

Plattformen betoner sanntidsavgjørelse på maskinhastighet på tvers av språk og arbeidsflyter. Hvordan balanserer du latensbegrensninger med behovet for dypt inspeksjon og kontroll av AI-drevne handlinger i produksjonsmiljøer?

Vi utvikler og trener grunnmodeller spesifikt for trusselforebygging, og så bruker vi destillasjonsteknikker for å gjøre dem ekstremt effektive. Det lar oss kjøre inferens raskt og med minimal beregning — selv på CPU-er eller kommodity-GPU-er — samtidig som vi opprettholder flerspråklig og multimodal dekning, inkludert bilde- og lydanalyse, med maksimal nøyaktighet.

Dette tilnærmingen lar oss inspisere agens-transaksjoner dypt uten å bli en flaskehals. Sikkerhet som introduserer uakseptable latens, vil bli omgått. Sikkerhet som er usynlig for arbeidsflyten, men påtvinger meningsfulle kontroller, er det som faktisk blir deployet og forblir deployet.

AI-agenter opererer stadig med delegeerte tillatelser på tvers av flere systemer. Hvordan bør organisasjoner omtenke identitet og tilgangsstyring for ikke-menneskelige aktører, særlig når agenter dynamisk utvider sin omfang gjennom verktøysbruk?

Feilen de fleste organisasjoner gjør, er å behandle AI-agenter enten som utvidelser av menneskelige brukere eller som tradisjonelle tjenekontoer. Ingen av disse modellene passer. Tenk på dem som digitale ansatte — enheter med definerte roller, ansvar og grenser.

Agent-identitet bør defineres av tre dimensjoner: den spesifikke arbeidsflyten agenten kjører, brukeren som eier eller opprettet agenten, og brukeren som for øyeblikket interagerer med den. Alle tre faktorene former hva agenten bør være tillatt å gjøre. Ut over det, må organisasjoner anvende null-tillitsprinsipper på agenter — aldri anta tillit basert på opphav, kontinuerlig verifiser atferd og påtving least-privilege-tilgang på hvert trinn. Uten dette, vil agenter stille og rolig akkumulere mer myndighet enn noen hadde til hensikt.

De fleste bedrifter har nå skygge-AI-bruk på tvers av copiloter, plug-ins og interne skript. Hva slags telemetri bør sikkerhetsteamene samle inn for å få virkelig synlighet i hvordan AI interagerer med sensitiv data?

Synlighet må fungere på agens-transaksjonsnivå — ikke bare promter og responser, men verktøksanrop, data returnert av disse verktøyene, og handlinger tatt som resultat. Sikkerhetsteamene må se hele kjeden: hva som ble spurt, hvilke data ble aksessert, hvilke verktøy ble innkalt, hvilke parametre ble overført, og hva skjedde deretter.

Uten denne transaksjonsnivå-telemetrien, kan du ikke svare på grunnleggende spørsmål om eksponering, misbruk eller påvirkning. Skygge-AI er ikke farlig fordi den eksisterer. Det er farlig fordi den opererer uten denne nivået av styring eller innsikt.

Red teaming av agenssystemer er fundamentalt forskjellig fra testing av statiske applikasjoner. Hvordan simulerer du adversarial atferd på tvers av flertrinns-arbeidsflyter, og hva slags utnyttelser er mest vanlig åpenbart?

Vi opererer Gandalf (https://gandalf.lakera.ai), som er den største AI-red team-øvelsen i verden. Det er en crowdsourcet plattform hvor virkelige brukere prøver å overtale AI-agenter til å bryte sine guardrails. Det gir oss en unik og kontinuerlig voksende datasett av faktiske adversarial-teknikker — ikke teoretiske angrep, men strategier virkelige mennesker bruker for å manipulere AI-systemer.

Vi utnytter dette datasett til å drive våre red team-kapasiteter. Angrepene vi ser mest, involverer brukere som gradvis overtaler agenter til å bryte sine begrensninger — gjennom indirekte promptinjeksjon, kreative omramminger, kontekstmanipulering og inkrementell tillitsutnyttelse på tvers av flertrinns-interaksjoner. Disse problemene er usynlige hvis du bare tester enkelt-promter. Du må teste sekvenser og pågående adversarial-kampanjer.

Når angripere begynner å bruke autonome agenter til å teste systemer kontinuerlig, forventer du at forsvar vil skifte mot sanntids-adaptive kontroller drevet av AI, og hva ser denne arkitekturen ut som i praksis?

Ja. Statiske forsvar kan ikke holde pace med autonome angripere som opererer kontinuerlig. Forsvar må bli adaptivt, kjøretidsdrevet og automatisert. Dette betyr sanntids-overvåking av AI-atferd, kontinuerlig risikovurdering og umiddelbar påtving når politikker blir brutt. Hastigheten og skalaen til AI-drevne angrep vil bare bli motvirket av like raske, maskin-hastighets-forsvar.

I praksis blir sikkerhet en feedback-løkke i stedet for en regelsett. AI-systemer er observert, evaluert og begrenset dynamisk, i samme hastighet og skala som de opererer. Denne skiftet er essensiell hvis organisasjoner ønsker å deployere AI trygt på bedriftsskala.

Takk for det flotte intervjuet, lesere som ønsker å lære mer, bør besøke Check Point Software Technologies.