Jonathan Zanger, Chief Technology Officer hos Check Point – Interviewserie

Jonathan Zanger, Chief Technology Officer hos Check Point, bringer en sjælden kombination af elite-militær efterretningserfaring, dyb AI-ekspertise og operationel ledelse på tværs af både startups og globale virksomheder. Før sin nuværende stilling fungerede han som CTO hos Trigo, hvor han ledte udviklingen af næste generations AI- og computer vision-systemer, der muliggør friktionssvage butikker og tabsforebyggelse i stor skala, samtidig med at han harmoniserede produkt- og R&D med virkelige kommercielle udrulninger. Tidligere havde han senior R&D-ledelsesroller hos Trigo og tilbragte mere end et årti i Israels eliteenhed Unit 8200, hvor han til sidst ledede en cyber R&D-afdeling, der var ansvarlig for nationalt niveau-intelligence og cybersikkerhedsinitiativer og fik topnational anerkendelse for sit arbejde.

Check Point Software Technologies (CHKP ) er en global leder inden for cybersikkerhed, der tilbyder AI-drevne, cloud-leverede sikkerheds løsninger, der er designet til at beskytte virksomheder og regeringer mod stadig mere sofistikerede digitale trusler. Virksomheden betjener mere end 100.000 organisationer på verdensplan med en omfattende platform, der sikrer netværk, cloud-miljøer, slutpunkter og brugere gennem en forebyggelses-tilgang, der sigter på at stoppe angreb, før de sker. Dens integrerede arkitektur udnytter kunstig intelligens og realtids-trussels-intelligence til at simplificere sikkerhedsoperationer, reducere risiko og enable organisationer til at skala sikkerhed, når de adopterer AI, cloud-computing og distribuerede systemer.

De har ledet store skala-cybersikkerheds- og AI-initiativer, bygget AI-drevne systemer hos Trigo og overvåger nu AI-strategi hos Check Point. Hvad er de specifikke fejlmodi, du har observeret, når AI-systemer går fra kontrollerede miljøer til produktion, især når de får adgang til værktøjer og virksomhedsdata?

To ting ændrer fundamentalt i produktion. Først ændrer skalaen kanttilfælde til hverdagsbegivenheder. En fejlmargin på 0,1 procent lyder fremragende i laboratoriet, men når du behandler millioner af interaktioner, oversætter det sig til tusinder af begivenheder, der kræver opmærksomhed. Statistiske outliers i testning bliver operationelle realiteter i stor skala.

Anden, produktion betyder fjendtlig eksponering. I et kontrolleret miljø er input benign og forudsigelig. I den virkelige verden vil nogle brugere og trusselsaktører aktivt prøve at narre systemet, udnyttende hver eneste upålidelig datakanal til at manipulere adfærd. Overgangen fra demo til produktion er ikke et skala-problem. Det er en skift fra et samarbejdende miljø til et kontroversielt, og det kræver fundamentalt forskellige design-antagelser.

I agensystemer, hvor modeller kan kalde API’er, udføre kode og kæde handlinger, hvad er de mest kritiske angrebsflader, som sikkerheds hold stadig ikke instrumenterer ordentligt?

Den kritiske overflade, som de fleste hold undervurderer, er dataene selv. Agensystemer adgang til upålidelige datakilder – indgående e-mails, websteder, Jira-billetter, open-source-kode, eksterne dokumentation. Denne data indtages og analyseres af modeller som en del af deres resonansproces.

Dette skaber to konkrete risici. Først, hukommelsesforgiftning – hvor manipuleret indhold subtilt former modellens fremtidige svar og beslutninger uden nogen åbenlys prompt-injektion. Anden, indirekte prompt-injektion – hvor fjendtlige instruktioner er indlejret i den eksterne data og effektivt bryder modellen ud fra indersiden. Angriberen rører aldrig prompten direkte. De planter blot instruktioner, hvor agenten vil finde dem.

Prompt-injektion er ofte fremstillet som et model-problem, men i praksis bliver det et system-niveau-problem. Hvordan skal virksomheder omstrukturere deres arkitektur for at isolere model-input, værktøjs-eksekvering og følsom data-adgang?

Prompt-injektion er ikke et universelt problem med en universel løsning. Om en given input er legitimitet eller fjendtlig afhænger helt af kontekst. At bede en agent om at “ændre administratorens adgangskode” er fuldstændig legitimitet, hvis det er en teknisk hjælpeagent. Samme anmodning til en online-forhandlerens chatbot er et angreb.

Dette er hvorfor arkitektur er vigtigere end nogen enkelt detektionsteknik. Systemer behøver både deterministiske og ikke-deterministiske mekanismer, der arbejder sammen. Deterministiske kontroller styrer adgang til værktøjer og data baseret på agentens identitet, brugerens identitet og systemets definerede rolle. Ikke-deterministiske, model-baserede kontroller tilføjer evnen til at forstå sprog, kontekst og hensigt. Du behøver begge lag – stærk politik-gennemførelse og intelligent kontekstuel forståelse – fordi ingen af dem alene er tilstrækkelig.

Mange AI-agenter afhænger af retrieval-forstærket generering og eksterne datakilder. Hvad er risiciene omkring data-forgiftning og kontekst-manipulation i disse rørledninger, og hvordan kan de afhjælpes på kørselstid?

Risiciene varierer afhængigt af datastrømmens retning. For interne datakilder er den primære risiko følsom data-lækage – PII-eksponering, cross-kunde-data-deling, interne oplysninger, der bliver fremhævet til uautoriserede parter. For eksterne datakilder omfatter risiciene model-forvrængning fra uverificerede oplysninger, indirekte prompt-injektion indlejret i hentet indhold og afhængighed af upålidelige eller manipulerede kilder.

Afhjælpning skal ske på transaktionsniveauet i realtid. Hver agens-interaktion skal sikres i begge retninger: sikre, at følsomme data ikke lækker fra indersiden til ydersiden, og sikre, at forgiftet eller fjendtlig information ikke føres ind i systemet eller modellen. Du kan ikke løse dette på indtagelses-tid alene, fordi kontekst er dynamisk, og trusselslandskabet ændrer sig kontinuerligt.

Dit AI-forsvarsplan introducerer et samlet kontrol-lag på tværs af medarbejder-AI-brug, applikationer og agens-systemer. Hvad var de største arkitektoniske udfordringer i at bygge et system, der kan observere og gennemtvinge politik på tværs af sådan en fragmenteret AI-stak?

Vi mener, at i den nærmeste fremtid vil agens-arbejdsbyrder omfatte slutpunkter, applikationer, SaaS-tjenester og cloud-arbejdsbyrder – alle hyper-tilsluttede i, hvad vi kalder “Internet of Agents”. Idéen bag AI-forsvarsplanen er at opdage, styre og beskytte denne udviklende virksomheds-agens-infrastruktur inden for ét kontrolpane.

Den grundlæggende arkitektoniske udfordring er dynamisk at evaluere risikoprofilen og konteksten for hver agent, samtidig med udvikling af effektiv realtidsbeskyttelse for hver agens-transaktion. Det betyder opretholdelse af høje blok-rater mod ægte trusler, mens minimale falske positiver opretholdes – på produktionshastighed og skala, på tværs af multiple kørende miljøer. At bygge et system, der kan observere og gennemtvinge politik konsekvent på tværs af sådan en fragmenteret og hurtigt udviklende AI-stak, krævede, at vi genovervejede, hvordan vi abstraherede og evaluerede AI-aktivitet på et grundlæggende niveau.

Platformen fremhæver realtidsbeslutning på maskine-hastighed på tværs af sprog og arbejdsgange. Hvordan balancerer du latency-begrænsninger med behovet for dyb inspektion og kontrol af AI-drevne handlinger i produktions-miljøer?

Vi udvikler og træner grundlæggende modeller specifikt til trusselsforebyggelse, derefter bruger vi destillations-teknikker til at gøre dem ekstremt effektive. Det tillader os at køre inference hurtigt og med minimal beregning – selv på CPU’er eller commodity-GPU’er – samtidig med at vi opretholder multi-sprog- og multi-modal-dækning, herunder billed- og lyd-analyse, med maksimal nøjagtighed.

Dette tillader os at inspicere agens-transaktioner dybt uden at blive en flaskehals. Sikkerhed, der introducerer utilacceptabel latency, vil blive omgået. Sikkerhed, der er usynlig for arbejdsgangen, men gennemtvinger meningsfulde kontroller, er det, der faktisk bliver implementeret og forbliver implementeret.

AI-agenter opererer stadig med delegerede tilladelser på tværs af multiple systemer. Hvordan skal organisationer omstrukturere deres identitets- og adgangsstyring for ikke-menneskelige aktører, især når agenter dynamisk udvider deres omfang gennem værktøjs-brug?

Fejlen, de fleste organisationer begår, er at behandle AI-agenter enten som udvidelser af menneskelige brugere eller som traditionelle service-konti. Ingen af disse modeller passer. Tænk på dem som digitale medarbejdere – entiteter med definerede roller, ansvar og grænser.

Agent-identitet skal defineres af tre dimensioner: den specifikke arbejdsgang, agenten udfører, brugeren, der ejer eller oprettede agenten, og brugeren, der interagerer med det. Alle tre faktorer former, hvad agenten skal være tilladt at gøre. Derudover skal organisationer anvende zero-trust-principper på agenter – aldrig antage tillid baseret på oprindelse, kontinuerligt verificere adfærd og gennemtvinge mindst-privilegeret adgang på hvert trin. Uden dette vil agenter stille stille samle mere autoritet, end nogen havde til hensigt.

De fleste virksomheder har nu skygge-AI-brug på tværs af co-piloter, plugins og interne scripts. Hvad telemetri skal sikkerheds-hold indsamle for at opnå rigtig indsigt i, hvordan AI interagerer med følsomme data?

Indsigt skal fungere på agens-transaktionsniveau – ikke kun prompts og svar, men værktøjs-kald, den data, der returneres af disse værktøjer, og de handlinger, der udføres herefter. Sikkerheds-hold skal se den fulde kæde: hvad der blev spurgt, hvilken data der blev adgang til, hvilke værktøjer der blev aktiveret, hvilke parametre der blev overført, og hvad der skete herefter.

Uden denne transaktions-niveau-telemetri kan du ikke besvare grundlæggende spørgsmål om eksponering, misbrug eller impact. Skygge-AI er ikke farlig, fordi det eksisterer. Det er farligt, fordi det opererer uden denne niveau af styring eller indsigt.

Red teaming agens-systemer er fundamentalt forskelligt fra testning af statiske applikationer. Hvordan simulerer du fjendtlig adfærd på tværs af multi-trins-arbejdsgange, og hvilke typer af udnyttelser er mest almindeligt afsløret?

Vi driver Gandalf (https://gandalf.lakera.ai), der er verdens største AI-red-teaming-øvelse. Det er en crowdsourced-platform, hvor virkelige brugere forsøger at overtale AI-agenter til at bryde deres grænser. Det giver os en unik og kontinuerligt voksende dataset af virkelige fjendtlige teknikker – ikke teoretiske angreb, men de strategier, virkelige mennesker bruger til at manipulere AI-systemer.

Vi udnytter denne dataset til at drive vores red-teaming-kapaciteter. De angreb, vi ser oftest, involverer brugere, der gradvist overtaler agenter til at krænke deres begrænsninger – gennem indirekte prompt-injektion, kreativ omformulering, kontekst-manipulation og inkremental tillids-udnyttelse på tværs af multi-trins-interaktioner. Disse problemer er usynlige, hvis du kun tester enkelt-prompts. Du skal teste sekvenser og bærende fjendtlige kampagner.

Som angribere begynder at bruge autonome agenter til at afprøve systemer kontinuerligt, forventer du, at forsvar skal skifte mod realtids-tilpasnings-kontroller drevet af AI, og hvordan ser denne arkitektur ud i praksis?

Ja. Statisk forsvar kan ikke følge med autonome angribere, der opererer kontinuerligt. Forsvar skal blive tilpasningsdygtigt, kørsels-drevet og automatiseret. Dette betyder realtids-overvågning af AI-adfærd, kontinuerlig risiko-vurdering og øjeblikkelig gennemtvingelse, når politikker bliver overtrådt. Hastigheden og skalaen af AI-drevne angreb vil kun blive modsvaret af lige så hurtige, maskine-hastighed-forsvar.

I praksis bliver sikkerhed en feedback-løkke snarere end en regel-sæt. AI-systemer er observeret, evalueret og begrænset dynamisk, i samme hastighed og skala, som de opererer. Denne skift er afgørende, hvis organisationer ønsker at implementere AI sikkert på virksomheds-skala.

Tak for det store interview, læsere, der ønsker at lære mere, skal besøge Check Point Software Technologies.