Jonathan Zanger, Chief Technology Officer på Check Point – Intervjuserie

Jonathan Zanger, Chief Technology Officer på Check Point, har en sällsynt kombination av elit militär underrättelseerfarenhet, djup AI-expertis och operativ ledning inom både startups och globala företag. Före sin nuvarande roll var han CTO på Trigo, där han ledde utvecklingen av nästa generations AI- och datorseendesystem som möjliggjorde friktionfri detaljhandel och förlustförhindrande i stor skala, samtidigt som han anpassade produkt och FoU till verklig kommersiell distribution. Tidigare hade han seniora FoU-ledningsroller på Trigo och tillbringade över ett decennium i Israels elit-enhet 8200, där han slutligen ledde en cyber-FoU-avdelning som var ansvarig för nationell skala underrättelse- och cybersäkerhetsinitiativ och fick hög nationell erkänsla för sitt arbete.

Check Point Software Technologies är en global ledare inom cybersäkerhet, som tillhandahåller AI-drivna, molnbaserade säkerhetslösningar som är utformade för att skydda företag och regeringar från alltmer avancerade digitala hot. Företaget servar över 100 000 organisationer världen över med en omfattande plattform som säkrar nätverk, molnmiljöer, slutpunkter och användare genom en förebyggande första strategi som syftar till att stoppa attacker innan de inträffar. Dess integrerade arkitektur utnyttjar artificiell intelligens och realtids-hotinformation för att förenkla säkerhetsoperationer, minska risker och möjliggöra för organisationer att skala säkert när de antar AI, molnberäkning och distribuerade system.

Du har lett storskaliga cybersäkerhets- och AI-initiativ, byggt AI-drivna system på Trigo och övervakar nu AI-strategin på Check Point. Vilka specifika felmoder har du observerat när AI-system övergår från kontrollerade miljöer till produktion, särskilt när de får åtkomst till verktyg och företagsdata?

Två saker förändras grundläggande i produktion. Först förvandlas skalans kanter till vardagliga händelser. En falsk positiv frekvens på 0,1 procent låter utmärkt i labbet, men när du bearbetar miljontals interaktioner, översätts det till tusentals incidenter som kräver uppmärksamhet. Statistiska utbrytare i test blir operativa verkligheter i skala.

Sedan betyder produktion advers exponering. I en kontrollerad miljö är indata benigna och förutsägbara. I den verkliga världen kommer vissa användare och hotaktörer att aktivt försöka lura systemet, utnyttja varje otrustad datakanal som finns tillgänglig för att manipulera beteendet. Övergången från demo till produktion är inte ett skalproblem. Det är en övergång från en samarbetsmiljö till en kontroversiell, och det kräver grundläggande olika designantaganden.

I agenssystem, där modeller kan anropa API:er, köra kod och kedja åtgärder, vad är de mest kritiska angreppsytor som säkerhetsteam fortfarande inte instrumenterar ordentligt?

Den kritiska ytan som de flesta team underskattar är själva datan. Agenssystem har regelbundet åtkomst till otrustade datakällor – inkommande e-post, webbplatser, Jira-biljett, öppen källkod, extern dokumentation. Den datan hämtas och analyseras av modeller som en del av deras resonemangsprocess.

Detta skapar två konkreta risker. Först minnesförgiftning – där manipulerat innehåll subtilt formar modellens framtida svar och beslut utan någon uppenbar promptinjektion. Andra, indirekt promptinjektion – där adversariala instruktioner är inbäddade i den externa datan och effektivt “jailbreaker” modellen inifrån. Angriparen rör aldrig prompten direkt. De planterar bara instruktioner där agenter kommer att hitta dem.

Promptinjektion beskrivs ofta som ett modellproblem, men i praktiken blir det ett systemnivåproblem. Hur bör företag omforma sin arkitektur för att isolera modellindata, verktygsutförande och känslig dataåtkomst?

Promptinjektion är inte ett universellt problem med en universell lösning. Om en given indatamängd är legitim eller adversarial beror helt på sammanhanget. Att be en agent att “ändra adminns lösenord” är fullständigt legitimt om det är en teknisk hjälpdeskagent. Samma begäran till en online-återförsäljares chattbot är ett angrepp.

Detta är varför arkitektur betyder mer än någon enskild upptäckningsteknik. System behöver både deterministiska och icke-deterministiska mekanismer som arbetar tillsammans. Deterministiska kontroller hanterar åtkomst till verktyg och data baserat på agentens identitet, användarens identitet och systemets definierade roll. Icke-deterministiska, modellbaserade kontroller lägger till förmågan att förstå språk, sammanhang och avsikt. Du behöver båda lager – rigid policyenforcement och intelligent kontextuell resonemang – eftersom ingen av dem ensam är tillräcklig.

Många AI-agenter förlitar sig på återvinning förstärkt generering och externa datakällor. Vilka är riskerna kring dataförgiftning och kontextmanipulering i dessa pipelines, och hur kan de mildras i realtid?

Riskerna skiljer sig beroende på dataflödets riktning. För interna datakällor är den primära risken känslig dataexponering – PII-exponering, kunddata som delas, intern information som visas för obehöriga parter. För externa datakällor inkluderar riskerna modellbias från overifierad information, indirekt promptinjektion inbäddad i hämtat innehåll och beroende av otrustade eller manipulerade källor.

Minskning måste ske på transaktionsnivå, i realtid. Varje agensinteraktion måste säkras i båda riktningarna: säkerställa att känslig data inte läcker från insida till utsida, och säkerställa att förgiftad eller adversarial information inte matas in i systemet eller modellen från utsidan. Du kan inte lösa detta vid inmatningstiden ensam eftersom sammanhanget är dynamiskt och hotlandskapet förändras kontinuerligt.

Din AI-försvarsplan introducerar ett enhetligt kontrollskikt över anställd AI-användning, applikationer och agenssystem. Vilka var de största arkitekturutmaningarna i att bygga ett system som kan observera och verkställa policy över en sådan fragmenterad AI-stack?

Vi tror att i den nära framtiden kommer agensarbetsbelastningar att omfatta slutpunkter, applikationer, SaaS-tjänster och molnbelastningar – alla hyperanslutna i vad vi kallar “Internet of Agents”. Idén bakom AI-försvarsplanet är att upptäcka, styra och skydda denna utvecklande företagsagensinfrastruktur inom ett enda fönster.

Den grundläggande arkitekturutmaningen är att dynamiskt utvärdera riskprofilen och sammanhanget för varje agent samtidigt som man utvecklar effektiv realtidskydd för varje agens-transaktion. Det betyder att upprätthålla höga blockfrekvenser mot verkliga hot samtidigt som man minimerar falska positiva – vid produktionshastighet och skala, över flera körande miljöer. Att bygga ett system som kan observera och verkställa policy konsekvent över en sådan fragmenterad och snabbt utvecklande AI-stack krävde att vi omdefinierade hur vi abstraherar och utvärderar AI-aktivitet på en grundläggande nivå.

Plattformen betonar realtidsbeslut i maskinhastighet över språk och arbetsflöden. Hur balanserar du latencybegränsningar med behovet av djup inspektion och kontroll av AI-drivna åtgärder i produktionsmiljöer?

Vi utvecklar och tränar grundmodeller specifikt för hotförhindrande, sedan använder vi destilleringstekniker för att göra dem extremt effektiva. Det låter oss köra inferens snabbt och med minimal beräkning – även på CPU:er eller kommersiella GPU:er – samtidigt som vi upprätthåller multi-språk och multi-modal täckning, inklusive bild- och ljudanalys, med maximal noggrannhet.

Denna approach låter oss inspektera agens-transaktioner djupt utan att bli en flaskhals. Säkerhet som introducerar oacceptabel latency kommer att kringgås. Säkerhet som är osynlig för arbetsflödet men verkställer meningsfulla kontroller är det som faktiskt distribueras och förblir distribuerat.

AI-agenter opererar alltmer med delegerade behörigheter över flera system. Hur bör organisationer omdefiniera identitet och åtkomsthantering för icke-mänskliga aktörer, särskilt när agenter dynamiskt utökar sitt omfång genom verktygsanvändning?

Misstaget som de flesta organisationer gör är att behandla AI-agenter antingen som utvidgningar av mänskliga användare eller som traditionella tjänstekonton. Ingen av modellerna passar. Tänk på dem som digitala anställda – entiteter med definierade roller, ansvar och gränser.

Agentidentitet bör definieras av tre dimensioner: det specifika arbetsflöde som agenten utför, användaren som äger eller skapade agenten och användaren som för närvarande interagerar med den. Alla tre faktorerna formar vad agenten bör tillåtas göra. Utöver detta behöver organisationer tillämpa noll-tillit-principer på agenter – aldrig anta tillit baserat på ursprung, kontinuerligt verifiera beteende och verkställa minst-privilegierad åtkomst vid varje steg. Utan detta kommer agenter att tyst ackumulera mer auktoritet än någon avsåg.

De flesta företag har nu skugg-AI-användning över copiloter, plugins och interna skript. Vilken telemetri bör säkerhetsteam samla in för att få verklig insikt i hur AI interagerar med känslig data?

Synlighet måste fungera på agens-transaktionsnivå – inte bara prompter och svar, utan verktygsanrop, den data som returneras av dessa verktyg och de åtgärder som vidtas som ett resultat. Säkerhetsteam behöver se hela kedjan: vad som begärdes, vilken data som nåddes, vilka verktyg som anropades, vilka parametrar som skickades och vad som hände sedan.

Utan denna transaktionsnivåtelemetri kan du inte besvara grundläggande frågor om exponering, missbruk eller påverkan. Skugg-AI är inte farlig för att den existerar. Den är farlig för att den opererar utan denna nivå av styrning eller insikt.

Red teaming agenssystem är grundläggande annorlunda än testning av statiska applikationer. Hur simulerar du adversarialt beteende över flera stegs arbetsflöden, och vilka typer av exploateringar upptäcks vanligtvis?

Vi driver Gandalf (https://gandalf.lakera.ai), som är den största AI-red team-övningen i världen. Det är en crowdsourcad plattform där riktiga användare försöker övertala AI-agenter att bryta sina ramar. Det ger oss en unik och kontinuerligt växande dataset av verkliga adversariala tekniker – inte teoretiska attacker, utan strategier som riktiga människor använder för att manipulera AI-system.

Vi utnyttjar den dataseten för att driva vår red team-kapacitet. Attackerna vi ser oftast involverar användare som gradvis övertalar agenter att bryta mot sina begränsningar – genom indirekt promptinjektion, kreativ omformulering, kontextmanipulering och inkrementell tillitsutnyttjande över flera stegs interaktioner. Dessa problem är osynliga om du bara testar enskilda prompter. Du måste testa sekvenser och uthålliga adversariala kampanjer.

När angripare börjar använda autonoma agenter för att undersöka system kontinuerligt, förväntar du dig att försvar kommer att förskjutas mot realtidsadaptiva kontroller driven av AI, och vad ser den arkitekturen ut som i praktiken?

Ja. Statiska försvar kan inte hålla jämna steg med autonoma angripare som opererar kontinuerligt. Försvar måste bli adaptiva, runtime-driven och automatiserade. Det betyder realtidsövervakning av AI-beteende, kontinuerlig riskbedömning och omedelbar verkställighet när policyer kränks. Hastigheten och skalan på AI-drivna attacker kommer bara att motverkas av lika snabba, maskinhastighetsdrivna försvar.

I praktiken blir säkerhet en återkopplingsloop snarare än en regelsamling. AI-system observeras, utvärderas och begränsas dynamiskt, i samma hastighet och skala som de opererar. Den förändringen är avgörande om organisationer vill distribuera AI på ett säkert sätt i företagsskala.

Tack för den utmärkta intervjun, läsare som vill lära sig mer kan besöka Check Point Software Technologies.