Jonathan Zanger, Chief Technology Officer bij Check Point – Interview Serie

Jonathan Zanger, Chief Technology Officer bij Check Point, combineert zeldzame militaire inlichtingenervaring, diepe AI-expertise en operationeel leiderschap in zowel start-ups als mondiale ondernemingen. Voordat hij zijn huidige functie bekleedde, was hij CTO bij Trigo, waar hij de ontwikkeling van next-generation AI en computer vision systemen leidde die wrijvingsloze retail en verliespreventie op grote schaal mogelijk maakten, terwijl hij product en R&D afstemde op echte commerciële inzet. Eerder had hij senior R&D-leiderschapsrollen bij Trigo en bracht hij meer dan een decennium door in Israëls elite-eenheid 8200, waar hij uiteindelijk een cyber R&D-afdeling leidde die verantwoordelijk was voor nationale intelligentie- en cybersecurity-initiatieven en de hoogste nationale erkenning voor zijn werk ontving.

Check Point Software Technologies (CHKP ) is een wereldleider in cybersecurity en biedt AI-gedreven, cloud-geleverde beveiligingsoplossingen die zijn ontworpen om ondernemingen en overheden te beschermen tegen steeds geavanceerdere digitale bedreigingen. Het bedrijf serveert meer dan 100.000 organisaties wereldwijd met een uitgebreid platform dat netwerken, cloud-omgevingen, eindpunten en gebruikers beveiligt via een preventieve aanpak die ertoe strekt aanvallen te stoppen voordat ze plaatsvinden. De geïntegreerde architectuur maakt gebruik van kunstmatige intelligentie en real-time dreigingsinformatie om beveiligingsoperaties te vereenvoudigen, risico’s te verminderen en ondernemingen in staat te stellen veilig te schalen bij de adoptie van AI, cloud computing en gedistribueerde systemen.

U heeft grote cybersecurity- en AI-initiatieven geleid, AI-gedreven systemen gebouwd bij Trigo en nu de AI-strategie bij Check Point. Welke specifieke foutmodi heeft u waargenomen wanneer AI-systemen van gecontroleerde omgevingen naar productie overgaan, vooral wanneer ze toegang krijgen tot tools en ondernemingsgegevens?

Twee dingen veranderen fundamenteel in productie. Ten eerste verandert de schaal randgevallen in alledaagse gebeurtenissen. Een foutpositief tarief van 0,1 procent klinkt uitstekend in het lab, maar wanneer u miljoenen interacties verwerkt, vertaalt dit zich naar duizenden incidenten die aandacht vereisen. Statistische uitschieters in tests worden operationele realiteiten op grote schaal.

Ten tweede betekent productie adversariële blootstelling. In een gecontroleerde omgeving zijn invoer bruikbaar en voorspelbaar. In de echte wereld zullen sommige gebruikers en bedreigingsactoren de systemen actief proberen te misleiden, waarbij ze elke onbetrouwbare gegevenskanaal gebruiken om het gedrag te manipuleren. De overgang van demo naar productie is geen schaalprobleem. Het is een verschuiving van een coöperatieve omgeving naar een betwiste omgeving, en dat vereist fundamenteel andere ontwerpaspecten.

Bij agente systemen, waar modellen API’s kunnen aanroepen, code kunnen uitvoeren en acties kunnen ketenen, welke aanvalsoppervlakken worden nog steeds niet goed geïnstrumenteerd door beveiligingsteams?

Het kritieke oppervlak dat de meeste teams onderschatten, is de gegevens zelf. Agente systemen hebben routinematig toegang tot onbetrouwbare gegevensbronnen – inkomende e-mails, websites, Jira-tickets, open-sourcecode, externe documentatie. Deze gegevens worden ingevoerd en geanalyseerd door modellen als onderdeel van hun redeneringsproces.

Dit creëert twee concrete risico’s. Ten eerste geheugengift – waarbij gemanipuleerde inhoud het toekomstige antwoord en de beslissingen van het model subtiel vormt zonder enige voor de hand liggende prompt-injectie. Ten tweede indirecte prompt-injectie – waarbij adversariale instructies zijn ingebed in die externe gegevens en effectief de agent van binnenuit “jailbreaken”. De aanvaller raakt de prompt nooit direct aan. Ze planten instructies waar de agent ze zal vinden.

Prompt-injectie wordt vaak geframed als een modelprobleem, maar in de praktijk wordt het een systeemniveau-probleem. Hoe moeten ondernemingen hun architectuur opnieuw ontwerpen om modelinvoer, tooluitvoering en toegang tot gevoelige gegevens te isoleren?

Prompt-injectie is geen universeel probleem met een universele oplossing. Of een bepaalde invoer legitiem of adversariaal is, hangt volledig af van de context. Een agent vragen om “het wachtwoord van de beheerder te wijzigen” is volledig legitiem als het een technisch helpdeskagent is. Hetzelfde verzoek aan een online retailer-chatbot is een aanval.

Dit is waarom architectuur meer belangrijk is dan enige enkele detectietechniek. Systemen hebben zowel deterministische als niet-deterministische mechanismen nodig die samenwerken. Deterministische controles beheren toegang tot tools en gegevens op basis van de identiteit van de agent, de identiteit van de gebruiker en de gedefinieerde rol van het systeem. Niet-deterministische, model-gebaseerde controles voegen de mogelijkheid toe om taal, context en intentie te begrijpen. U hebt beide lagen nodig – rigide beleidsuitvoering en intelligente contextuele redenering – omdat geen van beide alleen voldoende is.

Veel AI-agents vertrouwen op retrieval-augmented generatie en externe gegevensbronnen. Wat zijn de risico’s rondom gegevensvergiftiging en contextmanipulatie in deze pijpleidingen, en hoe kunnen ze op runtime worden geminimaliseerd?

De risico’s verschillen afhankelijk van de richting van de gegevensstroom. Voor interne gegevensbronnen is het primaire risico gevoelige gegevenslekkage – PII-blootstelling, cross-customer gegevensdeling, interne informatie die wordt weergegeven aan niet-geautoriseerde partijen. Voor externe gegevensbronnen zijn de risico’s modelbias van ongeverifieerde informatie, indirecte prompt-injectie ingebed in opgehaalde inhoud en afhankelijkheid van onbetrouwbare of gemanipuleerde bronnen.

Mitigatie moet plaatsvinden op transactieniveau, in real-time. Elke agente interactie moet worden beveiligd in beide richtingen: ervoor zorgen dat gevoelige gegevens niet van binnenuit naar buiten lekken en ervoor zorgen dat vergiftigde of adversariale informatie niet van buitenaf het systeem of het model binnenkomt. U kunt dit niet oplost op het moment van inname alleen omdat context dynamisch is en het dreigingslandschap continu verandert.

Uw AI Defense Plane introduceert een unified controlelaag over medewerker AI-gebruik, toepassingen en agente systemen. Wat waren de grootste architectonische uitdagingen bij het bouwen van een systeem dat AI-strategie kan observeren en afdwingen over zo’n gefragmenteerd AI-stack?

We geloven dat in de nabije toekomst agente workloads endpoints, toepassingen, SaaS-diensten en cloud workloads zullen omvatten – allemaal hyper-verbonden in wat we de “Internet of Agents” noemen. Het idee achter de AI Defense Plane is om de evoluerende ondernemingsagente-infrastructuur te ontdekken, te beheren en te beschermen binnen één paneel.

De kernarchitectonische uitdaging is om dynamisch de risicoprofiel en context van elke agent te evalueren en efficiënte real-time bescherming te ontwikkelen voor elke agente transactie. Dat betekent het behouden van hoge blokkeringen tegen echte bedreigingen terwijl valse positieven worden geminimaliseerd – op productiesnelheid en -schaal, over meerdere omgevingen. Het bouwen van een systeem dat consistent beleid kan observeren en afdwingen over zo’n gefragmenteerd en snel evoluerend AI-stack vereiste dat we opnieuw nadachten over hoe we AI-activiteit op fundamenteel niveau evalueren en abstracteren.

Het platform benadrukt real-time beslissingen op machinesnelheid over talen en workflows. Hoe balanseert u latentiebeperkingen met de behoefte aan diepe inspectie en controle van AI-gedreven acties in productieomgevingen?

We ontwikkelen en trainen foundation-modellen specifiek voor dreigingspreventie, en gebruiken vervolgens distillatietechnieken om ze extreem efficiënt te maken. Dat stelt ons in staat om inference uit te voeren met minimale compute – zelfs op CPUs of commodity-GPU’s – terwijl we maximale nauwkeurigheid behouden, inclusief beeld- en audioanalyse, met maximale nauwkeurigheid.

Deze aanpak stelt ons in staat om agente transacties diep te inspecteren zonder een bottleneck te worden. Beveiliging die onaanvaardbare latentie introduceert, zal worden omzeild. Beveiliging die onzichtbaar is voor de workflow maar significante controles afdwingt, is wat werkelijk wordt geïmplementeerd en blijft geïmplementeerd.

AI-agents opereren steeds vaker met gedelegeerde machtigingen over meerdere systemen. Hoe moeten ondernemingen hun identiteits- en toegangsbeheer opnieuw overwegen voor niet-menselijke actoren, vooral wanneer agents hun bereik dynamisch uitbreiden via toolgebruik?

De fout die de meeste ondernemingen maken, is het behandelen van AI-agents als uitbreidingen van menselijke gebruikers of als traditionele service-accounts. Geen van beide modellen past. Denk aan hen als digitale werknemers – entiteiten met gedefinieerde rollen, verantwoordelijkheden en grenzen.

Agent-identiteit moet worden gedefinieerd door drie dimensies: het specifieke workflow dat de agent uitvoert, de gebruiker die de agent bezit of heeft gemaakt, en de gebruiker die momenteel met de agent interacteert. Alle drie factoren bepalen wat de agent zou mogen doen. Bovendien moeten ondernemingen zero-trust-principes toepassen op agents – nooit vertrouwen op basis van oorsprong, continu gedrag verifiëren en least-privilege-toegang afdwingen op elk moment. Zonder dit zullen agents stilzwijgend meer autoriteit accumuleren dan iemand ooit heeft bedoeld.

De meeste ondernemingen hebben nu schaduw-AI-gebruik over copilots, plugins en interne scripts. Welke telemetrie zouden beveiligingsteams moeten verzamelen om echte zichtbaarheid te krijgen in hoe AI interacteert met gevoelige gegevens?

Zichtbaarheid moet opereren op agente transactieniveau – niet alleen prompts en antwoorden, maar toolaanroepen, de gegevens die door die tools worden geretourneerd, en de acties die als resultaat worden uitgevoerd. Beveiligingsteams moeten de volledige keten zien: wat werd gevraagd, welke gegevens werden toegankelijk gemaakt, welke tools werden aangeroepen, welke parameters werden doorgegeven, en wat gebeurde daarna.

Zonder die transactieniveau-telemetrie kunt u niet eens basisvragen over blootstelling, misbruik of impact beantwoorden. Schaduw-AI is niet gevaarlijk omdat het bestaat. Het is gevaarlijk omdat het opereert zonder dit niveau van governance of inzicht.

Red teaming agente systemen is fundamenteel anders dan het testen van statische toepassingen. Hoe simuleert u adversariaal gedrag over multi-stap workflows, en welke soorten exploits worden meestal ontdekt?

We exploiteren Gandalf (https://gandalf.lakera.ai), het grootste AI-red-teaming-oefening ter wereld. Het is een crowd-sourced platform waar echte gebruikers proberen AI-agents te overtuigen om hun guardrails te breken. Dat geeft ons een unieke en continu groeiende dataset van echte adversariale technieken – niet theoretische aanvallen, maar de strategieën die echte mensen gebruiken om AI-systemen te manipuleren.

We gebruiken die dataset om onze red-teaming-capaciteiten aan te drijven. De aanvallen die we het meest zien, betreffen gebruikers die agents langzaam overtuigen om hun beperkingen te schenden – via indirecte prompt-injectie, creatieve herformulering, contextmanipulatie en incrementele trust-exploitatie over multi-stap interacties. Deze problemen zijn onzichtbaar als u alleen individuele prompts test. U moet sequenties en duurzame adversariale campagnes testen.

Als aanvallers beginnen autonome agents te gebruiken om systemen continu te onderzoeken, verwacht u dat verdediging verschuift naar real-time adaptieve controles aangedreven door AI, en wat ziet die architectuur er in de praktijk uit?

Ja. Statische verdedigingen kunnen niet de pas houden met autonome aanvallers die continu opereren. Verdediging moet adaptief, runtime-gedreven en geautomatiseerd worden. Dit betekent real-time monitoring van AI-gedrag, continue risicobeoordeling en onmiddellijke afdwinging wanneer beleid wordt geschonden. De snelheid en schaal van AI-gedreven aanvallen zullen alleen worden tegengegaan door even snelle, machine-snelheid verdedigingen.

In de praktijk wordt beveiliging een feedbacklus in plaats van een reeks regels. AI-systemen zijn observed, evaluated en constrained dynamically, at the same speed and scale at which they operate. That shift is essential if organizations want to deploy AI safely at enterprise scale. AI-systemen worden geobserveerd, geëvalueerd en gedynamisch beperkt, op dezelfde snelheid en schaal waarop ze opereren. Die verschuiving is essentieel als organisaties AI veilig willen inzetten op ondernemingsniveau.

Bedankt voor het geweldige interview, lezers die meer willen leren, kunnen Check Point Software Technologies bezoeken.