Jonathan Zanger, Directeur de la technologie chez Check Point – Série d’entretiens

Jonathan Zanger, Directeur de la technologie chez Check Point, apporte une combinaison rare d’expérience dans le renseignement militaire de haut niveau, d’expertise approfondie en intelligence artificielle et de leadership opérationnel à la fois dans les startups et les entreprises mondiales. Avant son poste actuel, il a occupé le poste de directeur de la technologie chez Trigo, où il a dirigé le développement de systèmes d’intelligence artificielle et de vision par ordinateur de nouvelle génération permettant une vente au détail sans friction et une prévention des pertes à grande échelle, tout en alignant les produits et la R&D avec un déploiement commercial réel. Auparavant, il a occupé des postes de direction de la R&D chez Trigo et a passé plus d’une décennie dans l’unité d’élite 8200 d’Israël, dirigeant finalement une division de R&D en cybersécurité responsable d’initiatives de cybersécurité et de renseignement à l’échelle nationale, et a obtenu une reconnaissance nationale pour son travail.

Check Point Software Technologies (CHKP ) est un leader mondial de la cybersécurité, fournissant des solutions de sécurité propulsées par l’intelligence artificielle et livrées dans le cloud, conçues pour protéger les entreprises et les gouvernements contre des menaces numériques de plus en plus sophistiquées. L’entreprise sert plus de 100 000 organisations dans le monde avec une plate-forme complète qui sécurise les réseaux, les environnements cloud, les points de terminaison et les utilisateurs grâce à une approche de prévention qui vise à arrêter les attaques avant qu’elles ne se produisent. Son architecture intégrée utilise l’intelligence artificielle et les informations de menace en temps réel pour simplifier les opérations de sécurité, réduire les risques et permettre aux organisations de se développer en toute sécurité à mesure qu’elles adoptent l’intelligence artificielle, le cloud computing et les systèmes distribués.

Vous avez dirigé des initiatives de cybersécurité et d’intelligence artificielle à grande échelle, construit des systèmes propulsés par l’intelligence artificielle chez Trigo, et supervisez maintenant la stratégie d’intelligence artificielle chez Check Point. Quels sont les modes de défaillance spécifiques que vous avez observés lorsque les systèmes d’intelligence artificielle passent d’environnements contrôlés à la production, en particulier lorsqu’ils ont accès à des outils et des données d’entreprise ?

Deux choses changent fondamentalement en production. Premièrement, l’échelle transforme les cas limites en événements quotidiens. Un taux de faux positifs de 0,1 pour cent semble excellent en laboratoire, mais lorsque vous traitez des millions d’interactions, cela se traduit par des milliers d’incidents qui nécessitent une attention. Les outliers statistiques lors des tests deviennent des réalités opérationnelles à grande échelle.

Deuxièmement, la production signifie une exposition adverse. Dans un environnement contrôlé, les entrées sont bénignes et prévisibles. Dans le monde réel, certains utilisateurs et acteurs menaçants essayeront activement de tromper le système, en exploitant chaque canal de données non fiable disponible pour manipuler le comportement. Le passage de la démo à la production n’est pas un problème d’échelle. C’est un passage d’un environnement coopératif à un environnement contesté, et cela exige des hypothèses de conception fondamentalement différentes.

Dans les systèmes agents, où les modèles peuvent appeler des API, exécuter du code et enchaîner des actions, quels sont les surfaces d’attaque les plus critiques que les équipes de sécurité ne surveillent pas encore correctement ?

La surface critique que la plupart des équipes sous-estiment est les données elles-mêmes. Les systèmes agents accèdent régulièrement à des sources de données non fiables — e-mails entrants, sites Web, tickets Jira, code open source, documentation externe. Ces données sont ingérées et analysées par les modèles dans le cadre de leur processus de raisonnement.

Cela crée deux risques concrets. Premièrement, l’empoisonnement de la mémoire — où le contenu manipulé façonne subtilement les réponses et les décisions futures du modèle sans injection de prompt évidente. Deuxièmement, l’injection de prompt indirecte — où les instructions adverses sont intégrées dans ces données externes et libèrent effectivement le modèle de l’intérieur. L’attaquant ne touche jamais directement le prompt. Il plante simplement des instructions où l’agent les trouvera.

L’injection de prompt est souvent présentée comme un problème de modèle, mais dans la pratique, elle devient un problème de système. Comment les entreprises devraient-elles réorganiser leur architecture pour isoler les entrées de modèle, l’exécution d’outils et l’accès aux données sensibles ?

L’injection de prompt n’est pas un problème universel avec une solution universelle. Le fait qu’une entrée donnée soit légitime ou adverse dépend entièrement du contexte. Demander à un agent de « changer le mot de passe de l’administrateur » est parfaitement légitime s’il s’agit d’un agent d’assistance technique. La même demande à un chatbot de détaillant en ligne est une attaque.

C’est pourquoi l’architecture compte plus que n’importe quelle technique de détection unique. Les systèmes ont besoin à la fois de mécanismes déterministes et non déterministes qui fonctionnent ensemble. Les contrôles déterministes gèrent l’accès aux outils et aux données en fonction de l’identité de l’agent, de l’identité de l’utilisateur et du rôle défini du système. Les contrôles non déterministes, basés sur les modèles, ajoutent la capacité de comprendre le langage, le contexte et l’intention. Vous avez besoin des deux couches — application de politique rigide et raisonnement contextuel intelligent — car ni l’une ni l’autre n’est suffisante à elle seule.

De nombreux agents d’intelligence artificielle s’appuient sur la génération assistée par récupération et des sources de données externes. Quels sont les risques liés à l’empoisonnement des données et à la manipulation du contexte dans ces pipelines, et comment peuvent-ils être atténués en temps réel ?

Les risques diffèrent en fonction de la direction du flux de données. Pour les sources de données internes, le risque principal est la fuite de données sensibles — exposition de l’information personnelle, partage de données entre clients, informations internes étant présentées à des parties non autorisées. Pour les sources de données externes, les risques incluent les préjugés de modèle provenant d’informations non vérifiées, l’injection de prompt indirecte intégrée dans le contenu récupéré et la dépendance à l’égard de sources non fiables ou manipulées.

L’atténuation doit se produire au niveau de la transaction, en temps réel. Chaque interaction agente doit être sécurisée dans les deux sens : en garantissant que les données sensibles ne fuient pas de l’intérieur vers l’extérieur et en garantissant que les informations empoisonnées ou adverses ne sont pas introduites de l’extérieur dans le système ou le modèle. Vous ne pouvez pas résoudre cela uniquement au moment de l’ingestion, car le contexte est dynamique et le paysage des menaces change continuellement.

Votre plan de défense de l’intelligence artificielle introduit une couche de contrôle unifiée pour l’utilisation de l’intelligence artificielle par les employés, les applications et les systèmes agents. Quels ont été les plus grands défis architecturaux pour construire un système capable d’observer et de faire respecter les politiques à l’échelle d’une pile d’intelligence artificielle fragmentée ?

Nous croyons que dans un avenir proche, les charges de travail agents s’étendront sur les points de terminaison, les applications, les services SaaS et les charges de travail cloud — tous hyper-connectés dans ce que nous appelons l’« Internet des agents ». L’idée derrière le plan de défense de l’intelligence artificielle est de découvrir, de gérer et de protéger cette infrastructure agente d’entreprise évolutive dans un seul tableau de bord.

Le défi architectural de base est d’évaluer dynamiquement le profil de risque et le contexte de chaque agent tout en développant une protection en temps réel efficace pour chaque transaction agente. Cela signifie maintenir des taux de blocage élevés contre les menaces réelles tout en minimisant les faux positifs — à la vitesse de production et à l’échelle, sur plusieurs environnements en cours d’exécution. La construction d’un système capable d’observer et de faire respecter les politiques de manière cohérente sur une pile d’intelligence artificielle fragmentée et en évolution rapide nous a obligés à repenser la façon dont nous abstrayons et évaluons l’activité de l’intelligence artificielle à un niveau fondamental.

La plate-forme met l’accent sur la prise de décision en temps réel à la vitesse de la machine à travers les langues et les flux de travail. Comment équilibrez-vous les contraintes de latence avec le besoin d’inspection et de contrôle approfondis des actions propulsées par l’intelligence artificielle dans les environnements de production ?

Nous développons et formons des modèles de base spécifiquement pour la prévention des menaces, puis utilisons des techniques de distillation pour les rendre extrêmement efficaces. Cela nous permet de faire des inférences rapidement et avec un minimum de calcul — même sur les CPU ou les GPU de commodité — tout en maintenant une couverture multilingue et multimodale, y compris l’analyse d’images et d’audio, avec une précision maximale.

Cette approche nous permet d’inspecter les transactions agentes en profondeur sans devenir un goulet d’étranglement. La sécurité qui introduit des retards inacceptables sera contournée. La sécurité qui est invisible pour le flux de travail mais impose des contrôles significatifs est celle qui est réellement déployée et maintenue.

Les agents d’intelligence artificielle opèrent de plus en plus avec des autorisations déléguées à travers plusieurs systèmes. Comment les organisations devraient-elles repenser la gestion des identités et des accès pour les acteurs non humains, en particulier lorsque les agents étendent dynamiquement leur portée à l’aide d’outils ?

L’erreur que la plupart des organisations commettent est de traiter les agents d’intelligence artificielle soit comme des extensions des utilisateurs humains, soit comme des comptes de service traditionnels. Aucun de ces modèles ne convient. Pensez-y comme des employés numériques — des entités avec des rôles, des responsabilités et des limites définis.

L’identité de l’agent devrait être définie par trois dimensions : le flux de travail spécifique que l’agent exécute, l’utilisateur qui possède ou a créé l’agent, et l’utilisateur qui interagit actuellement avec lui. Ces trois facteurs façonnent ce que l’agent devrait être autorisé à faire. Au-delà de cela, les organisations doivent appliquer les principes de confiance zéro aux agents — ne jamais supposer la confiance en fonction de l’origine, vérifier continuellement le comportement et faire respecter l’accès avec les privilèges minimum à chaque étape. Sans cela, les agents accumuleront silencieusement plus d’autorité que quiconque ne l’a intentionnellement prévu.

La plupart des entreprises ont maintenant une utilisation d’intelligence artificielle fantôme à travers les copilotes, les plugins et les scripts internes. Quelles sont les télémétries que les équipes de sécurité devraient collecter pour acquérir une visibilité réelle sur la façon dont l’intelligence artificielle interagit avec les données sensibles ?

La visibilité doit fonctionner au niveau de la transaction agente — et non seulement les prompts et les réponses, mais les appels d’outils, les données renvoyées par ces outils et les actions prises en conséquence. Les équipes de sécurité doivent voir la chaîne complète : ce qui a été demandé, quelles données ont été consultées, quels outils ont été invoqués, quels paramètres ont été transmis et ce qui s’est passé ensuite.

Sans cette télémétrie au niveau de la transaction, vous ne pouvez pas répondre à des questions de base sur l’exposition, les abus ou l’impact. L’intelligence artificielle fantôme n’est pas dangereuse parce qu’elle existe. Elle est dangereuse parce qu’elle opère sans ce niveau de gouvernance ou de perspicacité.

Le test de pénétration des systèmes agents est fondamentalement différent du test d’applications statiques. Comment simulez-vous un comportement adverse à travers des flux de travail multi-étapes, et quels types d’exploits sont les plus souvent découverts ?

Nous exploitons Gandalf (https://gandalf.lakera.ai), qui est le plus grand exercice de test de pénétration d’intelligence artificielle au monde. Il s’agit d’une plate-forme open source où les utilisateurs réels tentent de persuader les agents d’intelligence artificielle de briser leurs garde-fous. Cela nous donne un ensemble de données unique et en constante évolution de techniques adverses réelles — et non d’attaques théoriques, mais des stratégies que les gens réels utilisent pour manipuler les systèmes d’intelligence artificielle.

Nous exploitons cet ensemble de données pour stimuler nos capacités de test de pénétration. Les attaques que nous voyons le plus souvent impliquent des utilisateurs qui persuadent progressivement les agents de violer leurs limites — par injection de prompt indirecte, reformulation créative, manipulation du contexte et exploitation de la confiance incrémentale à travers des interactions multi-étapes. Ces problèmes sont invisibles si vous ne testez que des prompts individuels. Vous devez tester des séquences et des campagnes adverses prolongées.

À mesure que les attaquants commencent à utiliser des agents autonomes pour sonder les systèmes en continu, attendez-vous que la défense se déplace vers des contrôles adaptatifs en temps réel propulsés par l’intelligence artificielle, et à quoi ressemble cette architecture dans la pratique ?

Oui. Les défenses statiques ne peuvent pas suivre le rythme des attaquants autonomes opérant en continu. La défense doit devenir adaptative, pilotée en temps réel et automatisée. Cela signifie une surveillance en temps réel du comportement de l’intelligence artificielle, une évaluation continue des risques et une application immédiate lorsque les politiques sont violées. La vitesse et l’échelle des attaques propulsées par l’intelligence artificielle ne seront contrées que par des défenses à la vitesse de la machine.

Dans la pratique, la sécurité devient une boucle de rétroaction plutôt qu’un ensemble de règles. Les systèmes d’intelligence artificielle sont observés, évalués et contraints dynamiquement, à la même vitesse et à la même échelle qu’ils opèrent. Ce changement est essentiel si les organisations veulent déployer l’intelligence artificielle en toute sécurité à l’échelle de l’entreprise.

Merci pour cette grande interview. Les lecteurs qui souhaitent en savoir plus peuvent visiter Check Point Software Technologies.