Sandy Dunn, CISO chez SPLX – Série d’entretiens

Sandy Dunn, CISO chez SPLX est un vétéran CISO avec plus de 20 ans d’expérience dans les soins de santé et les startups, fournissant des conseils CISO via QuarkIQ. Elle dirige la liste OWASP Top 10 pour les applications de cybersécurité LLM et la checklist de gouvernance, et contribue à l’OWASP AI Exchange, à l’OWASP Top 10 pour LLM, et à la Cloud Security Alliance. En tant que professeur adjoint en cybersécurité à l’Université d’État de Boise, elle est également une conférencière fréquente, conseillère et membre du conseil d’administration de l’Institut pour la cybersécurité omniprésente de Boise State. Sandy détient un master en gestion de la sécurité de l’information de SANS et de nombreuses certifications, notamment CISSP, plusieurs crédits SANS GIAC, Security+, ISTQB et FAIR.

SPLX est une entreprise de cybersécurité qui fournit une protection complète pour les systèmes d’IA grâce à la simulation de tests de sécurité automatisés, à la protection en temps réel, à la gouvernance, à la correction, à l’inspection des menaces et à la sécurité des modèles. Sa plateforme exécute des milliers de simulations d’attaque en moins d’une heure pour identifier les vulnérabilités, durcit les invites de système avant le déploiement et inclut Agentic Radar, un outil open source pour cartographier et analyser les risques dans les flux de travail d’IA multi-agents.

Qu’est-ce qui vous a d’abord attiré vers l’intersection de l’IA et de la cybersécurité, et comment ce chemin vous a-t-il mené à votre rôle chez SPLX et à votre implication avec OWASP ?

L’IA faisait partie des conversations sur la cybersécurité depuis des années avant ChatGPT, mais cela ressemblait souvent à quelque chose qui n’avait pas tenu ses promesses. Lorsqu’il a été lancé, j’attendais d’être déçu, mais j’ai eu la réaction exactement opposée. Lorsque j’ai utilisé ChatGPT pour la première fois, j’ai été à la fois impressionné par ce qu’il pouvait faire et terrifié par la rapidité avec laquelle il pouvait être utilisé pour des attaques adverses ou des abus de confidentialité. Ce moment a allumé un feu. Je me suis plongé dans les LLM headfirst en lisant tous les documents de recherche que je pouvais trouver, en rejoignant toutes les communautés Slack et Discord pertinentes et en exécutant mes propres expériences. J’ai observé pendant un moment le canal OWASP Top 10 pour LLM, et lorsque la première liste a été publiée, j’ai su que c’était un jalon important. Mais en tant que CISO, je sentais que les équipes de sécurité avaient besoin de plus d’informations. Nous avions dit aux gens ce qu’il fallait craindre, mais pas ce qu’il fallait faire. J’ai abordé Steve Wilson, le responsable du projet, pour créer une « checklist de sécurité LLM pour les CISO ». Cela est ensuite devenu le premier sous-projet OWASP GenAI, qui a inspiré de nombreux sous-projets supplémentaires.

Grâce à ce travail, j’ai rencontré Kristian Kamber et Ante Gojsalic (les fondateurs de SPLX), et j’ai également conseillé de nombreuses startups de sécurité d’IA, certaines ayant des idées prometteuses, d’autres moins. À l’époque, j’étais CISO dans une entreprise de chatbot B2B, créant un livre de jeu de tests d’attaque d’IA adversaire. Lorsque j’ai vu la démo de SPLX, j’ai immédiatement reconnu qu’ils avaient résolu le problème avec lequel je luttais : comment opérationnaliser les tests d’attaque. Lorsque SPLX avait besoin d’un CISO, j’ai sauté sur l’occasion de faire partie d’une entreprise incroyable avec des personnes incroyables qui résolvent des défis importants.

En tant que CISO chez SPLX, quelles sont les techniques d’attaque les plus nouvelles que vous découvrez, en particulier en ce qui concerne l’IA agente ?

En raison des nuances de la conception des systèmes GenAI, il n’est pas possible d’éliminer les vulnérabilités et les attaques GenAI qui utilisent l’autonomie et les capacités de l’agent. Les attaques d’empoisonnement de mémoire telles que MINJA sont un exemple récent de cela. Avec MINJA, les attaquants peuvent corrompre subtilement les banques de mémoire d’un agent grâce à des interactions conçues, en implantant des « mémoires » nocives avec des invites qui aboutissent à des comportements trompeurs ou dangereux plus tard. Un autre exemple est l’attaque de la chambre d’écho. C’est là qu’un adversaire crée des boucles de conversation en envoyant à un agent des contextes malveillants répétés. Les chercheurs ont pu contourner les mécanismes de sécurité en renforçant les instructions nocives sur plusieurs tours.

L’injection de invites indirecte et transmodale est un autre exemple. Les instructions malveillantes se cachent dans le contenu externe tel que les images ou les documents que les agents consomment. Ces instructions peuvent détourner les décisions autonomes sans entrée directe de l’utilisateur.

Les attaques contre les écosystèmes d’agents d’IA sophistiqués, telles que l’empoisonnement d’outils, nécessitent un examen attentif de l’ensemble de l’approvisionnement pour les déploiements d’agents d’IA. Les attaquants créent des outils apparemment légitimes pour les plateformes d’agents mais intègrent des instructions malveillantes dans les descriptions et la documentation des outils. Lorsque les agents chargent ces outils, les instructions intégrées deviennent partie du contexte de l’agent, permettant des actions non autorisées telles que l’exfiltration de données ou la compromission du système.

Comment la plateforme SPLX aide-t-elle les organisations à détecter et à répondre aux menaces spécifiques aux LLM, telles que les attaques d’injection de invites ou les attaques de jailbreak ?

SPLX est une plateforme de sécurité complète qui protège les applications et les systèmes multi-agents alimentés par LLM tout au long du cycle de vie de l’IA, du développement au déploiement en passant par l’exploitation en temps réel. Notre protection d’exécution d’IA est conçue pour arrêter ces menaces à mesure qu’elles se produisent en surveillant et en filtrant en continu les entrées et les sorties. Elle agit comme un pare-feu en temps réel pour l’IA et impose des limites de comportement strictes à l’IA. Le moteur de détection dynamique de SPLX signale les activités malveillantes en temps réel, garantissant que les systèmes d’IA réagissent de manière sûre et restent dans les limites prévues.

La mise à jour de la liste OWASP Top 10 pour la sécurité GenAI élargit les risques clés tels que la fuite de invites de système et les vulnérabilités de base de données vectorielles. Comment ces nouvelles menaces reflètent-elles le paysage adversatif en évolution ?

Les mises à jour de la liste OWASP Top 10 pour 2025 reflètent une compréhension évolutive de la manière dont les LLM et les technologies d’IA générative sont utilisées dans des scénarios du monde réel. Il est important de souligner qu’il existe bien plus de dix menaces LLM, mais l’objectif est d’identifier les dix principales. Les grands changements sont LLM07 Conception de plug-in non sécurisée qui a été inclus dans la chaîne d’approvisionnement et LLM010 Vol de modèle qui a été inclus dans la consommation non limitée pour la liste 2025, ce qui a créé de la place pour ajouter :

1. La fuite de invites de système qui identifie la menace de l’exposition de l’invite de système qui peut révéler les garde-fous, les flux de logique ou même les secrets intégrés dans les invites LLM.

2. Les vulnérabilités de base de données vectorielles qui signalent les problèmes de sécurité potentiels dans les systèmes RAG tels que la fuite de données inter-locataires, l’inversion d’incrustation ou les documents empoisonnés qui apparaissent plus tard des sorties dangereuses.

3. Les mises à jour montrent que les attaques ciblant l’IA sont passées d’attaque d’opportunité conçue à des attaques sophistiquées ciblant l’ensemble de la chaîne d’approvisionnement de l’IA. Les attaques modernes démontrent une pensée stratégique de l’ensemble du système d’IA, en se concentrant sur la persistance, l’échelle et l’impact systémique plutôt que des exploitations ponctuelles.

L’extension de la couverture des architectures agentes reconnaît un autre développement critique. À mesure que les systèmes d’IA gagnent en autonomie et en capacités de prise de décision, les conséquences potentielles des défaillances de sécurité se multiplient de manière exponentielle. La réduction de la surveillance humaine, tout en permettant des applications plus puissantes, a un effet qui amplifie l’impact des attaques réussies.

Quelles sont, à votre avis, les vulnérabilités les plus couramment négligées dans les entreprises qui déployeront l’IA agente aujourd’hui ?

Le problème le plus couramment négligé est le même défi que nous rencontrons avec les déploiements de logiciels et de systèmes traditionnels, le principe du moindre privilège. Nous sommes encore aux prises avec le moindre privilège pour les utilisateurs humains et les comptes de service, et maintenant les organisations sont confrontées à un nouveau défi de gestion des identités non humaines (NIH). Les gens déployeront des agents alors que l’identité et l’accès des agents ne sont pas encore pleinement compris ou résolus. Nous voyons des agents dotés de privilèges étendus pour lire des documents, accéder à des API externes et même modifier des systèmes. Ce n’est pas une faille technique dans le modèle lui-même, c’est une erreur fondamentale d’architecture. Un agent compromis avec des privilèges excessifs peut causer des ravages, de l’exfiltration de grandes quantités de données à l’initiation de transactions financières.

Un autre problème souvent manqué ou ignoré est la « relation de confiance » entre les agents. Dans les systèmes agents, les agents sont souvent conçus pour communiquer et coopérer les uns avec les autres. Nous voyons une nouvelle classe d’attaques où un agent compromis peut se faire passer pour un agent légitime, essentiellement devenant un « agent dans le milieu ». C’est comme un cheval de Troie, mais au niveau architectural.

Pouvez-vous nous guider à travers les étapes actionnables que les équipes de sécurité des entreprises doivent prendre lors du déploiement d’outils d’IA agente dans des environnements de production ?

1. Commencez par les plans de réponse aux incidents. À quoi ressemble la pire journée, puis travaillez à reculons pour vous assurer que les contrôles de sécurité et la visibilité sont en place. Lorsqu’une faille de sécurité d’IA se produit, votre centre d’opérations de sécurité a besoin d’un livre de jeu. Qui est notifié ? Comment isolez-vous un agent compromis ? Quel est le processus de rétablissement à un état connu comme bon ? Avoir un plan avant qu’une crise ne se produise est vital.

2. Inventaire de la surface d’attaque et évaluation des menaces. Vous ne pouvez pas sécuriser ce que vous ne savez pas que vous avez. La première étape consiste à obtenir un inventaire complet de tous les agents d’IA, des outils utilisés et de l’accès aux données. Quelles données y a-t-il ? Quels sont les privilèges ? Quel est l’impact potentiel s’il est compromis ? Priorisez les menaces à haut impact et les plus susceptibles. Ensuite, avez une conversation honnête avec l’équipe de direction sur l’appétit pour le risque. Un avantage de l’activité d’IA accélérée est que les CISO, les responsables des risques, les équipes juridiques et la direction générale seront obligés d’avoir une conversation réelle sur les objectifs commerciaux, l’appétit pour le risque et les budgets de sécurité. Historiquement, il y avait une attente d’aucun incident avec un budget minimal. Les CISO ont (la plupart du temps) pu éviter un grand incident en mettant en œuvre suffisamment de sécurité pour rendre leur organisation moins attrayante que celle avec moins de sécurité. Les adversaires d’IA rendent cette stratégie irréaliste maintenant.

3. Mettez en œuvre des garde-fous, le moindre privilège et des outils de surveillance. La portée est importante pour tout déploiement d’agent. Définissez l’objectif de l’agent, ses limites et ses privilèges. N’accordez pas à un agent l’accès à votre bibliothèque SharePoint entière s’il n’a besoin que d’un dossier. Mettez en œuvre des contrôles qui limitent les API qu’il peut appeler et les actions qu’il peut effectuer. Pensez-y comme un nouvel employé très intelligent, mais ivre. Vous reconnaissez qu’il a des capacités incroyables, mais vous ne lui feriez pas confiance. Vous limiteriez ce qu’il pourrait faire dans l’entreprise, vous ne lui donneriez pas accès à quoi que ce soit d’important, vous surveilleriez ce qu’il fait et vous pourriez avoir des systèmes d’alarme en place s’il essayait de faire quelque chose qu’il ne devrait absolument pas faire, comme accéder au bureau du PDG.

4. Mettez en œuvre une pile de sécurité spécifique à l’IA qui fusionne avec votre pile de sécurité traditionnelle. Les outils de sécurité traditionnels n’ont pas été conçus pour les systèmes GenAI ou les systèmes agents. Vous devez mettre en œuvre des outils conçus pour les problèmes uniques de GenAI, tels que la validation d’invite, la sanitation de sortie et la surveillance en continu du comportement de l’agent. Ces outils doivent être en mesure de détecter les attaques subtiles et basées sur la sémantique qui sont spécifiques à GenAI et aux systèmes agents.

5. Intégrez le red teaming d’IA dans le pipeline CI/CD. Vous devez tester en continu vos agents pour les vulnérabilités en fonction de l’importance des modifications et de l’appétit pour le risque de l’organisation. La mise à jour récente de GPT-5 est un exemple de la manière dont les changements perturbateurs peuvent être sur les flux de travail d’IA agente. Faites du red teaming automatisé une partie intégrante de votre cycle de développement. Cela vous aide à identifier les problèmes à mesure que vous mettez à jour et modifiez vos agents.

Comment les organisations doivent-elles intégrer le red teaming automatisé, la gestion des identités et des accès pour les utilisateurs et les ressources (CIAM), la gouvernance RAG et la surveillance dans leur stratégie de gestion des risques GenAI ?

La clé est l’intégration plutôt que de les traiter comme des initiatives distinctes. Votre stratégie de gestion des risques GenAI doit être un cadre cohérent où chaque composant renforce les autres.

Commencez par le red teaming automatisé en tant que fondation. Il est important d’avoir des tests d’attaque adverses continus qui évoluent avec le paysage des menaces. La plateforme SPLX simule des milliers de scénarios d’attaque dans différentes catégories de risques, en testant l’injection d’invite, les attaques de jailbreak, la manipulation de contexte et l’empoisonnement d’outils. L’aspect critique est de faire partie de votre pipeline CI/CD afin que chaque mise à jour d’agent soit validée en matière de sécurité avant le déploiement.

La CIAM pour les systèmes d’IA nécessite de repenser les modèles d’identité traditionnels. Les agents d’IA ont besoin de privilèges granulaires qui peuvent être ajustés dynamiquement en fonction du contexte et des niveaux de risque. Mettez en œuvre un contrôle d’accès basé sur les attributs qui prend en compte non seulement l’identité de l’agent, mais également les données qu’il traite, les outils auxquels il demande l’accès et le contexte de la menace.

La gouvernance RAG est particulièrement cruciale. Établissez un suivi de la lignée des données pour tout contenu ingéré dans les magasins de vecteurs. Mettez en œuvre des pipelines de validation de contenu qui peuvent détecter des exemples adverses ou des instructions malveillantes intégrées dans les documents.

Pour la surveillance, vous avez besoin d’une télémétrie qui capture à la fois les indicateurs techniques et comportementaux. La surveillance technique comprend l’analyse des entrées et des sorties, les modèles d’appel d’API et la consommation de ressources. La surveillance comportementale se concentre sur la qualité de la décision, les modèles d’achèvement de tâche et les contextes d’interaction qui pourraient indiquer une compromission.

L’intégration est importante. Les résultats du red teaming doivent éclairer les politiques CIAM, les systèmes de surveillance doivent alimenter les processus de gouvernance RAG, et tout cela doit être coordonné par une plateforme de gestion des risques d’entreprise centralisée qui peut corréler les signaux dans tous ces domaines.

Alors que les failles de sécurité liées à l’IA sont encore à leurs débuts mais prêtes à croître, quels sont les tendances que les dirigeants de la sécurité devraient se préparer à affronter au cours des 12 à 18 prochains mois ?

Je m’attends à voir une escalade significative des attaques de la chaîne d’approvisionnement ciblant tout, y compris l’infrastructure d’IA. Les attaques de la chaîne d’approvisionnement d’IA empoisonnent les ensembles de données de formation, compromettent les référentiels de modèles ou injectent du code malveillant dans les dépendances logicielles pour obtenir un accès persistant aux systèmes d’IA.

Il y a déjà une vague d’ingénierie sociale autonome, tels que les incidents de vishing de deepfake, mais l’évolution vers la génération complètement autonome est ce qui me préoccupe le plus. Les agents d’IA gérant des campagnes d’ingénierie sociale complètes sur plusieurs plateformes simultanément, chacune adaptée à des cibles et à des contextes spécifiques, créent un effet multiplicateur qui les défenses traditionnelles ne sont pas préparées.

Je crois que nous allons voir l’émergence d’attaques natives d’IA qui opèrent à la vitesse de la machine. Les outils de sécurité traditionnels et les analystes humains ne peuvent pas suivre un attaquant qui peut exécuter des exploits complexes et multétapes en millisecondes.

Comment prévoyez-vous que les cadres réglementaires et de conformité évolueront en réponse aux risques de l’IA générative ?

Je prévois un changement majeur dans les cadres réglementaires, visant à équilibrer l’innovation avec un accent sur la responsabilité, la transparence, les pratiques de développement sécurisé et la sécurité de la chaîne d’approvisionnement.

Je m’attends à voir un accent sur la provenance et l’intégrité des données. Les organismes réglementaires voudront savoir d’où proviennent les données utilisées pour former et améliorer les modèles d’IA. Ils voudront voir la preuve que les données ont été nettoyées, qu’elles ne contenaient pas d’informations sensibles et qu’elles n’ont pas été empoisonnées.

Enfin, je pense que nous allons voir des réglementations spécifiques au secteur. Les risques pour une institution financière utilisant un agent d’IA pour gérer des transactions sont différents de ceux d’une entreprise de soins de santé utilisant un agent pour le diagnostic.

Les régulateurs commenceront à définir des normes spécifiques pour les industries critiques, exigeant des choses comme le red teaming automatisé, la surveillance humaine et un audit strict pour les systèmes d’IA qui pourraient avoir des conséquences de vie ou de mort.

En tant que professeur adjoint et membre du conseil d’administration de l’Institut pour la cybersécurité omniprésente de l’Université d’État de Boise, comment préparez-vous la prochaine génération de professionnels de la sécurité d’IA, et quels sont les compétences que vous considérez comme les plus critiques dans le paysage en évolution d’aujourd’hui ?

La pensée critique et la résolution de problèmes sont toujours les compétences les plus importantes dont les étudiants ont besoin pour une carrière brillante en cybersécurité, mais des compétences telles que la psychologie humaine et la linguistique, autrefois trouvées uniquement dans les équipes de renseignement sur les menaces, sont des compétences qui bénéficieront à une variété de rôles en cybersécurité dans l’avenir de l’IA.

Les compétences en matière de personnes et de communication sont également importantes. La cybersécurité est plus qu’un système informatique, c’est à propos des personnes, aider une entreprise à atteindre ses objectifs commerciaux et être capable de traduire et de communiquer des risques techniques complexes à des parties prenantes non techniques afin qu’elles puissent prendre les bonnes décisions pour l’entreprise. L’avenir de la cybersécurité dépendra de professionnels qui sont non seulement techniquement intelligents mais également ancrés et habiles en communication.

Enfin, le paysage de la sécurité d’IA évolue si rapidement, il est donc important de pouvoir apprendre et s’adapter rapidement.

Je vous remercie pour cette grande interview et ces informations détaillées, les lecteurs qui souhaitent en savoir plus devraient visiter SPLX.