Kieran Norton, leader de l’AI et de l’automatisation de Deloitte aux États-Unis – Série d’entretiens

Kieran Norton est un associé (partenaire) de Deloitte & Touche LLP et est le leader de l’AI et de l’automatisation de Deloitte aux États-Unis. Avec plus de 25 ans d’expérience approfondie et une solide formation technologique, Kieran excelle dans la résolution des risques émergents, en fournissant aux clients des conseils stratégiques et pragmatiques en matière de cybersécurité et de gestion des risques technologiques.

Au sein de Deloitte, Kieran dirige les efforts de transformation de l’AI pour la pratique de cybersécurité américaine. Il supervise la conception, le développement et le déploiement sur le marché de solutions d’AI et d’automatisation, aidant les clients à améliorer leurs capacités de cybersécurité et à adopter les technologies d’AI/Gen AI tout en gérant efficacement les risques associés.

À l’extérieur, Kieran aide les clients à évoluer leurs stratégies de sécurité traditionnelles pour soutenir la transformation numérique, moderniser les chaînes d’approvisionnement, accélérer le temps de mise sur le marché, réduire les coûts et atteindre d’autres objectifs commerciaux critiques.

Les agents d’AI devenant de plus en plus autonomes, quels sont les nouvelles catégories de menaces de cybersécurité qui émergent que les entreprises peuvent ne pas encore fully comprendre ?

Les risques associés à l’utilisation de nouvelles technologies liées à l’AI pour concevoir, construire, déployer et gérer des agents peuvent être compris – opérationnalisés est une autre affaire.

L’agence et l’autonomie des agents d’AI – la capacité des agents à percevoir, décider, agir et opérer de manière indépendante des humains – peuvent créer des défis pour maintenir la visibilité et le contrôle sur les relations et les interactions que les modèles/agents ont avec les utilisateurs, les données et d’autres agents. À mesure que les agents se multiplient au sein de l’entreprise, en connectant plusieurs plateformes et services avec une autonomie et des droits de décision croissants, cela deviendra de plus en plus difficile. Les menaces associées à une agence d’AI/autonomie mal protégée, excessive ou cachée sont nombreuses. Cela peut inclure la fuite de données, la manipulation d’agents (via l’injection de invites, etc.) et les chaînes d’attaque d’agent à agent. Toutes ces menaces ne sont pas immédiates, mais les entreprises devraient considérer comment elles géreront ces menaces à mesure qu’elles adopteront et matureront les capacités impulsées par l’AI.

La gestion des identités d’AI est un autre risque qui devrait être soigneusement considéré. L’identification, l’établissement et la gestion des identités de machine des agents d’AI deviendront plus complexes à mesure que davantage d’agents seront déployés et utilisés dans les entreprises. La nature éphémère des modèles d’AI / des composants de modèles qui sont créés et détruits à plusieurs reprises dans des circonstances variées entraînera des défis pour maintenir ces identités de modèles. Les identités de modèles sont nécessaires pour surveiller l’activité et le comportement des agents d’un point de vue sécurité et confiance. Si elles ne sont pas mises en œuvre et surveillées correctement, la détection de problèmes potentiels (performance, sécurité, etc.) sera très difficile.

Devrions-nous nous inquiéter des attaques de poisoning de données dans les pipelines d’entraînement d’AI, et quels sont les meilleures stratégies de prévention ?

Le poisoning de données représente l’une des nombreuses façons d’influencer / manipuler les modèles d’AI dans le cycle de vie du développement de modèles. Le poisoning se produit généralement lorsque un acteur malveillant injecte des données nuisibles dans l’ensemble d’entraînement. Cependant, il est important de noter que, au-delà des acteurs adverses explicites, le poisoning de données peut survenir en raison d’erreurs ou de problèmes systémiques dans la génération de données. À mesure que les organisations deviennent plus avides de données et cherchent des données utilisables dans plus d’endroits (par exemple, l’annotation manuelle externalisée, les ensembles de données synthétiques achetés ou générés, etc.), la possibilité de poisonner involontairement les données d’entraînement augmente et peut ne pas toujours être facilement diagnostiquée.

La cible des pipelines d’entraînement est un vecteur d’attaque principal utilisé par les adversaires pour influencer de manière subtile et ouverte. La manipulation des modèles d’AI peut entraîner des résultats qui incluent de faux positifs, de faux négatifs et d’autres influences plus subtiles qui peuvent altérer les prédictions d’AI.

Les stratégies de prévention vont des solutions techniques, procédurales et architecturales. Les stratégies procédurales incluent la validation / la désinfection des données et les évaluations de confiance ; les stratégies techniques incluent l’utilisation de renforcements de sécurité avec des techniques d’AI comme l’apprentissage fédéré ; les stratégies architecturales incluent la mise en œuvre de pipelines de confiance zéro et la mise en œuvre d’une surveillance / d’une alerte robuste qui peut faciliter la détection d’anomalies. Ces modèles ne sont que aussi bons que leurs données, même si une organisation utilise les outils les plus récents et les plus grands, donc le poisoning de données peut devenir un talon d’Achille pour les non préparés.

De quelle manière les acteurs malveillants peuvent-ils manipuler les modèles d’AI après leur déploiement, et comment les entreprises peuvent-elles détecter la manipulation à temps ?

L’accès aux modèles d’AI après leur déploiement est généralement obtenu via une interface de programmation d’applications (API), une application via un système intégré et/ou via un port-protocole vers un appareil de bord. La détection précoce nécessite un travail précoce dans le cycle de vie du développement logiciel (SDLC), la compréhension des techniques de manipulation de modèles pertinentes ainsi que les vecteurs de menace prioritaires pour concevoir des méthodes de détection et de protection. Certaines manipulations de modèles impliquent le piratage d’API, la manipulation des espaces de mémoire (exécution), et le poisoning lent / progressif via la dérive de modèles. Étant donné ces méthodes de manipulation, certaines stratégies de détection précoce peuvent inclure l’utilisation de télémétrie / de surveillance de point de terminaison (via Endpoint Detection and Response et Extended Detection and Response), la mise en œuvre de pipelines d’inférence sécurisés (par exemple, l’informatique confidentielle et les principes de confiance zéro), et l’activation de la gestion des eaux de modèles / de la signature de modèles.

L’injection d’invites est une famille d’attaques de modèles qui se produisent après le déploiement et peuvent être utilisées à diverses fins, notamment l’extraction de données de manière non intentionnelle, la révélation de invites de système non destinées aux utilisateurs normaux et l’induction de réponses de modèles qui peuvent mettre une organisation dans une lumière négative. Il existe une variété d’outils de garde-fou sur le marché pour aider à atténuer le risque d’injection d’invites, mais comme pour le reste de la cybersécurité, c’est une course aux armements où les techniques d’attaque et les contre-mesures défensives sont constamment mises à jour.

De quelle manière les cadres de cybersécurité traditionnels sont-ils insuffisants pour répondre aux risques uniques des systèmes d’AI ?

Nous associons généralement le « cadre de cybersécurité » à des conseils et des normes – par exemple, NIST, ISO, MITRE, etc. Certaines des organisations derrière ces ont publié des conseils mis à jour spécifiques à la protection des systèmes d’AI qui peuvent être très utiles.

L’AI ne rend pas ces cadres inefficaces – vous devez toujours résoudre tous les domaines traditionnels de la cybersécurité – ce que vous devrez peut-être mettre à jour, ce sont vos processus et vos programmes (par exemple, votre SDLC) pour répondre aux nuances associées aux charges de travail d’AI. L’intégration et l’automatisation (lorsque cela est possible) des contrôles pour protéger contre les menaces nuancées décrites ci-dessus est la voie la plus efficace et efficiente.

À un niveau tactique, il vaut la peine de mentionner que la plage complète de possibilités d’entrée et de sortie est souvent beaucoup plus grande que les applications non-AI, ce qui crée un problème d’échelle pour les tests de pénétration traditionnels et les détections basées sur des règles, d’où l’accent mis sur l’automatisation.

Quels sont les éléments clés qui devraient être inclus dans une stratégie de cybersécurité spécifiquement conçue pour les organisations qui déploient l’AI générative ou les grands modèles de langage ?

Lorsque vous développez une stratégie de cybersécurité pour déployer l’AI générative ou les grands modèles de langage (LLM), il n’y a pas d’approche universelle. Beaucoup dépend des objectifs commerciaux globaux de l’organisation, de sa stratégie informatique, de son orientation industrielle, de son empreinte réglementaire, de sa tolérance aux risques, etc. ainsi que des cas d’utilisation d’AI spécifiques en considération. Un chatbot à usage interne uniquement présente un profil de risque très différent d’un agent qui pourrait avoir un impact sur les résultats de santé des patients, par exemple.

Ceci étant dit, il y a des fondamentaux que chaque organisation devrait aborder :

• Effectuer une évaluation de préparation – cela établit une base de capacités actuelles ainsi que l’identification de lacunes potentielles en considérant les cas d’utilisation d’AI prioritaires. Les organisations devraient identifier où il existe des contrôles existants qui peuvent être étendus pour répondre aux risques nuancés associés à l’AI générative et le besoin de mettre en œuvre de nouvelles technologies ou d’améliorer les processus actuels.
• Établir un processus de gouvernance d’AI – cela peut être entièrement nouveau dans une organisation ou une modification des programmes de gestion des risques actuels. Cela devrait inclure la définition de fonctions d’activation d’AI à l’échelle de l’entreprise et la participation de parties prenantes de tout le business, de l’informatique, du produit, du risque, de la cybersécurité, etc. dans le cadre de la structure de gouvernance. De plus, la définition / la mise à jour des politiques pertinentes (politiques d’utilisation acceptable, politiques de sécurité cloud, gestion des risques technologiques de tiers, etc.) ainsi que l’établissement des exigences de formation pour soutenir la littératie d’AI et la sécurité / la sûreté d’AI dans toute l’organisation devraient être inclus.
• Établir une architecture d’AI de confiance – avec la mise en place de plateformes d’AI / de GenAI et de sandbox d’expérimentation, les technologies existantes ainsi que de nouvelles solutions (par exemple, les pare-feu d’AI / la sécurité d’exécution, les garde-fous, la gestion du cycle de vie des modèles, les capacités d’IAM améliorées, etc.) devront être intégrées dans les environnements de développement et de déploiement de manière répétitive et évolutivité.
• Améliorer le SDLC – les organisations devraient établir des intégrations serrées entre les développeurs d’AI et les équipes de gestion des risques qui travaillent à protéger, sécuriser et construire la confiance dans les solutions d’AI. Cela inclut l’établissement d’un ensemble uniforme / standard de pratiques de développement de logiciels sécurisés et d’exigences de contrôle, en partenariat avec les équipes plus larges de développement et d’adoption d’AI.

Pouvez-vous expliquer le concept de « pare-feu d’AI » en termes simples ? Comment diffère-t-il des pare-feu réseau traditionnels ?

Un pare-feu d’AI est une couche de sécurité conçue pour surveiller et contrôler les entrées et les sorties des systèmes d’AI – en particulier les grands modèles de langage – pour empêcher les abus, protéger les données sensibles et assurer un comportement d’AI responsable. Contrairement aux pare-feu traditionnels qui protègent les réseaux en filtrant le trafic en fonction d’adresses IP, de ports et de menaces connues, les pare-feu d’AI se concentrent sur la compréhension et la gestion des interactions en langage naturel. Ils bloquent des choses comme le contenu toxique, la fuite de données, l’injection d’invites et l’utilisation contraire à l’éthique de l’AI en appliquant des politiques, des filtres sensibles au contexte et des garde-fous spécifiques aux modèles. En essence, tandis qu’un pare-feu traditionnel protège votre réseau, un pare-feu d’AI protège vos modèles d’AI et leurs sorties.

Existe-t-il des normes industrielles actuelles ou des protocoles émergents qui régissent l’utilisation de pare-feu d’AI ou de garde-fous spécifiques ?
Le protocole de communication de modèle (MCP) n’est pas une norme universelle mais gagne du terrain dans l’industrie pour aider à résoudre le fardeau de configuration croissant des entreprises qui ont besoin de gérer la diversité des solutions d’AI-GenAI. Le MCP régit la façon dont les modèles d’AI échangent des informations (y compris l’apprentissage) inclus l’intégrité et la vérification. Nous pouvons penser au MCP comme la pile de protocole de transmission de contrôle (TCP) / Internet (IP) pour les modèles d’AI, ce qui est particulièrement utile dans les cas d’utilisation centralisés, fédérés ou distribués. Le MCP est actuellement un cadre conceptuel qui est réalisé à travers divers outils, recherches et projets.

Le domaine évolue rapidement et nous pouvons nous attendre à ce qu’il change beaucoup au cours des prochaines années.

Comment l’AI transforme-t-elle le domaine de la détection et de la réponse aux menaces aujourd’hui par rapport à il y a cinq ans ?

Nous avons vu les plates-formes de centres de sécurité commerciaux moderniser à différents degrés, en utilisant de grands ensembles de données de haute qualité ainsi que des modèles d’AI/ML avancés pour améliorer la détection et la classification des menaces. De plus, ils utilisent l’automatisation, le workflow et les capacités d’auto-résolution pour réduire le temps de détection à l’atténuation. En outre, certains ont introduit des fonctionnalités de copilote pour soutenir davantage la triage et la réponse.

En outre, des agents sont développés pour remplir des rôles sélectionnés au sein du centre de sécurité. Par exemple pratique, nous avons construit un « Analyste numérique » agent pour le déploiement dans notre propre offre de services gérés. L’agent sert d’analyste de niveau un, en triant les alertes entrantes, en ajoutant du contexte à partir de renseignements sur les menaces et d’autres sources, et en recommandant des étapes de réponse (sur la base d’une vaste histoire de cas) pour nos analystes humains qui examinent ensuite, modifient si nécessaire et prennent des mesures.

Comment voyez-vous l’évolution de la relation entre l’AI et la cybersécurité au cours des 3 à 5 prochaines années – l’AI sera-t-elle plus un risque ou une solution ?
À mesure que l’AI évolue au cours des 3 à 5 prochaines années, elle peut aider la cybersécurité mais en même temps, elle peut également introduire des risques. L’AI va élargir la surface d’attaque et créer de nouveaux défis du point de vue défensif. De plus, l’AI adverse va accroître la viabilité, la vitesse et l’échelle des attaques, ce qui créera davantage de défis. D’un autre côté, l’utilisation de l’AI dans le domaine de la cybersécurité présente des opportunités significatives pour améliorer l’efficacité, l’efficience, l’agilité et la rapidité des opérations de cybersécurité dans la plupart des domaines – créant finalement un scénario de « lutte contre le feu par le feu ».

Merci pour cette grande interview, les lecteurs peuvent également souhaiter visiter Deloitte.