Nouvelles failles de sécurité de l’adoption rapide de la GenAI que les organisations doivent prendre en compte

L’intelligence artificielle générative (GenAI) est passée d’une curiosité à une force centrale dans la technologie d’entreprise. Sa capacité à générer du texte, du code, des images et des insights à la demande en a fait un outil indispensable pour les employés qui cherchent à simplifier la complexité et à accélérer la productivité. Mais avec cette innovation et cette efficacité viennent des risques massifs.

Lors d’appels avec des dirigeants et des responsables de la gouvernance de l’IA dans diverses industries, un thème ressort constamment : la sécurité des données est passée d’une préoccupation majeure à un point focal de leur stratégie et est maintenant le défi déterminant de l’adoption de l’IA. Contrairement aux logiciels traditionnels ou même aux précédentes vagues d’apprentissage automatique, la GenAI modifie fondamentalement le processus de sécurisation des données au sein d’une organisation.

Une étude récente du MIT a révélé que 95 % des pilotes de GenAI d’entreprise échouent. Ce n’est pas parce que la technologie est faible ; c’est parce que les entreprises manquent de cadres de gouvernance et de sécurité nécessaires pour exploiter la GenAI de manière appropriée et responsable. Dans une autre étude du MIT, les dirigeants d’entreprise ont cité la sécurité des données comme le principal risque commercial et de sécurité qui entrave une adoption plus rapide de l’IA. De plus, l’« intelligence artificielle fantôme », qui est l’utilisation non autorisée par les employés d’outils publics, est largement reconnue comme un facteur de risques de données en augmentation exponentielle au-delà du contrôle de l’entreprise.

Le modèle d’accès à privilèges minimum est un modèle de sécurité dans lequel toute entité, qu’il s’agisse d’un utilisateur, d’un programme ou d’un processus, se voit accorder uniquement le niveau minimum d’accès et de permissions nécessaire pour exécuter ses fonctions légitimes. La GenAI, cependant, renverse tout le paradigme : le principe du minimum de privilèges devient une contrainte qui entre en conflit avec la façon dont ces systèmes sont conçus pour fonctionner. En effet, les outils de GenAI d’entreprise tendent à offrir des gains de productivité plus élevés lorsqu’ils ont accès à davantage de données commerciales et de contexte commercial.

À mesure que l’adoption de la GenAI s’accélère, les utilisateurs continuent de découvrir de nouvelles applications de la GenAI, la plupart émergeant d’une expérimentation et d’une curiosité organiques, plutôt que d’une planification commerciale descendante. Si une entité ne peut pas définir les tâches pour lesquelles la GenAI sera utilisée, ou les types de données auxquels elle a besoin d’accéder, il devient inenvisageable de configurer des permissions d’accès à privilèges minimum. De plus, un utilisateur peut avoir un accès approprié à un ensemble de données et le fournir légitimement comme entrée à un outil de GenAI, mais une fois que ces données sont ingérées, elles ne sont plus liées aux permissions d’origine de l’utilisateur. Au lieu de cela, elles peuvent être absorbées dans le modèle, affichées dans les sorties futures ou rendues accessibles à d’autres utilisant le même outil. Puisque la GenAI n’hérite pas nécessairement des contrôles d’accès aux données, elle rend effectivement le principe du minimum de privilèges inapplicable.

Expositions de la GenAI à prendre en compte

La GenAI crée une vaste et constamment croissante surface de données, compliquant la gouvernance et la sécurité des données d’entreprise de plusieurs manières interconnectées. Celles-ci incluent :

Fuite d’entrée – La GenAI peut ingérer des données sous leur forme brute, y compris le texte, les images, l’audio, la vidéo et les données structurées. Les utilisateurs finaux peuvent maintenant diriger les outils de GenAI vers de nouveaux ensembles de données avec un minimum d’effort ou d’expertise. Au lieu d’être limités à des tables structurées soigneusement sélectionnées avec des schémas et des relations définis, ces ensembles de données peuvent inclure des enregistrements d’appels de vente, des notes de courriel CRM, des transcriptions de service client et plus encore. Dans la pratique, les employés alimentent les invites avec des informations commerciales très sensibles, y compris les PII des clients, la propriété intellectuelle, les prévisions financières et même le code source.

Exposition de sortie – Les modèles génératifs ne consomment pas seulement, ils synthétisent. Une invite peut involontairement tirer des insights de plusieurs ensembles de données et les exposer aux utilisateurs sans autorisation appropriée. Dans certains cas, les sorties peuvent même « halluciner » des données qui semblent légitimes mais contiennent des fragments de matériel de formation réel et très sensible.

Les outils de GenAI fonctionnent mieux lorsqu’ils ont un contexte pour la tâche en cours. Par conséquent, non seulement la GenAI ingère des informations existantes, mais les utilisateurs créent également de nouvelles données pour la guider sous la forme d’invites détaillées et approfondies qui documentent le contexte commercial, les processus internes et d’autres informations potentiellement sensibles ou critiques pour l’entreprise.

Accessibilité sans surveillance – Les systèmes d’entreprise traditionnels nécessitaient une intégration de fournisseur et une provision d’IT. Aujourd’hui, la GenAI est intégrée partout – dans les suites Microsoft Office, les navigateurs, les outils de chat et les plateformes SaaS. Les employés peuvent l’adopter instantanément, en contournant la gouvernance. Cet accès sans friction alimente l’« intelligence artificielle fantôme », et chaque utilisation non autorisée de la GenAI est un événement potentiel d’exfiltration de données qui se produit de manière invisible, à grande échelle et en dehors du périmètre de gouvernance de l’entreprise.

Risque de chaîne d’approvisionnement de second rang – Un fournisseur peut sembler sécurisé, mais il s’appuie souvent sur des sous-traitants tels que des hôtes cloud, des services d’annotation ou des laboratoires d’IA tiers. Chacun introduit ses propres contrats de licence utilisateur final (CLUF) et ses propres politiques. Les données sensibles de l’entreprise peuvent se propager à travers de multiples mains invisibles, mais la responsabilité reste entièrement entre les mains de l’entreprise. Par exemple, une entreprise peut avoir un fournisseur qui a précédemment terminé son processus d’intégration, mais ce fournisseur utilise maintenant un outil de GenAI qui pourrait permettre aux données de l’entreprise d’être utilisées comme données de formation, avec des impacts importants en aval.

Lacunes de gouvernance dans les données de formation – Une fois que les données pénètrent dans un modèle d’IA, le contrôle effectif se termine. Les entreprises ne peuvent pas facilement rappeler ou gérer la manière dont leurs informations sont utilisées. Les connaissances propriétaires peuvent persister et refaire surface dans les sorties longtemps après que leur source ait été oubliée. Nous n’avons encore rencontré aucun outil de GenAI qui permette de demander la suppression d’informations qu’il a ingérées, similaire à ce qui est vu dans les réglementations de confidentialité telles que le Règlement général sur la protection des données (RGPD) ou la Loi californienne sur la confidentialité des consommateurs (CCPA). La mise en œuvre de tels processus est peu probable jusqu’à ce que la réglementation ne pousse le changement.

Risque de code d’application – L’IA écrit de plus en plus le code qui sous-tend les systèmes commerciaux. Les développeurs qui utilisent des outils de GenAI comme Microsoft Copilot pour générer du code peuvent involontairement introduire des dépendances non sécurisées, propager des vulnérabilités ou intégrer du code sous des licences open source conflictuelles. Une fois déployés, ces faiblesses deviennent intégrées à la chaîne d’approvisionnement logiciel.

Atténuation des risques de la GenAI

La GenAI est déjà intégrée dans les flux de travail d’entreprise, la question pour les entreprises n’est donc pas de savoir si elles doivent l’adopter, mais comment le faire de manière responsable. Adopter la GenAI sans gouvernance risque de coûteuses failles, de pénalités réglementaires et de dommages à la réputation. Mais bloquer la GenAI ne pousse les employés à utiliser des solutions non autorisées. La seule voie à suivre est l’activation entourée de visibilité et de contrôle.

La gouvernance de la GenAI nécessite une visibilité basée sur le contexte non seulement sur les données que possède une entreprise, où elles se trouvent et qui y a accès, mais également sur la manière dont la GenAI est utilisée. Les entreprises doivent voir quels outils sont accessibles, quelles invites sont saisies et si des données sensibles quittent leur environnement. À partir de là, elles peuvent appliquer les contrôles appropriés pour surveiller les invites et les sorties en temps réel, signaler les sessions à risque ou les flux de données anormaux, bloquer les outils non autorisés, filtrer les invites sensibles avant qu’elles ne partent, désidentifier les données sensibles lorsqu’elles sont saisies dans les invites et appliquer des restrictions basées sur les rôles aux insights générés par l’IA.

La GenAI est une nouvelle couche de risque et d’opportunité pour l’entreprise. La gérer nécessite une mentalité selon laquelle la sécurité n’est pas un frein à l’innovation, mais la fondation qui la rend sécurisée.