Les Risques Cachés de l’Intelligence Artificielle Ténébreuse

La plupart des équipes d’entreprise n’avaient pas prévu que l’intelligence artificielle prendrait le contrôle de leurs flux de travail. Tout a commencé avec des outils simples qui promettaient une rédaction plus rapide, des réunions plus fluides et de meilleures informations sur les clients. Les employés ont installé des assistants d’intelligence artificielle dans leurs navigateurs, les ont connectés à leur messagerie électronique, les ont ajoutés à Zoom et ont expérimenté Slack et Google Workspace.

Mais ces premiers essais se sont déroulés plus rapidement que les contrôles corporatifs et se sont propagés à travers les systèmes SaaS qui font tourner les entreprises entières, jusqu’à ce que l’intelligence artificielle soit intégrée au travail quotidien. Et c’est exactement ainsi que l’intelligence artificielle ténébreuse, l’un des risques les plus sous-estimés dans l’entreprise moderne d’aujourd’hui, est apparue. Elle a grandi à l’intérieur de la plupart des organisations bien avant que les dirigeants ne réalisent à quel point elle était liée à des données sensibles.

L’intelligence artificielle ténébreuse fait référence à des outils d’intelligence artificielle qui opèrent à l’intérieur d’une organisation sans autorisation, sans visibilité et souvent sans garde-fous. Une fois que ces outils s’intègrent directement avec des plateformes telles que Salesforce, Zoom ou Microsoft 365, ils obtiennent accès à des informations que les dirigeants présumaient être sécurisées. Le danger se manifeste déjà par des défaillances de conformité, des flux de données non surveillés et des incidents où des agents d’intelligence artificielle prennent des mesures que personne n’avait prévues.

Nous avons passé des années à travailler avec des entreprises qui croyaient avoir de solides programmes de sécurité. Pourtant, lorsque nous les avons aidés à examiner leurs environnements SaaS, ils ont découvert des centaines de connexions d’intelligence artificielle actives qu’ils n’avaient pas autorisées. Certaines de ces connexions étaient actives depuis des mois, tandis que d’autres appartenaient à des employés qui avaient déjà quitté l’entreprise. L’intelligence artificielle ténébreuse se développe discrètement car elle se déplace plus rapidement que la gouvernance et plus rapidement que la plupart des organisations sont en mesure de détecter.

Conduites de Données Invisibles

L’histoire commence souvent avec de nobles intentions : un représentant des ventes qui veut écrire de meilleurs courriels, ou un responsable du succès client qui veut des transcriptions de réunions importantes, ou un ingénieur qui veut un moyen plus rapide de réviser le code. Les outils d’intelligence artificielle rendent ces tâches faciles, donc les employés les adoptent rapidement. Mais l’adoption n’est que le premier pas.

Beaucoup de ces outils demandent des autorisations étendues via OAuth, des extensions de navigateur ou des clés d’API. Une fois accordées, ils obtiennent accès aux dossiers CRM, aux notes de clients, aux messages internes ou au code source confidentiel.

Nous avons vu ce qui se passe ensuite. Dans un cas, une équipe a découvert qu’un assistant d’intelligence artificielle connecté à Salesforce avait généré plus de quatre cents rapports en un seul week-end. Au début, tout le monde a supposé qu’il s’agissait d’une erreur de système. Cependant, l’intelligence artificielle a obtenu un accès étendu. Elle a commencé à automatiser des tâches à une échelle que aucun analyste humain n’aurait jamais tenté. Des prévisions de ventes sensibles et des informations sur les clients sont apparues dans des endroits où elles n’auraient jamais dû se trouver, simplement parce qu’un outil d’intelligence artificielle a décidé d’agir.

Une autre organisation a déployé un service de transcription d’intelligence artificielle pour aider ses équipes axées sur les clients. Il a enregistré chaque réunion et a collecté des détails sur les prix, les problèmes des clients, les plans à venir et les informations sur la concurrence. Toutes ces informations sont allées directement dans un système tiers sans accord en place et sans visibilité sur la façon dont les données étaient stockées ou utilisées. Des situations comme celle-ci deviennent plus courantes car les outils d’intelligence artificielle agissent très différemment des logiciels traditionnels. Ils lisent plus de données et se déplacent plus rapidement, et ils agissent souvent sans limites claires.

À mesure que l’adoption de l’intelligence artificielle s’accélère, la surface d’attaque continuera de s’élargir. L’émergence du Protocole de Contexte de Modèle, en particulier, rend l’intelligence artificielle plus puissante en permettant aux agents d’interagir directement avec les données d’entreprise. Malheureusement, cette commodité ouvre également de nouvelles portes aux attaques de la chaîne d’approvisionnement et à l’escalade des privilèges.

Les dirigeants doivent comprendre que l’intelligence artificielle moderne ne correspond pas aux anciens modèles de sécurité sur lesquels les entreprises s’appuient encore, car ces outils d’intelligence artificielle vivent à l’intérieur de vos systèmes, et non à la périphérie, ce qui les rend beaucoup plus difficiles à détecter et encore plus difficiles à gérer.

Les Limitations des Outils de Sécurité Traditionnels

La plupart des programmes de sécurité ont été conçus pour un monde où les applications vivaient à l’intérieur d’un réseau d’entreprise et où les utilisateurs se connectaient via des modèles prévisibles. Cependant, l’intelligence artificielle a brisé ce modèle. Les outils modernes vivent à l’intérieur des plateformes SaaS, et non sur les serveurs d’entreprise. Ils communiquent via des API, et non via des réseaux. Ils lisent et écrivent des données en continu, et ils se comportent de manière que les systèmes de surveillance hérités ne peuvent pas interpréter.

Nos expériences montrent que les organisations sous-estiment souvent le nombre d’outils d’intelligence artificielle présents dans leur environnement. Beaucoup ne savent pas quelles intégrations sont actives ou depuis combien de temps ces autorisations existent. D’autres supposent que l’authentification unique ou les règles de pare-feu suffisent pour les protéger. Ils ne le sont pas. L’intelligence artificielle ténébreuse prospère dans les systèmes d’identité, les couches de permissions et les intégrations de tiers que les équipes de sécurité examinent rarement. Elle se cache dans les endroits où les entreprises ne regardent pas et dans les outils que les employés installent parce qu’ils veulent aller plus vite.

Le passage à l’intelligence artificielle intégrée rend cette tâche encore plus difficile. Les plateformes comme Microsoft 365, Google Workspace, Slack et Salesforce expédient maintenant des capacités d’intelligence artificielle intégrées. Certaines sont activées par défaut. D’autres peuvent être activées avec un seul clic. Les organisations peuvent déjà utiliser des fonctionnalités d’intelligence artificielle sans réaliser quelles données ces fonctionnalités consomment ou comment ces systèmes stockent la sortie. Le risque vient non seulement de ce que les employés ajoutent, mais aussi de ce que les fournisseurs introduisent.

Reprendre le Contrôle

L’intelligence artificielle ténébreuse ne devrait pas être considérée comme un échec des employés. Plutôt, c’est le résultat naturel d’un progrès technique rapide, et les dirigeants ont besoin de visibilité, et non de blâme. La première étape consiste à supposer que l’intelligence artificielle ténébreuse existe et à commencer à cartographier où l’intelligence artificielle interagit déjà avec les systèmes critiques. La deuxième étape consiste à créer un ensemble d’outils d’intelligence artificielle approuvés afin que les équipes puissent innover en toute sécurité. Le blocage de l’intelligence artificielle est irréaliste, et la fourniture d’options sécurisées est le seul chemin durable.

La surveillance en temps réel est également essentielle. Les examens trimestriels ne peuvent pas suivre les outils qui peuvent exfiltrer des données en quelques heures. Les organisations ont besoin d’une visibilité continue sur quels agents d’intelligence artificielle sont actifs, quels sont les autorisations qu’ils détiennent et si ces autorisations correspondent à l’accès aux moindres privilèges. Lorsque nous travaillons avec les équipes de direction, nous les encourageons à poser des questions directes : quels outils accèdent aux systèmes de clients, quels outils se connectent aux environnements de production et quels outils restent actifs après le départ des utilisateurs ?

Nous avons vu des organisations transformer cette confusion en clarté. Une fois que les dirigeants voient où l’intelligence artificielle opère à l’intérieur de leurs systèmes, ils peuvent mettre en place les bonnes limites et laisser les équipes l’utiliser en toute sécurité. C’est alors que l’intelligence artificielle cesse d’être un risque et commence à devenir un véritable avantage.

L’intelligence artificielle ténébreuse n’est pas quelque chose qui va arriver dans le futur. Elle est déjà là. Mais les organisations qui traitent ce problème avant qu’il ne devienne une crise seront celles qui mèneront l’ère de l’intelligence artificielle.