La Jungle de l’Intelligence Artificielle Invisible : Pourquoi Approuver une Plateforme n’est pas la Même Chose que de Sécuriser ce qui est Construit dessus

L’adoption de l’intelligence artificielle par les entreprises est loin d’être sans heurts. Les préoccupations concernant le contrôle des données, la conformité réglementaire et la sécurité ont accompagné chaque étape du parcours. Mais à mesure que les organisations augmentent leurs opérations sur des plateformes majeures telles que Microsoft, Salesforce et ServiceNow, il y a un sentiment croissant que les questions de gouvernance les plus difficiles sont, au moins en partie, en train d’être résolues. Les accords d’entreprise sont en place. Les examens de sécurité ont été terminés. Les plateformes sont approuvées.

Ce qui est souvent négligé par cette confiance est une question tout à fait différente : non pas si la plateforme est sécurisée, mais ce qui est construit et par qui.

À travers les industries, une révolution silencieuse est en cours alors que les employés non techniques utilisent des plateformes d’intelligence artificielle d’entreprise pour créer des agents autonomes, des flux de travail automatisés et des applications connectées aux données, souvent en quelques minutes, sans écrire une seule ligne de code. Libres des délais de développement traditionnels et des restrictions, ces constructeurs sont un atout pour l’efficacité organisationnelle. Mais ces outils ne sont jamais examinés par une équipe de sécurité. Dans de nombreux cas, les équipes de sécurité ne savent même pas qu’ils existent.

Ces outils, qu’ils soient classés comme des applications, des agents ou des automatisations, font partie d’un problème croissant connu sous le nom d’Intelligence Artificielle Invisible, et ils représentent l’un des changements les plus significatifs dans les risques d’entreprise au cours de la dernière décennie, pour la simple raison que les menaces sont maintenant à l’intérieur.

Le problème initial de l’Intelligence Artificielle Invisible était relativement simple : les employés utilisaient des outils non autorisés provenant de l’extérieur de l’organisation, et le rôle de la sécurité était de les trouver et de les bloquer. L’Intelligence Artificielle Invisible est un défi tout à fait différent. Les outils sont à l’intérieur des plateformes que vous avez approuvées. Les personnes qui les construisent sont vos propres employés. L’accès qu’ils utilisent est légitime. Et rien de tout cela ne passe par les processus de sécurité conçus pour détecter les problèmes avant qu’ils n’atteignent la production.

Ce qui rend cela particulièrement difficile à résoudre est l’échelle. La plupart des dirigeants de la sécurité sous-estiment considérablement ce qui est construit à l’intérieur de leurs propres environnements. Des recherches récentes menées auprès de plus de 200 dirigeants de la sécurité et de la sécurité d’entreprise ont constaté que l’équipe de sécurité d’entreprise moyenne ne peut compter que pour 44% des agents d’intelligence artificielle, des automatisations et des applications que les utilisateurs métier de l’entreprise ont créés. Ce n’est pas un écart. C’est un angle mort qui couvre la majorité de ce qui fonctionne.

La raison est simple : les utilisateurs métier dépassent maintenant en nombre les développeurs professionnels dans une proportion de 10 à 1 dans certaines organisations. Ils construisent constamment dans tous les départements, sur des plateformes conçues pour faciliter la construction, et encouragés par la direction à construire. Les équipes de sécurité sont axées sur les pipelines de développement et les référentiels de code. Elles n’ont jamais été conçues pour surveiller cela.

La méconception la plus courante est la croyance que l’approbation d’une plateforme résout le problème de sécurité. Ce n’est pas le cas, cela le déplace simplement. Lorsqu’une entreprise signe un accord avec Microsoft (MSFT ), Salesforce (CRM ) ou UiPath (PATH ), le fournisseur de plateforme sécurise son infrastructure. Ce que les employés construisent dessus et comment ils le configurent est l’entière responsabilité de l’entreprise.

Le problème est que les outils créés par les utilisateurs métier ne ressemblent pas à des logiciels pour les systèmes de sécurité traditionnels. Il n’y a pas de code à analyser, pas de référentiel à surveiller, pas de pipeline à inspecter. Un agent d’intelligence artificielle construit par un responsable des ressources humaines à l’aide d’une série de menus et de invites de texte est, du point de vue de la plupart des outils de sécurité, invisible.

Et pourtant, ces outils sont loin d’être triviaux. Des recherches ont constaté que plus de la moitié des dirigeants de la sécurité ont confirmé que les applications construites par les utilisateurs métier soutiennent désormais des processus métier critiques et ont accès à des données d’entreprise sensibles. Les enjeux sont réels, et la surveillance n’a pas rattrapé son retard.

De zéro à la catastrophe

Les cas d’utilisation sont aussi divers que nombreux et proviennent virtuellement de tous les départements, même de ceux que l’équipe de sécurité n’aurait jamais pensé à surveiller.

Par exemple, un coordinateur marketing construit un agent d’intelligence artificielle orienté client sur une plateforme entièrement sanctionnée pour répondre aux questions sur les produits. En quelques minutes, l’application est opérationnelle, mais en tant que personne sans formation en sécurité, deux petites erreurs de configuration passent inaperçues et laissent l’agent avec un accès direct à la base de données complète de l’entreprise et sans limites sur ce qu’il peut récupérer. En production, un utilisateur lui demande de récupérer des dossiers d’employés. Il le fait. Puisque l’agent dispose également d’une fonctionnalité de messagerie électronique, l’utilisateur lui demande d’envoyer ces données à une adresse personnelle. La séquence entière prend moins de soixante secondes. Pas d’accès non autorisé. Pas de violation de plateforme. Pas d’alerte de sécurité.

Ce n’est pas une attaque sophistiquée. C’est le résultat prévisible d’un employé bien intentionné qui construit quelque chose qu’il ne comprend pas entièrement, sur une plateforme qui rend la construction facile et la gouvernance optionnelle.

L’écart de gouvernance que personne n’a pris en compte

Pour la plupart des organisations, le problème de l’Intelligence Artificielle Invisible reste abstrait jusqu’à ce que quelque chose se passe mal. Mais le risque commercial va plus loin que la réponse aux violations.

Lorsqu’un agent construit par un utilisateur métier divulgue des données sensibles, la question que le conseil d’administration posera n’est pas « comment la mauvaise configuration s’est-elle produite ? » Mais « comment personne n’a-t-il su que l’outil était en cours d’exécution ? » Ils ne feront pas la distinction entre une violation causée par un attaquant externe et une causée par un outil interne mal configuré. Si des données personnelles ont été exposées et que l’organisation manquait de visibilité sur ce qui fonctionnait, l’absence de surveillance est en soi une responsabilité. « Un employé l’a construit sur une plateforme approuvée » n’est pas une défense, c’est la description de l’écart.

L’urgence est réelle, mais l’intention et l’exécution ne sont pas la même chose, et pour la plupart des entreprises, l’écart entre elles reste grand ouvert.

La réponse n’est pas de restreindre qui peut construire. Limiter le développement des citoyens sacrifierait des gains de productivité réels et, dans la pratique, ne tiendrait pas. Les employés trouveraient des solutions de contournement. La réponse est de rendre visible ce qui est construit et de le gouverner au point où le risque émerge réellement : l’exécution.

Cela signifie comprendre non seulement quels agents existent, mais comment ils se comportent, quels données ils accèdent, quels systèmes ils touchent et si leurs actions restent dans les limites que leurs constructeurs ont prévues. Cela signifie établir des garde-fous qui fonctionnent au niveau de l’organisation, et non seulement au point de configuration. Et cela signifie arriver à un point où les équipes de sécurité peuvent répondre aux questions les plus basiques sur tout agent dans leur environnement : qui l’a construit, à quoi a-t-il accès et se comporte-t-il de la manière dont il a été conçu pour le faire ?

La plupart des entreprises ne peuvent pas répondre à ces questions aujourd’hui. Les organisations qui y parviendront les premières seront celles qui pourront adopter l’intelligence artificielle à grande échelle avec confiance, car elles sauront ce qu’elles exécutent réellement.