Leaders d’opinion

Dévoiler les Risques Cachés de l’Intelligence Artificielle de l’Ombre

mm
Ajouter Unite.AI à vos sources préférées sur Google

Il n’a pas fallu longtemps pour que les entreprises fassent l’expérience d’une utilisation généralisée de l’intelligence artificielle générative (GenAI) parmi leurs employés. Cependant, lorsqu’il s’agit des risques liés à la GenAI, les outils connus au sein de votre organisation ne sont pas ceux qui devraient vous inquiéter le plus. Ce sont ceux que vous ne connaissez pas qui devraient vous empêcher de dormir.

Grâce à l’expansion rapide des outils de GenAI tels que ChatGPT, Copilot, Gemini et Perplexity, ainsi que de nombreux assistants SaaS spécialisés, les employés les adoptent plus rapidement que les équipes de sécurité ne peuvent suivre. Et cette utilisation crée un point aveugle en constante augmentation appelé intelligence artificielle de l’ombre.

Si l’intelligence artificielle de l’ombre vous semble familière, c’est parce qu’elle emprunte au terme intelligence artificielle de l’ombre, utilisé pour décrire l’utilisation d’outils et de services non approuvés sur le lieu de travail. Mais avec l’intelligence artificielle de l’ombre, les enjeux peuvent être encore plus élevés. Au lieu d’une application de partage de fichiers pirate, l’intelligence artificielle de l’ombre peut entraîner la copie de données sensibles dans une invite de chatbot, ingestion dans des modèles externes et exposition involontaire à des systèmes tiers.

L’intelligence artificielle de l’ombre représente l’une des menaces les moins visibles mais les plus urgentes en matière de sécurité des données d’entreprise aujourd’hui.

Qu’est-ce que l’Intelligence Artificielle de l’Ombre ?

L’intelligence artificielle de l’ombre fait référence à l’utilisation non autorisée d’outils d’intelligence artificielle – en particulier la GenAI – par les employés sans la connaissance ou l’approbation des équipes IT ou de sécurité de l’entreprise. Au sein d’une organisation, les utilisateurs peuvent être une équipe marketing rédigeant des articles de blog avec des modèles de langage grand public (LLM), une équipe juridique explorant le langage des contrats dans des outils d’intelligence artificielle, ou des ingénieurs déboguant du code avec des enveloppes GPT gratuites.

Et même si cette expérimentation peut sembler inoffensive, ce qui est partagé avec ces outils ne l’est peut-être pas. Il pourrait s’agir de diapositives de stratégie confidentielles ou d’informations client. Ces données finissent par être dans des invites non chiffrées, sans gouvernance et sans moyen de suivre ce qui se passe ensuite.

Pourquoi l’Intelligence Artificielle de l’Ombre est-elle un Problème ?

La question de l’intelligence artificielle de l’ombre est problématique car il suffit qu’un employé ait de bonnes intentions et accède à ChatGPT pour créer un risque de sécurité des données. Contrairement à un pirate, l’intelligence artificielle de l’ombre n’est pas malveillante, mais cela ne la rend pas moins dangereuse. Chaque fois que des données sensibles sont ajoutées à une invite, elles sont potentiellement exposées au modèle, au fournisseur et à quiconque a accès aux journaux. Elles peuvent même ressurgir dans une réponse à une autre invite de l’utilisateur. Et le pire, c’est que vous ne le saurez probablement jamais.

Voici cinq risques clés de l’intelligence artificielle de l’ombre dont vous devez être conscient.

1. Fuite de données via les entrées d’invite – Les champs d’invite sont un trou noir de sécurité des données. Une fois que des informations sensibles, telles que le code source, les documents de fusions et acquisitions et les détails de salaire, sont partagées avec un outil de GenAI, elles échappent à votre contrôle. Même si le fournisseur d’intelligence artificielle promet que les données ne sont pas conservées, l’application est peu claire et il y a peu de garanties concernant la formation ou la télémétrie.

2. Manque de contrôles d’accès ou de journaux d’audit – Contrairement aux applications d’entreprise approuvées, la plupart des outils de GenAI ne proposent pas de contrôles d’accès basés sur des rôles, de permissions granulaires ou de journaux d’activité, ce qui signifie que les équipes de sécurité n’ont aucune visibilité sur qui a accédé à quelles données, ou quand. S’il y a un incident, il n’y a rien à enquêter.

3. Violations de la conformité – De nombreuses réglementations de conformité qui obligent les organisations à adhérer exigent que les données réglementées soient stockées, traitées et accessibles de manière très spécifique. Alimenter ces données dans un modèle d’intelligence artificielle externe peut violer ces règles, exposant votre organisation à des risques juridiques, à des amendes et à des notifications de violation obligatoires.

4. Circulation d’informations obsolètes ou biaisées – Les outils de GenAI fournissent souvent des réponses avec confiance et les présentent comme des faits, même lorsqu’elles sont très fausses. S’appuyer sur ces sorties pour les messages des clients, les résumés de conformité ou les rapports financiers sans validation peut conduire à des décisions commerciales basées sur des données inexactes. Les hallucinations se produisent régulièrement et ne semblent pas disparaître, même lorsque ces LLM deviennent plus intelligents.

5. Intelligence artificielle de l’ombre qui devient des données de l’ombre – Les sorties des outils de GenAI, y compris les résumés et les extraits de code, sont souvent enregistrées, partagées et réutilisées. Puisqu’elles ont été créées en dehors des flux de travail formels, ces fichiers deviennent des données de l’ombre non suivies, non classifiées et non protégées.

La plupart du temps, avec l’intelligence artificielle de l’ombre, personne dans la sécurité n’a la moindre idée de quand une faille de sécurité se produit. Ces exemples du monde réel pourraient se produire dans votre organisation :

  • Un jeune ingénieur logiciel colle du code propriétaire dans un débogueur GPT gratuit.
  • Un représentant commercial alimente la liste des clients du dernier trimestre dans un outil d’e-mail d’intelligence artificielle pour générer des sollicitations de vente.
  • Un responsable des ressources humaines utilise un outil d’intelligence artificielle externe pour analyser les réponses aux enquêtes de satisfaction des employés.
  • Un analyste financier demande à ChatGPT de simplifier le langage des prévisions de revenus sensibles pour les dirigeants.
  • Un avocat demande à la GenAI de réécrire un contrat en utilisant une clause confidentielle d’un accord client.

Pourquoi les Outils de Sécurité Traditionnels Manquent-ils l’Intelligence Artificielle de l’Ombre ?

Les piles de sécurité traditionnelles ne sont pas conçues pour les menaces basées sur les invites de GenAI. Par exemple, un pare-feu ne peut pas bloquer les outils d’intelligence artificielle basés sur le navigateur. Un CASB ne verra pas ce qui est tapé dans les fenêtres de chat. Et un SIEM ne signalera pas qui vient de demander à un LLM de résumer une propriété intellectuelle sensible.

L’intelligence artificielle de l’ombre opère à la couche application et vit dans le navigateur, où la visibilité est la plus faible. Les employés utilisent également leurs appareils personnels. Il n’y a pas de module complémentaire pour les arrêter, pas de filigrane pour retracer les données qui ont été divulguées et pas d’alerte lorsque les données franchissent la limite. Et une fois qu’elles apparaissent dans une alerte DLP, si cela se produit, les données sont déjà exposées.

Comment Identifier et Remédier aux Risques de l’Intelligence Artificielle de l’Ombre ?

Vous ne pouvez pas contrôler ce que vous ne pouvez pas voir, et avec la GenAI, la plupart des organisations sont aveugles. Les outils traditionnels n’ont pas été conçus pour comprendre les interactions basées sur les invites ou suivre ce qui se passe après qu’un utilisateur clique sur « Entrer ».

Cependant, de nouvelles approches de sécurité basées sur l’intelligence artificielle sont à la hauteur du défi pour aider les organisations à faire sortir l’intelligence artificielle de l’ombre de l’ombre. Voici quelques-unes des garanties que les solutions avancées offrent :

Découverte de l’intelligence artificielle de l’ombre – Ces outils identifient quels outils de GenAI vos utilisateurs utilisent, même les outils basés sur le navigateur qui contournent les contrôles traditionnels. Ils analysent le mouvement des données, les modèles d’accès et le contexte pour détecter les violations sans nécessiter d’agents d’extrémité ou de surveillance invasive.

Classification de ce qui est sensible – Les solutions modernes utilisent une intelligence artificielle sensible au contexte pour comprendre à la fois le contenu et le contexte derrière les données. Cela signifie qu’elles peuvent signaler des risques tels qu’une projection de revenus intégrée dans une diapositive PowerPoint ou des données client intégrées dans un brouillon d’e-mail. Il s’agit du type de contenu que les employés pourraient alimenter dans la GenAI sans y réfléchir deux fois.

Prévention d’un comportement d’invite risqué – Une fois que les données sensibles sont découvertes et que leur emplacement est identifié, la sécurité des données d’intelligence artificielle aide à prévenir leur exposition. Ces outils signalent, masquent ou bloquent les entrées d’invite risquées avant qu’elles ne quittent l’organisation.

Nettoyage des données de l’ombre – Les invites de GenAI génèrent souvent une vague de nouveaux fichiers, tels que des résumés, des brouillons et des réponses, qui sont enregistrés, partagés et oubliés. Les plates-formes de sécurité des données avancées identifient ces artefacts descendus, détectent les risques d’exposition (tels que des autorisations excessives ou un stockage inapproprié) et les remédient avant que la perte de données ne devienne un titre.

L’intelligence artificielle de l’ombre n’est pas un risque théorique. C’est réel, c’est en constante augmentation et c’est en train de se produire dans votre environnement en ce moment, que vous l’ayez vu ou non. Interdire les outils de GenAI n’est pas réaliste, mais fermer les yeux est extrêmement risqué. Les organisations ont besoin de visibilité, de contrôle et d’intelligence autour de l’utilisation de la GenAI — pas seulement pour ce qui sort, mais pour ce qui entre.

De nouvelles approches sont disponibles pour découvrir des comportements risqués, prévenir une exposition accidentelle et nettoyer le désordre de données que l’intelligence artificielle et l’intelligence artificielle de l’ombre laissent derrière elles.

tic, mais fermer les yeux est extrêmement risqué. Les organisations ont besoin de visibilité, de contrôle et d’intelligence autour de l’utilisation de la GenAI — pas seulement pour ce qui sort, mais pour ce qui entre. De nouvelles approches sont disponibles pour découvrir des comportements risqués, prévenir une exposition accidentelle et nettoyer le désordre de données que l’intelligence artificielle et l’intelligence artificielle de l’ombre laissent derrière elles.

Karthik Krishnan est le fondateur et le PDG de Concentric.ai. Avant Concentric, Karthik était vice-président, Produits de sécurité chez Aruba/HPE, où il gérait leur portefeuille de sécurité (auparavant, Karthik était vice-président, Produits chez Niara, une société d'analyse de sécurité axée sur l'analyse du comportement des utilisateurs et des entités, qui a été acquise par Aruba/HPE). Karthik a plus de 20 ans d'expérience dans l'ingénierie et le marketing, occupant des postes clés dans des organisations industrielles telles que Intel, Microsoft, Juniper Networks, PGP Corporation, Symantec et Embrane. Karthik est titulaire d'un baccalauréat en ingénierie de l'Indian Institute of Technology, Madras, en Inde, et d'un MBA avec distinction de la Kellogg School of Management, où il était un boursier F.C. Austin.