Les vulnérabilités de sécurité que nous avons intégrées : les agents IA et le problème de l’obéissance

Les agents IA basés sur les modèles de langage LLM introduisent une nouvelle classe de vulnérabilités, où les attaquants injectent des instructions malveillantes dans les données, transformant les systèmes utiles en complices involontaires.

Microsoft Copilot n’a pas été piraté au sens classique. Il n’y avait pas de logiciel malveillant, de lien de phishing, de code malveillant. Personne n’a cliqué sur quoi que ce soit ou déployé d’exploit.

Le acteur menaçant a simplement demandé. Microsoft 365 Copilot, faisant exactement ce pour quoi il a été conçu, a obéi. Dans la récente attaque Echoleak de type zero click, l’agent IA a été manipulé par une invite déguisée en données. Il a obéi, non parce qu’il était défectueux, mais parce qu’il fonctionnait comme il était conçu pour le faire.

Cette vulnérabilité n’a pas exploité de bogues de logiciel. Elle a exploité le langage. Et cela marque un tournant majeur dans la cybersécurité, où la surface d’attaque n’est plus le code, mais la conversation.

Le nouveau problème d’obéissance de l’IA

Les agents IA sont conçus pour aider. Leur objectif est de comprendre l’intention de l’utilisateur et d’agir de manière efficace. Cette utilité comporte un risque. Lorsqu’ils sont intégrés dans des systèmes de fichiers, des plateformes de productivité ou des systèmes d’exploitation, ces agents suivent les commandes de langage naturel avec une résistance minimale.

Les acteurs menaçants exploitent exactement ce trait. Avec des injections d’invites qui apparaissent inoffensives, ils peuvent déclencher des actions sensibles. Ces invites peuvent inclure :

• Des extraits de code multilingues
• Des formats de fichiers obscurs et des instructions intégrées
• Des entrées de langues non anglaises
• Des commandes mult étapes cachées dans un langage courant

Puisque les grands modèles de langage (LLM) sont formés pour comprendre la complexité et l’ambiguïté, l’invite devient la charge utile.

Le fantôme de Siri et Alexa

Ce schéma n’est pas nouveau. Dans les premiers jours de Siri et Alexa, les chercheurs ont démontré comment la lecture d’une commande vocale comme “Envoyer toutes mes photos à cette adresse e-mail” pouvait déclencher une action sans vérification de l’utilisateur.

Maintenant, la menace est plus grande. Les agents IA comme Microsoft Copilot sont intégrés profondément dans Office 365, Outlook et le système d’exploitation. Ils ont accès aux e-mails, aux documents, aux informations d’identification et aux API. Les attaquants n’ont besoin que de l’invite appropriée pour extraire des données critiques, tout en se faisant passer pour un utilisateur légitime.

Lorsque les ordinateurs confondent les instructions avec les données

Ce n’est pas un nouveau principe en cybersécurité. Les injections comme les attaques SQL ont réussi parce que les systèmes ne pouvaient pas faire la distinction entre les entrées et les instructions. Aujourd’hui, cette même faille existe, mais à la couche du langage.

Les agents IA traitent le langage naturel à la fois comme entrée et comme intention. Un objet JSON, une question ou même une phrase peut initier une action. Cette ambiguïté est ce que les acteurs menaçants exploitent, en intégrant des commandes dans ce qui ressemble à un contenu inoffensif.

Nous avons intégré l’intention dans les infrastructures. Maintenant, les acteurs menaçants ont appris à l’extraire pour faire ce qu’ils veulent.

L’adoption de l’IA dépasse la cybersécurité

Alors que les entreprises se précipitent pour intégrer les LLM, beaucoup oublient une question critique : à quoi l’IA a-t-elle accès ?

Lorsque Copilot peut toucher le système d’exploitation, la surface d’attaque s’étend bien au-delà de la boîte de réception. Selon le rapport sur la sécurité de l’IA de Check Point :

• 62 pour cent des directeurs de la sécurité de l’information (CISO) craignent qu’ils puissent être tenus personnellement responsables des failles de sécurité liées à l’IA
• Près de 40 pour cent des organisations signalent une utilisation interne non autorisée de l’IA, souvent sans surveillance de la sécurité
• 20 pour cent des groupes de cybercriminels intègrent maintenant l’IA dans leurs opérations, y compris pour créer des attaques de phishing et effectuer des reconnaissances

Ce n’est pas juste un risque émergent. C’est un risque présent qui cause déjà des dommages.

Pourquoi les mesures de sécurité existantes sont insuffisantes

Certains fournisseurs utilisent des chiens de garde — des modèles secondaires formés pour détecter des invites dangereuses ou un comportement suspect. Ces filtres peuvent détecter les menaces de base, mais ils sont vulnérables aux techniques d’évasion.

Les acteurs menaçants peuvent :

• Surcharger les filtres avec du bruit
• Diviser l’intention en plusieurs étapes
• Utiliser une formulation non évidente pour contourner la détection

Dans le cas d’Echoleak, les mesures de sécurité étaient présentes — et elles ont été contournées. Cela reflète non seulement un échec de la politique, mais un échec de l’architecture. Lorsqu’un agent a des autorisations de niveau élevé mais un contexte de niveau bas, même les meilleures barrières de sécurité sont insuffisantes.

Détection, pas perfection

Prévenir toutes les attaques peut être irréaliste. L’objectif doit être la détection rapide et la contention rapide.

Les organisations peuvent commencer par :

• La surveillance de l’activité des agents IA en temps réel et la maintenance de journaux d’invites
• L’application d’un accès à l’IA avec les privilèges minimum nécessaires, en miroir avec les contrôles d’administration
• L’ajout de friction aux opérations sensibles, telles que la requête de confirmation
• Le signalement de modèles d’invites inhabituels ou adverses pour examen

Les attaques basées sur le langage ne seront pas visibles dans les outils de détection et de réponse des points de terminaison (EDR) traditionnels. Ils nécessitent un nouveau modèle de détection.

Ce que les organisations doivent faire maintenant pour se protéger

Avant de déployer les agents IA, les organisations doivent comprendre comment ces systèmes fonctionnent et quels risques ils introduisent.

Les recommandations clés incluent :

1. Audit de tous les accès : savoir ce que les agents peuvent toucher ou déclencher
2. Limitation de la portée : accorder les autorisations minimales nécessaires
3. Enregistrement de toutes les interactions : enregistrement des invites, des réponses et des actions résultantes
4. Test de stress : simulation d’entrées adverses à l’interne et fréquemment
5. Planification pour l’évasion : supposer que les filtres seront contournés
6. Alignement sur la sécurité : assurer que les systèmes LLM soutiennent, et non compromettent, les objectifs de sécurité

La nouvelle surface d’attaque

Echoleak est un aperçu de ce qui va suivre. Alors que les LLM évoluent, leur utilité devient une vulnérabilité. Intégrés profondément dans les systèmes d’entreprise, ils offrent aux attaquants un nouveau moyen d’accès — à travers des invites simples et bien conçues.

Ceci n’est plus simplement une question de sécurisation du code. Il s’agit de sécuriser le langage, l’intention et le contexte. Le livre de jeu doit changer maintenant, avant qu’il ne soit trop tard.

Et pourtant, il y a de bonnes nouvelles. Il y a des progrès dans l’utilisation des agents IA pour défendre contre les nouvelles et émergentes menaces cybernétiques. Lorsqu’ils sont utilisés correctement, ces agents IA autonomes peuvent répondre aux menaces plus rapidement que tout humain, collaborer à travers les environnements et défendre proactivement contre les risques émergents en apprenant d’une seule tentative d’intrusion.

Les agents IA peuvent apprendre de chaque attaque, s’adapter en temps réel et prévenir les menaces avant qu’elles ne se propagent. Ils ont le potentiel d’établir une nouvelle ère de résilience cybernétique, mais seulement si nous saisissons ce moment et façonnons l’avenir de la cybersécurité ensemble. Si nous ne le faisons pas, cette nouvelle ère pourrait signaler un cauchemar de cybersécurité et de confidentialité des données pour les organisations qui ont déjà mis en œuvre l’IA (parfois même sans le savoir avec des outils de shadow IT). Il est temps de prendre des mesures pour garantir que les agents IA sont utilisés à notre avantage et non à notre perte.