Les vulnérabilités de sécurité que nous avons intégrées : les agents IA et le problème de l'obéissance

Les agents d'IA basés sur LLM introduisent une nouvelle classe de vulnérabilités, où les attaquants injectent des instructions malveillantes dans les données, transformant des systèmes utiles en complices involontaires.

Microsoft Copilot n'a pas été piraté au sens traditionnel du terme. Il n'y avait aucun malware, aucun lien d'hameçonnage, aucun code malveillant. Personne n'a cliqué sur quoi que ce soit ni déployé d'exploit.

L'acteur malveillant a simplement posé la question. Microsoft 365 Copilot, faisant exactement ce pour quoi il a été conçu, a obtempéré. Récemment, Echoleak Attaque « zéro clic » : l'agent IA a été manipulé par une invite déguisée en données. Il a obéi, non pas parce qu'elle était défectueuse, mais parce qu'elle fonctionnait comme prévu.

Cette vulnérabilité n'exploitait pas de bugs logiciels, mais le langage. Cela marque un tournant majeur dans la cybersécurité, où la surface d'attaque n'est plus le code, mais la conversation.

Le nouveau problème d'obéissance de l'IA

Agents d'IA sont conçus pour vous aider. Leur objectif est de comprendre les intentions des utilisateurs et d'agir efficacement en conséquence. Cette utilité comporte des risques. Intégrés à des systèmes de fichiers, des plateformes de productivité ou des systèmes d'exploitation, ces agents suivent les commandes en langage naturel avec une résistance minimale.

Les acteurs malveillants exploitent précisément cette caractéristique. Grâce à des injections rapides apparemment inoffensives, ils peuvent déclencher des actions sensibles. Ces impulsions peuvent inclure :

• Extraits de code multilingues
• Formats de fichiers obscurs et instructions intégrées
• Entrées en langues autres que l'anglais
• Commandes en plusieurs étapes cachées dans un langage courant

Étant donné que les grands modèles de langage (LLM) sont formés pour comprendre la complexité et l’ambiguïté, l’invite devient la charge utile.

Le fantôme de Siri et Alexa

Cette tendance n'est pas nouvelle. Aux débuts de Siri et Alexa, les chercheurs démontré comment la lecture d'une commande vocale telle que « Envoyer toutes mes photos à cet e-mail » pourrait déclencher une action sans vérification de l'utilisateur.

La menace est désormais plus grande. Des agents d'IA comme Microsoft Copilot sont profondément intégrés à Office 365, Outlook et au système d'exploitation. Ils accèdent aux e-mails, aux documents, aux identifiants et aux API. Les attaquants n'ont besoin que de la bonne invite pour extraire des données critiques, tout en se faisant passer pour un utilisateur légitime.

Quand les ordinateurs confondent les instructions avec les données

Ce n'est pas un principe nouveau en cybersécurité. Des injections comme Attaques SQL Ce succès s'explique par l'incapacité des systèmes à distinguer les informations des instructions. Aujourd'hui, cette même faille persiste, mais au niveau du langage.

Les agents d'IA traitent le langage naturel à la fois comme une entrée et une intention. Un objet JSON, une question ou même une phrase peuvent déclencher une action. C'est cette ambiguïté que les acteurs malveillants exploitent en intégrant des commandes dans un contenu apparemment inoffensif.

Nous avons intégré l'intention dans notre infrastructure. Désormais, les acteurs malveillants ont appris à l'extraire pour accomplir leurs tâches.

L'adoption de l'IA dépasse celle de la cybersécurité

Alors que les entreprises se précipitent pour intégrer les LLM, beaucoup négligent une question cruciale : à quoi l’IA a-t-elle accès ?

Lorsque Copilot peut toucher le système d'exploitation, le rayon d'action s'étend bien au-delà de la boîte de réception. Selon Check Point Rapport sur la sécurité de l'IA:

• 62 % des responsables de la sécurité des systèmes d'information (RSSI) dans le monde craignent d'être tenus personnellement responsables des violations liées à l'IA.
• Près de 40 % des organisations signalent une utilisation interne non autorisée de l’IA, souvent sans surveillance de sécurité
• 20 % des groupes de cybercriminels intègrent désormais l’IA dans leurs opérations, notamment pour élaborer des stratégies de phishing et mener des opérations de reconnaissance.

Il ne s'agit pas seulement d'un risque émergent. C'est un risque présent qui cause déjà des dommages.

Pourquoi les garanties existantes sont insuffisantes

Certains fournisseurs utilisent des systèmes de surveillance, des modèles secondaires entraînés à détecter les messages dangereux ou les comportements suspects. Ces filtres peuvent détecter les menaces de base, mais sont vulnérables aux techniques d'évasion.

Les acteurs de la menace peuvent :

• Filtres de surcharge avec bruit
• Diviser l'intention en plusieurs étapes
• Utilisez une formulation non évidente pour contourner la détection

Dans le cas d'Echoleak, des mesures de protection étaient en place, mais elles ont été contournées. Cela reflète non seulement une défaillance de la politique, mais aussi une défaillance de l'architecture. Lorsqu'un agent dispose d'autorisations de haut niveau mais d'un contexte de bas niveau, même les meilleures mesures de protection sont inefficaces.

Détection, pas perfection

Prévenir toute attaque peut s'avérer irréaliste. L'objectif doit être une détection et un confinement rapides.

Les organisations peuvent commencer par :

• Surveillance de l'activité des agents IA en temps réel et tenue à jour des journaux d'audit rapides
• Application d'un accès strict au moindre privilège aux outils d'IA, reflétant les contrôles au niveau de l'administrateur
• Ajout de frictions aux opérations sensibles, comme l'exigence de confirmations
• Signaler les modèles d'invite inhabituels ou contradictoires pour examen

Les attaques basées sur le langage n'apparaîtront pas dans les systèmes traditionnels détection et réponse des points de terminaison Outils EDR (Evaluation des Risques d'Invasion). Ils nécessitent un nouveau modèle de détection.

Ce que les organisations devraient faire maintenant pour se protéger

Avant de déployer des agents d’IA, les organisations doivent comprendre comment ces systèmes fonctionnent et quels risques ils présentent.

Les principales recommandations comprennent:

1. Auditer tous les accès : savoir ce que les agents peuvent toucher ou déclencher
2. Limiter la portée : accorder les autorisations minimales nécessaires
3. Suivre toutes les interactions : enregistrer les invites, les réponses et les actions qui en résultent
4. Test de résistance : simuler des entrées contradictoires en interne et fréquemment
5. Plan d'évasion : supposer que les filtres seront contournés
6. Alignez-vous sur la sécurité : assurez-vous que les systèmes LLM prennent en charge, et non compromettent, les objectifs de sécurité

La nouvelle surface d'attaque

Echoleak est un avant-goût de ce qui nous attend. À mesure que les LLM évoluent, leur utilité devient un handicap. Profondément intégrés aux systèmes d'entreprise, ils offrent aux attaquants une nouvelle voie d'accès, grâce à des messages simples et bien conçus.

Il ne s'agit plus seulement de sécuriser le code. Il s'agit de sécuriser le langage, l'intention et le contexte. Il faut changer de stratégie maintenant, avant qu'il ne soit trop tard.

Et pourtant, il y a de bonnes nouvelles. Des progrès sont réalisés dans l'exploitation des agents d'IA pour défendre Contre les cybermenaces nouvelles et émergentes. Correctement exploités, ces agents d'IA autonomes peuvent réagir aux menaces plus rapidement que n'importe quel humain, collaborer entre environnements et se défendre proactivement contre les risques émergents en tirant les leçons d'une seule tentative d'intrusion.

L'IA agentique peut apprendre de chaque attaque, s'adapter en temps réel et prévenir les menaces avant qu'elles ne se propagent. Elle a le potentiel d'ouvrir une nouvelle ère de cyber-résilience, à condition que nous saisissions cette opportunité et façonnions ensemble l'avenir de la cybersécurité. À défaut, cette nouvelle ère pourrait être un cauchemar en matière de cybersécurité et de confidentialité des données pour les organisations qui ont déjà mis en œuvre l'IA (parfois même à leur insu, grâce à des outils informatiques parallèles). Il est temps d'agir pour que les agents IA soient utilisés à notre avantage et non à notre perte.