La vague imminente d'attaques multimodales : quand les outils d'IA deviennent la nouvelle surface d'exploitation

À mesure que les grands modèles de langage (LLM) évoluent vers systèmes multimodaux Capables de traiter du texte, des images, de la voix et du code, ces systèmes deviennent également de puissants orchestrateurs d'outils et de connecteurs externes. Cette évolution s'accompagne d'une surface d'attaque accrue dont les organisations doivent tenir compte.

L'ingénierie sociale en est un parfait exemple : les agents peuvent en être victimes car ils sont formés pour agir comme des humains et font preuve d'encore moins de scepticisme. Un agent, par exemple, aura probablement du mal à distinguer un courriel frauduleux d'un courriel provenant d'un commerçant légitime.

La convergence de la multimodalité et de l'accès aux outils transforme l'IA d'assistant en vecteur d'attaque. Les attaquants peuvent désormais utiliser de simples commandes textuelles pour déclencher une utilisation abusive des outils, exécuter des actions non autorisées ou exfiltrer des données sensibles via des canaux légitimes. Ces fonctionnalités étant conçues pour l'accessibilité et non pour la défense, même des adversaires peu expérimentés peuvent exploiter les systèmes d'IA pour réaliser des opérations complexes sans écrire une seule ligne de code.

Comment l'IA multimodale devient une chaîne d'exploitation

Les LLM deviennent de plus en plus des orchestrateurs de systèmes externes, intégrant aujourd'hui une multitude d'outils, des API à la messagerie électronique, en passant par le stockage cloud et les outils d'exécution de code. Ces connecteurs sont souvent conçus pour l'accessibilité, et non pour la sécurité.

L'inconvénient, c'est que cela peut entraîner une vague de nouvelles failles de sécurité.

L'une d'elles est l'utilisation abusive d'outils pilotés par invite. Par exemple, un attaquant pourrait utiliser une image contenant des instructions d'injection d'invite insérées dans un courriel. reconnaissance optique de caractères (OCR) Un outil est nécessaire pour extraire le texte d'une image. L'agent a pour instruction de répondre au courriel et d'y joindre une carte Google Maps indiquant l'adresse du domicile de la cible, révélant ainsi la localisation de la victime.

Un autre mécanisme consiste à contourner les garde-fous intermodaux. Cela concerne les garde-fous situés entre les points d'entrée et de sortie des outils. Par exemple, lors de l'analyse des résultats d'un extracteur OCR, il se peut qu'aucun garde-fou suffisamment robuste ne protège contre les injections de messages instantanés détectées dans ces résultats.

Il existe également des failles structurelles exploitables. L'une d'elles réside dans les liaisons trop permissives entre le modèle et les outils externes qu'il peut appeler : une simple requête en langage naturel peut ainsi déclencher des actions concrètes comme l'exécution de code, l'accès à des fichiers ou l'interaction avec la messagerie. De plus, nombre de ces systèmes sont dépourvus de contrôles d'accès stricts, ce qui permet à l'IA d'écrire, de supprimer ou de modifier des données bien au-delà de ce qu'un humain autoriserait. Le problème s'aggrave encore avec les connecteurs et les extensions de type MCP, souvent dépourvus de garde-fous ; une fois installés, ils étendent la portée de l'IA au stockage personnel, aux boîtes de réception et aux plateformes cloud, sans aucun contrôle. Ensemble, ces failles structurelles créent un environnement où les problèmes de sécurité classiques – exfiltration de données, évasion de l'environnement isolé et même empoisonnement de la mémoire – peuvent être déclenchés par une simple requête habilement conçue.

Menaces émergentes : que nous réserve l'avenir ?

Dans ce nouveau contexte, les attaques par courriel et d'ingénierie sociale utilisant l'IA sont imminentes. L'hameçonnage Le volume des attaques augmentera du fait de l'utilisation de robots de messagerie à longue portée (LLM) par les attaquants ; le point faible réside dans le contournement des filtres anti-spam classiques des fournisseurs de messagerie tels que Google. Les agents d'IA connectés à la boîte de réception accroissent la probabilité de réussite des attaques de phishing. On peut s'attendre à une recrudescence des menaces par e-mail à mesure que les utilisateurs connectent des agents à Gmail ou Outlook.

Les attaquants peuvent utiliser l'IA pour exécuter des campagnes de spam ou de spear-phishing de grande envergure. Dans ce scénario,

Le phishing entre IA devient plausible.

Les systèmes multimodaux offrent de plus en plus de possibilités d'exécution de code. Les failles de sécurité permettent aux attaquants de compromettre l'infrastructure sous-jacente. Et les évasions de l'environnement isolé représentent le pire cauchemar en matière de réputation pour les fournisseurs.

L’empoisonnement de la mémoire à long terme et les déclencheurs différés constituent d’autres menaces. La mémoire persistante permet à des charges utiles cachées de s’activer lors de sollicitations ultérieures. Des déclencheurs multimodaux (par exemple, des images ou des extraits de texte) pourraient déclencher des comportements à retardement.

Pourquoi les attaques multimodales sont-elles si accessibles et si dangereuses ?

L'IA a démocratisé les capacités d'attaque. Les utilisateurs n'ont plus besoin de compétences en programmation ou en développement de logiciels malveillants ; le langage naturel devient l'interface pour la création de logiciels malveillants ou l'exfiltration de données. Ainsi, même des personnes non techniques peuvent générer des logiciels malveillants ou lancer des campagnes via des instructions vocales.

L'IA permet également d'accélérer et d'amplifier les opérations malveillantes. Les agents multimodaux peuvent automatiser des tâches qui exigeaient autrefois l'expertise de spécialistes. Code, courriels, recherches et reconnaissances peuvent être produits instantanément.

La confiance excessive des utilisateurs et l'exposition involontaire à ces technologies contribuent aux risques potentiels liés à l'IA. Souvent, les utilisateurs ignorent à quelles données l'IA peut accéder, et les paramètres par défaut activent de plus en plus automatiquement les intégrations d'IA. Nombreux sont ceux qui ne réalisent pas avoir accordé à l'IA un accès excessif à leurs courriels ou documents.

Principes et contrôles de la sécurité multimodale

Les organisations doivent mettre en place des mesures de sécurité contre les attaques multimodales. Les équipes de sécurité devront restreindre l'accès aux outils par défaut. Les intégrations activées automatiquement devront être remplacées par des contrôles d'activation explicite. Elles devront également appliquer le principe du moindre privilège à tous les systèmes connectés à l'IA et supprimer les droits d'écriture/suppression. Cela devra inclure des règles inter-origines et une liste blanche de domaines (liste blanche d'infrastructure et non liste blanche au niveau du LLM).

Une autre étape cruciale consiste à définir des garde-fous explicites pour l'appel des outils. Il faut remplacer les déclencheurs en langage naturel par une validation structurée et typée des commandes. Ces garde-fous doivent constituer des points de contrôle à la fois en entrée et en sortie.

Parmi les autres principes et contrôles importants, on peut citer :

• Mettez en place des procédures d'approbation rigoureuses pour les opérations sensibles.
• Évitez de stocker les données utilisateur dans la mémoire persistante du modèle. Mettez en œuvre des mécanismes automatisés de nettoyage et de vérification de la provenance de la mémoire.
• Renforcer et isoler les environnements d'exécution du code.
• Surveillez les comportements suspects et les tentatives de fuite.
• Renforcer la formation des utilisateurs et la transparence.
• Ajouter une confirmation utilisateur supplémentaire lorsque l'agent effectue des tâches risquées.
• Indiquez clairement quand les outils d'IA accèdent aux courriels, aux fichiers ou aux ressources cloud.
• Avertir les utilisateurs des connecteurs à haut risque.

Réussir face aux attaques multimodales

Les technologies d'IA se sont rapidement transformées en agents des opérations commerciales, créant une situation où le langage naturel lui-même devient une forme d'exploitation. La convergence de la multimodalité et de l'accès aux outils accroît la surface d'attaque, transformant l'IA d'assistant en vecteur d'attaques. Les attaques multimodales exploitent la faible intégration entre les langages multimodaux et les systèmes externes qu'ils contrôlent, tels que les API, le stockage de fichiers et les plateformes d'automatisation.

Face à l'évolution des menaces, les organisations doivent adopter des stratégies qui prennent explicitement en compte les vecteurs d'attaque multimodaux. Le renforcement des défenses, grâce aux bonnes pratiques mentionnées ci-dessus, est essentiel pour éviter que les outils d'IA ne servent involontairement de maillons dans la chaîne d'exploitation d'un attaquant.