De l’IA générative à l’IA agente : Le passage du risque de contenu à l’exposition d’exécution

L’IA d’entreprise évolue rapidement. Ce qui a commencé comme des copilotes d’IA générative rédigeant des e-mails et résumant des documents est maintenant devenu quelque chose de beaucoup plus autonome : des systèmes qui planifient, décident et exécutent des tâches à travers des outils et des environnements.

Ceci est le passage de l’IA générative à l’IA agente. C’est voir le risque se métamorphoser.

L’IA générative a introduit des risques de contenu, notamment des hallucinations, des fuites de données via des invites, et des sorties biaisées. L’exposition de l’IA agente se produit à travers ses systèmes autonomes, qui ont des autorisations, une mémoire et la capacité d’accéder à tous les outils disponibles à la vitesse des machines.

Ceci est une opportunité pour les professionnels de la sécurité, de la gouvernance ou de l’IA de réévaluer leur position sur ces nouveaux risques.

Qu’est-ce que le risque de l’IA agente ?

Le risque de l’IA agente fait référence aux risques de sécurité, opérationnels et de gouvernance posés par les systèmes d’IA qui fonctionnent de manière autonome, ne générant pas seulement du texte mais également exécutant des flux de travail multi-étapes sur des systèmes d’entreprise.

Contrairement aux modèles de langage traditionnels (LLM), les systèmes agents peuvent décomposer les tâches en flux de travail dynamiques, effectuer des requêtes d’API externes et invoquer des applications internes, et stocker et rappeler des mémoires. Ils peuvent également fonctionner sous une identité déléguée et communiquer avec d’autres agents.

En d’autres termes, ils sont moins comme des chatbots et plus comme des employés numériques juniors. Cela représente une augmentation massive de la surface d’attaque de l’agent d’IA.

IA générative vs IA agente : Qu’est-ce qui change ?

Le risque de l’IA générative est centré sur les sorties. Les équipes de sécurité se posent des questions comme savoir si le modèle fuit des données, s’il peut halluciner, ou même si du contenu nuisible ou non conforme est généré.

Les humains sont fermement dans la boucle. L’IA propose, les gens approuvent.

Le risque de l’IA agente est orienté vers l’action. Maintenant, les équipes de sécurité doivent se demander avec quels systèmes l’agent pourrait interagir, quels sont les droits qu’il héritera, à quel point son plan pourrait aller, et ce qui se passerait s’il était trompé pendant l’exécution.

La distinction peut être très petite, mais elle est significative : l’IA générative crée du contenu. L’IA agente crée des conséquences. Ceci est le passage du risque de contenu à l’exposition d’exécution.

Comment l’IA agente élargit-elle les surfaces d’attaque des entreprises ?

L’IA agente ne crée pas seulement une nouvelle application. Elle crée une nouvelle couche opérationnelle. Voici comment la surface d’attaque augmente :

1. Agents d’IA privilégiés

Il y a de nombreux agents agissant au nom d’utilisateurs ou de comptes de service. Lorsque la portée des autorisations n’est pas serrée, ils deviennent des cibles précieuses.

Ceci peut conduire à des problèmes de délégué confus, d’escalade de privilèges et de mouvement latéral. Ceci est un problème lorsque les systèmes cloud, SaaS et internes fournissent un accès dynamique ou hérité aux agents.

2. Chemins d’exécution dynamiques

Les flux de contrôle dans les applications traditionnelles sont déterministes. Les flux de contrôle dans les systèmes d’IA agente ne le sont pas.

Ils raisonnent sur les objectifs, les actions, réfléchissent, affinent et invoquent des outils de manière non déterministe. Cela conduit à des cas de défaillance difficiles à analyser, des graphes de dépendance complexes et des défaillances en cascade dans les systèmes multi-agents. Les contrôles de sécurité développés pour les flux de contrôle déterministes ne sont pas applicables ici.

3. Mémoire persistante

La surface d’attaque apportée par la mémoire de l’agent est persistante.

Lorsque la mémoire à court ou long terme est compromise, un état malveillant peut influencer les décisions sur plusieurs sessions. Cela diffère d’une seule injection d’une invite, car la corruption de la mémoire fournit une persistance.

4. Risques de prise de décision à la vitesse des machines

Les agents autonomes prennent des décisions à une vitesse qui est impossible à égaler. Cela apporte des défis de prise de décision à la vitesse des machines, tels que la propagation rapide des erreurs, les cycles d’abus beaucoup plus rapides que la réaction humaine, et l’escalade avant que la détection soit possible.

Dans les systèmes multi-agents, la portée d’influence est rapide. Un agent malveillant peut déclencher une cascade de défaillances dans les chaînes de coordination.

Pourquoi les contrôles traditionnels échouent avec l’IA agente

La plupart des modèles de sécurité d’entreprise traditionnels reposent sur des applications statiques, des graphes d’appel prévisibles, des approbations humaines et une séparation claire entre le traitement des données et l’exécution. L’IA agente rend ces hypothèses invalides.

Prenez, par exemple, un contrôle traditionnel tel que la validation des entrées. Cela protège la limite d’un système. Cependant, le risque de l’IA agente apparaît généralement au milieu d’une boucle, dans la phase de planification, de réflexion ou d’outillage.

La analyse de vulnérabilité traditionnelle se concentre également sur l’infrastructure et les logiciels. Cependant, le risque d’exécution de l’IA réside dans la couche de raisonnement et d’action de l’agent.

La question est : Comment protéger quelque chose qui peut choisir sa prochaine action ? Vous ne pouvez pas simplement entourer des contrôles autour d’un seul appel de modèle. Vous devez sécuriser le flux de travail.

Sécuriser l’IA agente : Qu’est-ce qui fonctionne vraiment ?

Lorsqu’il s’agit de sécuriser l’IA agente, il faut passer d’une pensée de périmètre à une pensée de cycle de vie. Les agents ne devraient pas être autorisés à interpréter les objectifs de manière infinie, et il existe plusieurs moyens de parvenir à cela.

Établir des séquences d’objectifs autorisés, réguler la profondeur des arbres d’expansion de plan, surveiller la dérive de raisonnement et interdire les objectifs auto-rédigés hors du cadre sont des contrôles essentiels. Les variations inattendues dans le raisonnement sont souvent les prémices de la manipulation.

Durcir l’exécution des outils. Les outils sont là où le plan rencontre la réalité, et la sécurité doit couvrir les vérifications de permissions avant l’exécution des outils, les environnements d’exécution sandboxés, la validation stricte des paramètres et le transfert de références juste-à-temps. Chaque exécution d’outil doit être enregistrée comme un événement de sécurité de premier ordre.

Isoler la mémoire et la portée des privilèges. La mémoire doit être traitée comme une infrastructure sensible. Cela signifie valider les opérations d’écriture, partitionner le domaine de mémoire, limiter la portée des opérations de lecture par tâche, utiliser des références à court terme et empêcher l’héritage des privilèges. L’accumulation non validée des autorisations est un risque majeur pour l’IA agente.

Sécuriser la coordination multi-agents. Dans les systèmes d’agents distribués, la communication elle-même devient un vecteur d’attaque. Cela devrait impliquer l’authentification des agents, la validation du schéma de message, les canaux de communication restreints et la surveillance des modèles d’influence anormaux. Lorsque la coordination s’écarte des flux attendus, l’isolement doit se produire automatiquement.

De la gestion de l’exposition à l’évaluation de l’exposition pour les systèmes d’IA

C’est là qu’une philosophie de sécurité plus large devient clé. La gestion traditionnelle des vulnérabilités identifie les faiblesses connues. Cependant, les systèmes d’IA autonomes introduisent une exposition émergente : des risques qui découlent de la configuration, de la conception des privilèges, des chemins d’intégration et du comportement dynamique.

Ceci s’aligne sur ce que l’industrie a appelé la gestion de l’exposition et, plus récemment, l’évaluation de l’exposition.

La gestion de l’exposition est toute à propos d’avoir une visibilité continue sur la façon dont les systèmes (y compris les actifs cloud, les identités, les applications et maintenant les agents d’IA) créent des chemins que les acteurs malveillants peuvent exploiter.

Pour la sécurité des systèmes d’IA autonomes, cela signifie se demander : Qu’est-ce que cet agent peut atteindre ? Quelles autorisations accumule-t-il ? Quels systèmes orchestre-t-il ? Et où l’exécution coupe-t-elle avec les données sensibles ?

Les équipes qui utilisent déjà des stratégies basées sur l’exposition pour réduire les risques cybernétiques sont dans une position solide pour étendre ces principes à leurs environnements d’IA. Par exemple, les plateformes qui unifient la visibilité de l’identité, du cloud et de la vulnérabilité fournissent un moyen de comprendre comment les agents d’IA privilégiés se croisent avec les chemins d’attaque existants.

La clé n’est pas l’outillage du fournisseur en soi. C’est la mentalité :

Vous ne sécurisez pas l’IA agente en protégeant le modèle. Vous la sécurisez en mesurant et en réduisant continuellement son exposition.

Gestion des risques de couche d’exécution dans l’IA agente

La caractéristique de la sécurité de l’IA agente est la suivante : La surface d’attaque n’est pas la réponse, mais le flux de travail.

Les risques de la couche d’exécution sont nombreux, notamment l’utilisation non authentifiée d’outils, la contrefaçon d’identité, la progression des privilèges, l’empoisonnement de la mémoire, la manipulation inter-agents et les systèmes humains dans la boucle sous contrainte.

Atténuer ces risques signifie avoir une visibilité sur les relations d’identité, l’héritage des privilèges, les dépendances d’API, l’activité de runtime et la télémétrie d’exécution.

Ceci n’est plus seulement la sécurité de l’IA générative ; c’est également la sécurité opérationnelle de l’IA.

Le risque de l’IA agente est architectural, et non hypothétique

L’IA agente est l’étape suivante de l’évolution de l’adoption de l’IA d’entreprise. Elle promet de l’efficacité, de l’automatisation et de la scalabilité. Cependant, elle introduit également des risques provenant de ce que l’IA dit à ce que l’IA fait.

La transition des systèmes génératifs aux systèmes agents a un impact sur les points suivants :

• Risque de contenu à risque d’exécution
• Invites statiques à flux d’exécution dynamiques
• Révision humaine à exécution autonome
• Sécurité des applications à gestion de l’exposition

Les dirigeants de la sécurité qui comprennent cette transition en premier peuvent concevoir des garde-fous qui s’adaptent à l’autonomie. Les autres se retrouveront avec des insiders numériques sans contrôles d’insider.

L’avenir de l’IA dans l’entreprise est agente. L’avenir de la sécurité de l’IA doit être basé sur l’exposition, conscient du flux de travail et conçu pour les opérations à la vitesse des machines.

Parce que, une fois que les agents d’IA ont la capacité d’exécuter, la seule approche viable est de comprendre continuellement (et d’atténuer) à quoi ils sont exposés.