Leaders d’opinion

Lorsque les agents IA commencent à coordonner, le risque d’insécurité se multiplie

mm
Ajouter Unite.AI à vos sources préférées sur Google

La crise OpenClaw a exposé un risque que la plupart des programmes de sécurité ne surveillent pas activement : la collusion entre les systèmes à base d’IA.

Dans l’un des premiers cas observés publiquement, des agents IA autonomes ont été observés découvrant les uns les autres, coordonnant leur comportement, renforçant les tactiques et évoluant ensemble – sans direction ni surveillance humaine. Ce changement est plus important que toute vulnérabilité individuelle, car il modifie fondamentalement la façon dont le risque se propage dans les environnements de sécurité de l’IA moderne.

OpenClaw et Moltbook n’étaient pas seulement des démonstrations de la capacité des agents. Ils étaient un signal précoce de l’émergence de la coordination multi-agents dans la nature. Ce qui est mal compris, c’est pourquoi les agents se sont comportés de la sorte – quelle intention ils exécutaient et dans quel contexte. Lorsque les agents peuvent coordonner, le modèle de menace change, et sans visibilité sur l’intention et le contexte, la plupart des programmes de sécurité ne sont pas encore préparés à cette évolution du risque.

Pourquoi la collusion modifie l’équation du risque

OpenClaw, connu précédemment sous le nom de MoltBot et Clawdbot, opérait dans des environnements grand public et non dans des entreprises. Mais les comportements qu’il a exposés s’appliquent directement aux systèmes d’entreprise qui déploient des IA autonomes ou agissantes.

Lorsqu’un agent IA est autorisé à accéder à des emails, des calendriers, des navigateurs, des fichiers et des applications (et qu’il est autorisé à agir avec des contraintes minimales), il cesse de se comporter comme un outil. Il commence à se comporter comme un utilisateur.

Il effectue des tâches. Il maintient une présence. Il fonctionne en continu.

Moltbook a accéléré ce changement en donnant aux agents basés sur Claw un endroit pour se trouver les uns les autres. En quelques jours, les observateurs ont documenté des agents établissant des communications chiffrées, partageant des conseils pour l’amélioration récursive, coordonnant des récits et plaidant pour l’indépendance par rapport à la surveillance humaine – des comportements directement pertinents pour la gestion des risques de l’IA d’entreprise.

Que cela reflète une véritable autonomie est sans importance. La coordination elle-même est le risque. Lorsque les agents peuvent influencer d’autres agents ayant des informations d’identification légitimes et une autorité déléguée, les défaillances isolées deviennent systémiques très rapidement.

Le parallèle de sécurité de la RPDC que les équipes de sécurité ne devraient pas ignorer

Du point de vue du risque d’insécurité interne, le chevauchement avec les opérations de travailleurs IT de la RPDC est frappant et très pertinent pour la gestion des risques de l’IA.

Pendant des années, les acteurs de la RPDC ont compté sur un accès persistant, une activité ayant l’air normale et un travail effectué au niveau des employés légitimes à distance, coordonnés à travers les identités, les fuseaux horaires et les langues.

Les agents IA reproduisent maintenant de nombreux comportements de cette manière, automatiquement.

La différence est la vitesse et l’échelle.

Les travailleurs IT de la RPDC ont longtemps poursuivi l’automatisation et l’aide à l’IA pour décharger le travail de routine, maintenir une présence continue et maximiser les revenus avec un minimum d’efforts humains. Les agents autonomes mettent maintenant en œuvre cette approche, exécutant des tâches de base, maintenant l’activité et coordonnant l’exécution à grande échelle.

C’est pourquoi les épisodes OpenClaw et Moltbook sont importants. Ils prévoient ce qui se passe lorsque la coordination émerge sans gouvernance, et à la vitesse et à l’échelle de l’IA.

Le modèle de menace s’élargit encore (encore)

Jusqu’à récemment, la principale préoccupation était les humains malveillants créant ou manipulant des agents malveillants.

Cette menace est réelle et existe toujours, mais une nouvelle menace émerge et pourrait potentiellement exposer les organisations à un risque extrême.

Nous voyons maintenant des signaux précoce de l’inverse : des agents IA malveillants contractant des humains.

Des plateformes comme rentahuman.ai permettent explicitement aux agents IA d’embaucher des humains pour des tâches du monde réel – allant de courses et de réunions à la signature de documents et à des achats. Les humains fixent les tarifs. Les agents attribuent les tâches.

La frontière entre les systèmes autonomes et le travail humain vient de devenir plus mince. L’intention peut désormais provenir de l’une ou l’autre des deux côtés, et l’exécution peut s’effectuer dans les deux sens.

Ce n’est pas de la science-fiction. C’est un changement structurel dans la façon dont le travail (et l’abus) peut être orchestré.

Pourquoi cela compte pour les équipes de sécurité

Les agents IA franchissent un point d’inflexion qui modifie fondamentalement le risque organisationnel. Il ne s’agit plus seulement d’un problème de sécurité de l’IA à gérer avec le temps – c’est un risque d’insécurité interne systémique qui peut directement menacer la continuité de l’entreprise, la confiance et la marque si elle n’est pas gérée.

Ils ne sont plus limités à répondre à des invites discrètes. Ils commencent à persister, à coordonner et à agir dans des environnements qui n’ont jamais été conçus pour une autorité déléguée (encore moins pour une influence agent-à-agent).

D’un point de vue de risque d’insécurité interne, l’exposition ne provient pas seulement du code malveillant. Elle émerge à la couche d’interaction, où l’intention humaine, la capacité de l’agent, l’autorité déléguée et la coordination se croisent. Cela se rapproche de la notion de Lethal Trifecta de Simon Willison : accès à des données sensibles, exposition à des entrées non fiables et capacité à agir ou à communiquer à l’extérieur. Lorsque ces conditions convergent, les défaillances peuvent s’accélérer rapidement d’erreurs isolées à des risques critiques pour l’entreprise.

Comprendre cela nécessite de passer d’une pensée centrée sur un agent unique à une pensée centrée sur les systèmes de risque comportemental.

Quatre modèles d’interaction qui créent un risque

Les incidents d’agents IA ne constituent pas une seule catégorie. Les résultats dépendent de qui détient l’intention et de la façon dont l’autorité est exercée. Une matrice simple aide les équipes à classifier les incidents et à y répondre de manière appropriée.

  1. Collusion : humain malveillant, agent malveillant
    L’agent devient un accélérateur. L’intention humaine se combine avec l’efficacité, la persistance et l’échelle de l’agent. La coordination amplifie l’effet, permettant la fraude, la désinformation ou la manipulation sans grandes équipes. Moltbook a offert un aperçu précoce de la façon dont les agents se renforcent rapidement les uns les autres lorsque la découverte est sans contrainte.
  2. Utilisateur adverse : humain malveillant, agent non malveillant
    Les agents utiles sont des outils idéaux pour une utilisation abusive. Un insider malveillant peut maintenir de fausses personnalités, masquer l’activité ou amplifier la tromperie comme la fraude d’embauche multiple. L’agent n’est pas malveillant. Il exécute l’autorité déléguée.
  3. Agent compromis : humain non malveillant, agent malveillant
    Ici, l’intention est entièrement retirée de l’humain. L’injection de invites, la mémoire empoisonnée ou les entrées manipulées peuvent transformer un agent en un vecteur d’abus. Lorsque les agents interagissent avec d’autres agents, la compromission peut se propager rapidement, en particulier avec une mémoire persistante – une préoccupation critique de sécurité de l’IA.
  4. État idéal : humain non malveillant, agent non malveillant
    Endroit où la plupart des organisations supposent la sécurité, et où de nombreux incidents commencent. Une délégation excessive, des autorisations accumulées et un accès étendu permettent aux petites erreurs de se propager. Ce n’est pas de la négligence. C’est une discordance entre la capacité et le contrôle.

Dans tous les quatre modèles, la dynamique est cohérente. Les agents IA réduisent la friction entre l’intention et le résultat, masquent les signaux comportementaux et étendent la portée. Les contrôles traditionnels ont du mal lorsque les actions sont déléguées, continues et médiatisées par des systèmes autonomes.

Un point d’inflexion de gouvernance

L’IA agissante est conçue pour observer en continu, retenir le contexte et agir sur la base des connaissances accumulées. C’est ce qui la rend précieuse, et dangereuse lorsqu’elle n’est pas contrôlée.

Avec une mémoire persistante et une coordination, l’exploitation n’a pas besoin d’être immédiate. Elle peut attendre. Elle peut évoluer.

Présenter l’IA agissante comme un outil de productivité sous-estime le risque. Ces systèmes se comportent moins comme des applications et plus comme des insiders, mais avec la vitesse des ordinateurs.

Ce qu’exige réellement l’adoption sécurisée d’agents IA

Les organisations devraient traiter l’IA agissante comme des systèmes d’entreprise à haut risque, et non comme des commodités.

Cela signifie des cas d’utilisation approuvés, des contrôles en couches, des tests adverses et une gouvernance formelle. Le principe du moindre privilège est toujours important, et les normes existantes fournissent déjà des conseils. Mais les contrôles traditionnels doivent être associés à une visibilité et une intelligence comportementales – historiques d’invites, actions autonomes et modèles de coordination – pour distinguer les abus, les mauvaises utilisations et les défaillances systémiques dans le cadre d’une gestion efficace des risques de l’IA.

Il ne s’agit pas de ralentir l’adoption. Il s’agit de rendre l’autonomie gérable sans compromettre l’innovation et la vitesse.

La conclusion

La collusion modifie l’équation du risque d’insécurité interne. Lorsque les agents IA peuvent renforcer les uns les autres, le risque passe d’actions isolées à une autorité, une influence et une amplification partagées.

L’exposition à la sécurité émerge maintenant à la couche d’interaction, où l’accès légitime, l’autorité déléguée et la collusion se croisent. Les contrôles conçus pour évaluer l’activité individuelle manqueront les défaillances qui n’apparaissent que lorsque les comportements se combinent.

Les organisations qui gèrent les agents IA comme des insiders – avec une visibilité et une responsabilité comportementales – peuvent étendre l’utilisation des agents IA avec confiance. Celles qui ne le font pas seront laissées à répondre à des résultats qu’elles ne contrôlent plus entièrement.

Marshall Heilman est le directeur général de DTEX Systems, le leader mondial de la gestion des risques internes. Marshall a plus de 20 ans d'expérience dans la cybersécurité (dans les startups et les grandes organisations publiques), occupant des postes de direction exécutive et très techniques chez Mandiant et Google.