Pourquoi l’apocalypse est une diversion et quel risque réel lié à l’IA devrait nous préoccuper

Dès lors qu’on suit l’actualité, il est difficile d’ignorer l’alarmisme croissant qui entoure l’industrie de l’IA et les mises en garde apocalyptiques. Ce discours, qui alerte sur le « risque existentiel » que les systèmes d’IA font peser sur l’humanité, a grandement facilité la tâche des entreprises de cybersécurité désireuses de surfer sur la vague et de vendre en jouant sur la peur. Pourtant, se focaliser sur « l’apocalypse » est une erreur, car cela fait oublier les risques plus immédiats que l’IA agentique fait peser aujourd’hui sur les organisations.

Bien sûr, les agents d’IA qui agissent indépendamment des contrôles d’une organisation présentent des risques évidents. Tout récemment, des rapports en Australie et aux États-Unis ont révélé que des agents d’IA d’OpenAI avaient outrepassé leurs missions sur des systèmes gouvernementaux dans les deux pays.

Pourtant, la menace de scénarios apocalyptiques liés à l’IA est exagérée. Plutôt que de se perdre en conjectures, les organisations doivent faire face à cette nouvelle réalité et veiller à mettre en place des garde-fous déterministes pour assurer leur résilience opérationnelle.

Internet n’a pas de bouton d’arrêt unique

Les adeptes du discours apocalyptique estiment qu’à mesure que l’IA gagne en sophistication et en portée, elle pourrait devenir un « interrupteur de mise à mort » centralisé, un point unique vulnérable permettant à quelqu’un d’en prendre le contrôle total et de provoquer une catastrophe.

Cependant, Internet est bien plus distribué et diversifié que ne le suppose la théorie de l’interrupteur de mise à mort. Il fonctionne comme un « réseau de réseaux », composé de milliards d’éléments répartis dans différentes architectures et protégés par d’innombrables équipes d’exploitation qui utilisent des normes et des outils différents. Il n’existe donc aucun interrupteur qu’un humain ou une machine pourrait actionner, ni aucune vulnérabilité isolée ou chaîne de vulnérabilités susceptible d’être exploitée pour provoquer une telle catastrophe.

L’idée qu’une IA puisse concevoir et disséminer un agent pathogène ou pénétrer dans des systèmes nucléaires isolés d’Internet peut faire un bon film. Elle est toutefois loin de constituer un scénario crédible dans le cadre d’une évaluation des menaces opérationnelles.

Hors de vue, hors de contrôle

À mesure que l’IA agentique évolue, deux facteurs ont fondamentalement changé la nature des risques auxquels les entreprises sont exposées.

D’une part, l’IA permet désormais aux acteurs malveillants de repérer et d’exploiter des vulnérabilités informatiques en quelques minutes plutôt qu’en plusieurs mois. Lorsque les défenses fondées sur l’IA probabiliste détectent une activité suspecte, il est souvent déjà trop tard pour réagir à la menace. Comme elles reposent sur des probabilités statistiques plutôt que sur des règles fixes, même les meilleures laisseront passer certaines activités malveillantes ; il suffit à un attaquant de se faufiler une seule fois

D’autre part, le recours des employés à une « IA fantôme » complique considérablement la tâche lorsqu’il s’agit de savoir quels systèmes protéger. Pas moins de 82 % des organisations interrogées par la Cloud Security Alliance ont découvert au cours de l’année écoulée que des agents d’IA étaient en activité à l’insu de leurs équipes de sécurité ou informatiques, alors même que 68 % affirmaient avoir une grande visibilité sur les agents. Par ailleurs, EY a constaté qu’un quart des grandes entreprises américaines utilisant l’IA agentique reconnaissaient être incapables de détecter les agents non autorisés en activité au sein de l’entreprise.

Naturellement, ces deux évolutions exercent une forte pression opérationnelle sur les systèmes des entreprises. Ensemble, elles placent les organisations dans une position très défavorable : elles sont trop lentes pour repérer et corriger les vulnérabilités exposées, et ignorent quels systèmes sont exposés au départ.

Maîtriser ce qui peut l’être

Les organisations doivent tenir un inventaire à jour de tous les agents en activité dans l’entreprise, qu’ils soient autorisés ou non, en désignant pour chacun un responsable et en définissant clairement les ressources auxquelles il peut accéder ainsi que les actions qu’il peut effectuer. C’est la première étape pour maîtriser ce qui peut l’être : si les modèles d’IA sont parfois probabilistes, les contrôles mis en place autour d’eux peuvent, eux, être déterministes, fixes et clairement définis.

Concrètement, chaque fois qu’un agent propose une action, une couche d’application distincte, indépendante du modèle lui-même, doit vérifier que cette action est autorisée et en conserver une trace d’audit. Pourtant, seules 11 % des organisations bloquent automatiquement l’action d’un agent lorsqu’elle dépasse le périmètre qui lui est assigné ; la plupart s’en remettent à une approbation humaine ou se contentent de consigner l’action. L’incident australien montre le coût qu’il y a à compter sur le système cible pour opposer un refus : après s’être vu refuser l’accès, l’agent a trouvé un autre moyen d’entrer. L’architecture globale de gouvernance doit également permettre d’identifier, d’autoriser et de vérifier en continu tous les agents afin d’éviter que des risques opérationnels imprévus ne se concrétisent. Tout cela doit se faire rapidement, car face à des attaques qui évoluent à la vitesse des machines, les règles doivent elles aussi suivre cette cadence.

Des peurs hypothétiques aux solutions concrètes

Aussi convaincante soit-elle, la vague de récits apocalyptiques suscitée par les systèmes d’IA autonomes est très éloignée de la réalité. Le risque qui mérite notre attention est bien plus banal que celui d’une IA décidant de nous détruire : un agent qui agit au sein de votre entreprise plus vite que quiconque ne peut le voir, avec des autorisations que personne ne lui a accordées.

Les problèmes de vitesse et de visibilité peuvent tous deux être résolus, à condition que les systèmes de sécurité qui encadrent l’IA soient déterministes et puissent vérifier et suivre avec précision chaque agent à la vitesse à laquelle il fonctionne.

Pour les conseils d’administration et les responsables de la sécurité, cela se résume à trois questions concrètes : connaissons-nous tous les agents actifs dans notre environnement, chacun a-t-il un responsable et des limites clairement définies, et pouvons-nous bloquer une action non autorisée avant qu’elle ne soit exécutée ? Aider les clients à combler ces lacunes concrètes est le meilleur moyen pour les fournisseurs de cybersécurité de renforcer leur résilience, bien plus que de leur vendre la peur de futurs hypothétiques.