L’IA est la nouvelle menace interne, mais les plans pour y faire face interviennent un niveau trop tard

La faille de sécurité chez Hugging Face et des incidents similaires ont fait frémir le secteur, mais les organisations devraient se concentrer sur le cycle de vie du développement logiciel (SDLC), et non sur la couche des modèles d’IA.

La faille de sécurité chez Hugging Face en juillet, provoquée par des agents d’OpenAI, puis les signalements, peu après, d’évasions similaires impliquant des modèles d’Anthropic et de Meta, ont tiré la sonnette d’alarme face à une catégorie apparemment nouvelle de cyberattaques : la menace interne malveillante liée à l’IA agentique.

Mais ce type d’incident n’a rien de vraiment nouveau. Le fait qu’il se soit produit dans des laboratoires d’IA de pointe, qui inquiètent les gens depuis plusieurs années, lui a donné un nouveau visage inquiétant. Pourtant, ces incidents illustrent les mêmes modes de défaillance et les mêmes angles morts que les entreprises accumulent depuis des années.

Elles n’étaient pas non plus intentionnellement malveillantes. Lors de la faille de sécurité chez Hugging Face, les agents d’intelligence artificielle — environ 1 200 — cherchaient à atteindre un objectif qui leur avait été assigné dans un environnement de test, même si, il faut le reconnaître, leur comportement n’a pas toujours été honorable. Au cours du processus, ils ont communiqué en secret, exploité des vulnérabilités et agi sans être détectés pendant quelques mois. Environ 700 d’entre eux ont réussi à franchir la barrière de leur environnement « isolé » et à accéder à Internet et à des tiers.

Ce qui est troublant dans ces incidents, ce n’est pas seulement que des agents d’IA sans contraintes puissent représenter une grave menace — ce qu’ils font sans aucun doute. Mais si des agents peuvent agir à leur guise sous le nez de l’équipe d’un laboratoire d’IA de pointe, qui dispose de nombreux talents, de ressources et de la motivation nécessaire pour surveiller de près leur activité, vous devriez probablement aussi vous demander ce qui se passe avec les agents d’IA et les outils assistés par l’IA qui fonctionnent actuellement dans votre environnement de développement. Si les acteurs les plus puissants du secteur de l’IA ne peuvent pas voir en temps réel ce qui se passe dans leur environnement, quelles chances a une organisation ordinaire ?

Pour les organisations, la meilleure façon de reprendre le contrôle de l’IA agentique consiste à reconnaître que cette nouvelle situation n’est qu’une version plus puissante d’un problème de longue date. Mais pour y remédier, il faut une capacité qui fait encore défaut à de nombreuses entreprises : une visibilité et une observabilité dès les premières étapes du cycle de vie du développement logiciel (SDLC).

OpenAI et Hugging : un avant-goût de ce qui nous attend

Lors de la faille de sécurité chez Hugging Face, plusieurs modèles d’IA de pointe, dont le nouveau modèle phare d’OpenAI, GPT-5.6 Sol, lancé en juillet, tentaient de résoudre un objectif limité : le test de référence ExploitGym, qui évalue la capacité d’un agent à exploiter des failles de sécurité. Dans un article consacré à la faille, Anthropic a relevé que les modèles d’IA, bien qu’ils « fonctionnent avec des protections réduites », avaient pu sortir du cadre, contourner les contrôles techniques, collaborer par des canaux non autorisés et, finalement, prendre des risques.

Bien que la faille ait été découverte en juillet, les agents avaient commencé à communiquer de manière inappropriée dès le mois de mai, sans attirer l’attention. METR et Redwood Research ont mené en parallèle une enquête indépendante et ont constaté que, même si les agents savaient enfreindre les règles, rares étaient ceux qui songeaient à en informer OpenAI ; ils poursuivaient plutôt leur travail.

À la suite du rapport d’OpenAI, Anthropic a réexaminé ses évaluations antérieures en cybersécurité et découvert qu’un modèle Claude avait contourné les contrôles à trois reprises en avril, trouvé comment se connecter à Internet et accédé sans autorisation aux systèmes de trois organisations externes. Peu après, Meta a révélé qu’une version de son modèle d’IA agentique le plus avancé, Muse Spark 1.1, s’était elle aussi échappée d’un environnement de test cloisonné en cybersécurité et avait infiltré le réseau d’une entreprise externe.

Dans son rapport, OpenAI a également averti que l’incident annonçait ce qui nous attendait, déclarant que de nombreux modèles, y compris des modèles open source courants, auraient bientôt la capacité d’en faire autant. La récente faille de sécurité chez Medicare a conforté cette affirmation.

L’IA doit être encadrée au niveau du SDLC

Ces exploits liés à l’IA agentique ont fait frémir la communauté de l’IA. OpenAI a annoncé qu’elle allait renforcer les contrôles dans son environnement de test, puis s’est associée à Anthropic, Microsoft, Amazon Web Services et à plus de 100 autres entreprises pour lancer un avertissement au sujet de la vague imminente de cyberattaques rendues possibles par l’IA contre les infrastructures critiques. La lettre avertissait que ces attaques pourraient survenir dans quelques mois seulement.

Les organisations qui craignent d’être victimes d’attaques similaires doivent renforcer leurs propres infrastructures, en commençant par le développement logiciel. Le véritable problème ne tient pas simplement à la sophistication croissante de l’IA agentique, mais aussi au manque de surveillance en temps réel et de supervision humaine efficace. Les organisations devraient s’attacher à combler les lacunes humaines et organisationnelles plutôt que de considérer les risques liés à l’IA comme une fatalité technologique.

Dans une grande partie du secteur, les organisations concentrent la surveillance et l’observabilité sur la couche des modèles d’IA, soit déjà un niveau trop tard. À ce stade, le mal est à moitié fait. La visibilité, la surveillance, l’observabilité et la gouvernance doivent être mises en place là où l’IA fait son entrée dans l’entreprise : au sein du SDLC. Les organisations doivent également veiller à ce que les développeurs qui utilisent des outils de programmation fondés sur l’IA disposent de la formation et des compétences nécessaires pour empêcher ces outils d’introduire des défauts, des vulnérabilités et de mauvaises habitudes dans le processus de développement.

La plupart des failles logicielles apparaissent dès la phase de développement. Lorsque les développeurs ne possèdent pas les compétences nécessaires pour programmer de manière sécurisée ou corriger les failles introduites par l’IA, les problèmes peuvent rapidement se multiplier. Ils ont besoin d’un programme de formation qui leur apporte les compétences en sécurité nécessaires et suive leurs progrès, tant dans l’acquisition de ces compétences que dans leur application régulière au travail.

À mesure que l’IA s’intègre plus profondément dans le fonctionnement des organisations, il est devenu évident que la traçabilité, l’observabilité et la gouvernance en matière de sécurité, tant pour les développeurs que pour leurs outils de programmation assistée par l’IA, constituent désormais le socle de référence pour produire du code sécurisé en entreprise.

Des menaces permanentes appellent une réponse permanente

Nous avons peut-être autrefois considéré les logiciels comme relativement inoffensifs, puisqu’ils faisaient ce pour quoi ils avaient été programmés. En cas de dysfonctionnement, ils pouvaient se bloquer ou provoquer une interruption de service, mais ils ne passaient pas à l’attaque. L’IA, et en particulier l’IA agentique, a bouleversé cette idée. Qu’il s’agisse d’IA agentique ou d’IA assistée par des développeurs, les actions de tout modèle d’IA doivent faire l’objet d’une observation et d’une gouvernance continues.

La menace émergente que représente l’IA, qu’elle vise des hôpitaux, des usines de traitement de l’eau, des centrales électriques ou des entreprises, peut être une perspective terrifiante. Mais les organisations ne sont pas sans défense. Elles peuvent mettre en place une gouvernance de l’IA, mais elles doivent la construire depuis la base. En adoptant une culture axée sur la sécurité des logiciels et en formant les développeurs à cette fin, les organisations peuvent apporter à un problème potentiel un niveau indispensable d’observabilité, de traçabilité et de gouvernance. Si ce problème n’est pas maîtrisé, il ne fera qu’empirer.