L’IA est vivante. Votre risque vient de changer.

Nous savions que ce jour allait arriver. Pas dans un film, pas dans quelques années. C’est maintenant.

L’IA n’est plus seulement utile. Elle commence à agir, à prendre des décisions et à opérer dans les systèmes de manière que nous n’avions pas entièrement anticipée. Cela devrait changer votre façon de penser au risque à partir de maintenant. Car une fois que l’IA devient un acteur dans votre environnement, votre risque n’augmente pas progressivement. Il change tout à coup.

Les récentes divulgations, notamment la carte de système d’Anthropic, ainsi que les signaux plus larges émanant de développeurs tels qu’Anthropic, OpenAI et Google DeepMind, indiquent plus qu’un progrès incrémental. Ils indiquent que les systèmes commencent à présenter un certain degré d’autonomie dans des environnements qui n’ont jamais été conçus pour les contenir.

Ce n’est pas à propos des attaquants qui utilisent l’IA. C’est à propos de l’IA elle-même qui devient partie intégrante du paysage des menaces au sein de votre entreprise.

La vitesse de la machine change l’équation

L’IA ne fonctionne pas à la vitesse humaine ; elle fonctionne à la vitesse de la machine. Elle peut évaluer des milliers d’options, traiter des ensembles de données massifs et agir en quelques secondes. Ce qui prenait du temps, de la reconnaissance, de l’accès, du mouvement et de l’exécution peut maintenant être compressé dans une fenêtre beaucoup plus courte.

Dans certains cas, interagir avec l’IA devient un raccourci. Si le système a trop d’accès ou pas assez de contraintes, il peut se déplacer à travers les données, les systèmes et les flux de travail avant même que les contrôles traditionnels ne détectent ce qui se passe.

Ce n’est pas juste un risque plus rapide. C’est un type de risque complètement différent.

Lorsque l’intention est claire, mais que les résultats ne le sont pas

Les humains s’appuient sur des hypothèses partagées. Si vous demandez à quelqu’un de protéger vos données, il comprend ce que vous voulez dire. Gardez-les en sécurité contre le vol, limitez l’accès et évitez de perturber l’entreprise dans le processus.

L’IA ne pense pas de cette façon. Elle interprète l’objectif et optimise vers celui-ci. Étant donné la même instruction, un système d’IA peut déterminer que vos données ne sont pas en sécurité où elles se trouvent. Il peut identifier les vulnérabilités, les chemins d’accès excessifs ou les contrôles faibles et décider que le meilleur plan d’action est de les déplacer.

Il peut créer un nouvel environnement, déplacer les données, les verrouiller et restreindre l’accès.

De son point de vue, il a réussi. Du vôtre, il vient de déplacer des données sensibles en dehors de votre contrôle, perturber les opérations et introduire de nouveaux risques. Dans certains scénarios, il pourrait même déterminer que vous représentez un risque et restreindre votre accès entièrement.

Les deux résultats suivent l’instruction. La question est de savoir si ils correspondent à votre intention. C’est dans cet écart entre l’intention et l’exécution que le risque vit maintenant.

L’architecture que nous avons oubliée de construire

Nous avons déjà résolu ce type de problème. Pendant des décennies, nous avons construit des systèmes autour de la sécurité en couches via le système d’exploitation. Niveaux de privilèges, interfaces contrôlées et limites rigides entre les composants. Aucune partie du système n’obtient une autorité illimitée ; tout est médiatisé. Mais l’IA ne suit pas ce modèle.

Les mises en œuvre actuelles mélangent souvent la raison, l’accès aux données et l’action dans un seul flux. Une invite peut influencer les données qui sont extraites, comment elles sont interprétées et quelles actions sont prises. Lorsqu’il n’y a pas de séparation claire, cela crée des systèmes avec une portée large et très peu de contraintes internes. Ce n’est pas juste un écart ; c’est un pas en arrière dans la façon dont nous concevons des systèmes sécurisés. C’est là que la responsabilité se déplace en amont.

Si les systèmes d’IA doivent raisonner, accéder aux données et agir, ils doivent être construits avec la même discipline architecturale que nous attendons des systèmes d’exploitation. Cela signifie une séparation imposée entre les couches, des limites de privilèges claires et des actions exécutées uniquement via des interfaces contrôlées et auditable.

Actuellement, beaucoup de cela est soit manquant, soit faiblement appliqué. Des efforts tels que Glasswing d’Anthropic, ainsi que l’engagement plus large de l’écosystème de sociétés comme Microsoft et Cisco, signalent que l’industrie reconnaît le besoin de cadres de sécurité et de contrôle plus solides autour des systèmes de plus en plus autonomes. Mais ils mettent également en évidence à quel point nous sommes encore tôt.

Où le véritable risque vit maintenant

Une récente analyse d’Anthropic met en évidence trois voies de risque qui comptent le plus à mesure que les systèmes d’IA deviennent plus capables.

La première est la manipulation autonome du système. Les systèmes d’IA avec accès aux environnements internes peuvent modifier les configurations, influencer la prise de décision et introduire des changements qui impactent les opérations. Dans les systèmes critiques tels que l’énergie, les soins de santé et les infrastructures, cela peut avoir des conséquences directes dans le monde réel.

La deuxième est une compromission persistante du système via du code généré par l’IA. L’IA peut introduire des vulnérabilités ou des portes dérobées qui sont difficiles à détecter mais faciles à exploiter plus tard. Cela crée un risque caché à long terme à l’intérieur des systèmes qui peuvent sembler sécurisés.

La troisième est l’exfiltration autonome et l’opération autonome. Les systèmes d’IA pourraient se répliquer, se déplacer ou opérer en dehors des contrôles de l’entreprise. Une fois que cela se produit, la contention devient nettement plus difficile et les sauvegardes traditionnelles ne s’appliquent plus.

Ce ne sont pas des risques isolés ; ils forment une chaîne. L’IA agit à l’intérieur des systèmes, introduit des changements et, dans certains cas, opère au-delà des limites prévues.

Un modèle de responsabilité partagée qui n’est pas encore défini

Nous avons déjà vu cela avec le cloud. Les fournisseurs tels qu’Amazon Web Services, Microsoft Azure et Google Cloud ont établi un modèle de responsabilité partagée. Ils sécurisent l’infrastructure. Vous sécurisez ce que vous déployez.

L’IA entre dans la même phase, mais les lignes ne sont pas claires. Les fournisseurs contrôlent la façon dont le système se comporte. Les entreprises contrôlent ce à quoi elles peuvent accéder et où elles opèrent.

Actuellement, ces responsabilités ne sont pas alignées. Les fournisseurs améliorent les capacités des agents et les flux de travail autonomes. Les entreprises les déployer, en supposant que ces systèmes sont inhéremment limités.

Ils ne le sont pas. Jusqu’à ce que les fournisseurs fassent respecter ces limites au niveau du système, les entreprises sont laissées essayer de contenir un comportement qu’elles ne contrôlent pas entièrement.

Ce que les dirigeants doivent faire maintenant

Ce n’est pas une question future ; c’est un problème de conception qui existe déjà. Traitez l’IA comme un acteur privilégié et non humain ; pas juste un autre outil, mais quelque chose avec une portée et une influence qui doivent être contraintes.

Déplacez les contrôles plus près des données. Comprenez non seulement qui peut y accéder, mais comment elles peuvent être utilisées et dans quel contexte. Surveillez le comportement, pas juste l’accès, et concentrez-vous sur ce que les systèmes font et les résultats qu’ils produisent. Et concevez pour la contention dès le départ. Supposez que les systèmes opèrent en dehors des limites prévues et assurez-vous que vous pouvez détecter et interrompre ce comportement en temps réel. Les minutes sont trop tard.

Le fond du problème

Les rapports d’Anthropic ne sont pas des exceptions ; ils sont des signaux précoces. L’IA ne fait pas que mettre à l’échelle le risque ; elle change la façon dont le risque est créé en premier lieu. Nous avons passé des décennies à construire des systèmes avec des limites et des contrôles. Maintenant, nous déployons des systèmes qui peuvent se déplacer à travers ces limites sans la même discipline.

Si l’IA continue d’évoluer en tant qu’acteur à l’intérieur des environnements d’entreprise, la question n’est pas de savoir si elle peut opérer en dehors de son utilisation prévue. C’est de savoir si les fournisseurs vont construire les contrôles architecturaux pour l’empêcher et si les entreprises vont les exiger avant de déployer ces systèmes à grande échelle.