L’industrie de l’IA veut gagner notre confiance, mais elle doit d’abord mieux encadrer ses systèmes

En sécurité, on ne peut pas attendre qu’un incident survienne pour découvrir si nos mesures de protection sont efficaces. On les teste. On les met à l’épreuve. On part du principe que quelqu’un finira par trouver la faille qui nous a échappé.

C’est la base de la sécurité.

Alors pourquoi l’IA de pointe devrait-elle être soumise à des exigences différentes ?

À mesure que les systèmes d’IA gagnent en autonomie et accèdent davantage à des systèmes du monde réel, nous observons un phénomène qui devrait inquiéter quiconque a travaillé à la défense en cybersécurité : les capacités progressent plus vite que les moyens de contrôle.

La rapidité n’excuse pas un niveau de sécurité moindre. C’est précisément pour cela que nous avons besoin d’une sécurité renforcée.

Une évaluation récente menée par l’organisation à but non lucratif Guidelight AI a examiné les éléments accessibles au public concernant les pratiques de contrôle de l’IA chez Anthropic, Google, Meta, OpenAI et xAI. Aucune de ces entreprises n’a obtenu une note globale supérieure à C+.

Cela ne signifie pas que ces entreprises sont irresponsables. Cela ne signifie pas non plus qu’aucune autre mesure de contrôle n’est en place en interne.

Mais la sécurité ne repose pas sur des suppositions. Si l’on nous demande de faire confiance à des systèmes toujours plus puissants, nous devrions exiger des preuves que les mesures de contrôle qui les encadrent résistent au même examen rigoureux que celui que nous imposerions dans n’importe quel autre domaine.

Cessons de traiter les défaillances comme de simples anecdotes intéressantes

Lorsqu’un agent d’IA adopte un comportement inattendu, obtient un accès non prévu ou révèle une vulnérabilité, l’attention se porte généralement sur ce qu’a fait la technologie.

C’est intéressant.

Mais ce n’est pas la question la plus importante.

Un spécialiste de la sécurité veut savoir : l’activité a-t-elle été consignée ? Quelqu’un l’a-t-il repérée en temps réel ? Les actions dangereuses étaient-elles soumises à des garde-fous ? Quelqu’un pouvait-il arrêter le système ? Un plan de confinement existait-il, et avait-il été testé ?

Ces questions ne sont pas propres à l’IA. Cela fait des années que nous nous les posons en cybersécurité.

Pourtant, la prévention et le confinement semblent rester des points faibles du dispositif de contrôle émergent de l’IA de pointe. Les informations publiques sur les actions soumises à des garde-fous, les dispositifs d’arrêt d’urgence et le confinement d’urgence restent limitées.

Cela devrait compter davantage que le caractère inédit de l’incident. Lorsqu’un problème survient, je veux savoir ce qui a échoué, ce qui l’a empêché de s’aggraver et ce qui a changé par la suite.

La transparence est utile. Tirer des leçons l’est davantage.

Le véritable problème de sécurité de l’IA, c’est la vitesse

Je ne pense pas que la principale menace à court terme soit que l’IA invente soudain une catégorie entièrement nouvelle de cyberattaques. Le problème majeur est beaucoup plus concret : l’IA peut accélérer considérablement des attaques que nous connaissons déjà.

Des recherches qui prenaient autrefois des heures peuvent être menées en quelques minutes. Les techniques d’attaque peuvent être combinées plus rapidement. Des vulnérabilités peuvent être repérées et exploitées avant même qu’un processus de sécurité centré sur l’humain ait dépassé son premier appel d’escalade.

C’est problématique, car une grande partie de l’infrastructure de sécurité actuelle suppose toujours qu’il y aura le temps de réagir.

Ce ne sera pas toujours le cas.

Si une attaque se déroule rapidement, un processus de réponse fondé sur des tickets, des réunions, des approbations et des escalades manuelles peut devenir obsolète avant même que quelqu’un n’atteigne la troisième étape.

Et c’est là que l’industrie de l’IA a encore du travail à faire.

Si les laboratoires à la pointe de l’IA s’attendent à ce que les entreprises repensent la visibilité, la gestion des vulnérabilités, l’architecture et la réponse aux incidents à l’ère de l’IA, ils devraient nous montrer qu’ils ont fait de même de leur côté.

« Faites-nous confiance » ne constitue pas un cadre de contrôle

J’ai consacré ma carrière à la sécurité et aux tests, et un principe se vérifie remarquablement bien : les bonnes intentions ne prouvent pas qu’un système est sûr. Seules les preuves le font.

• On teste.
• On surveille.
• On cherche à tout mettre en échec.

On découvre ce qui se passe lorsque les mesures de contrôle ne fonctionnent pas comme le prévoit le schéma d’architecture. Et on s’assure que quelqu’un a le pouvoir d’arrêter le système si nécessaire. L’IA de pointe doit être soumise aux mêmes exigences.

Cela suppose de soumettre les mesures de contrôle à des tests contradictoires, de produire des preuves mesurables de leur efficacité et de définir clairement qui a le pouvoir d’arrêter les systèmes en cas de problème.

Cela suppose aussi de repenser le confinement.

Les laboratoires à la pointe de l’IA ne peuvent pas improviser des mesures de confinement après qu’un agent d’IA a agi au-delà des limites qui lui étaient fixées. En entraînant et en testant des modèles toujours plus performants, ils doivent assumer la responsabilité des actions que ces systèmes peuvent entreprendre. Cela exige des tests contradictoires rigoureux, des mesures de protection préautorisées, des limites claires à l’autorité des agents et des moyens éprouvés d’intervenir ou d’arrêter un système avant qu’une défaillance ne se propage.

Le jugement humain reste essentiel. Mais les laboratoires qui développent ces systèmes doivent définir les limites, vérifier qu’elles tiennent et rendre des comptes lorsqu’elles ne sont pas respectées.

Leur responsabilité ne consiste pas seulement à démontrer ce qu’un agent peut faire. Il leur faut montrer que l’agent peut fonctionner en toute sécurité, que son comportement peut être contrôlé et que ses nouvelles capacités rendent le monde plus sûr, et non moins sûr.

La confiance se mérite

Je ne dis pas qu’il faut ralentir l’innovation en IA jusqu’à la rendre presque inexistante. Je dis que la sécurité doit suivre son rythme. Si nous investissons des ressources considérables pour rendre l’IA plus performante, nous devons faire preuve d’une urgence comparable pour mieux la protéger.

Mais, à mesure que les laboratoires de pointe accélèrent l’entraînement et les tests de nouveaux modèles d’IA dotés de capacités cyber, ils doivent garder à l’esprit les personnes chargées de la défense. D’abord, en les aidant à détecter les menaces et à y répondre plus rapidement. Mais, surtout, en empêchant ces systèmes de devenir eux-mêmes des menaces. Cette responsabilité implique également d’accepter un examen extérieur.

Les entreprises ne peuvent pas réserver l’examen indépendant aux seules situations où il va dans le sens du récit qu’elles souhaitent présenter. Si les systèmes d’IA de pointe sont assez puissants pour modifier le paysage des menaces, leurs mécanismes de contrôle doivent être assez robustes pour résister à des tests indépendants rigoureux.

L’industrie de l’IA veut que nous lui fassions confiance.

En tant que spécialiste de la sécurité, je suis prêt à lui accorder ma confiance. Mais, avant cela, montrez-moi les mesures de contrôle.