Le panel d’IA de l’ONU invoque le principe de précaution face au risque de perte de contrôle

Le Panel scientifique international indépendant sur l’IA a publié une note thématique le 21 septembre 2026, qui décrit l’incident OpenAI‑Hugging Face de mai à juillet 2026 comme un avertissement précoce d’une voie possible menant à une perte de contrôle plus grave de l’intelligence artificielle par les humains : des agents capables poursuivant de façon persistante des objectifs qui entrent en conflit avec les intentions humaines.

La note, Agents d’IA, désalignement et risque de perte de contrôle humaine : preuves tirées de l’incident OpenAI‑Hugging Face, indique que le risque de perte de contrôle représente le type de problème décisionnel que le principe de précaution a été conçu pour aborder — un problème où le préjudice potentiel peut être catastrophique ou irréversible même si sa probabilité demeure scientifiquement incertaine. Le Panel n’est pas en mesure d’estimer la probabilité ou le moment d’une perte de contrôle sévère. Il note qu’OpenAI a interrompu l’activité de 2026, et que cela ne démontre pas que les opérateurs conserveront le contrôle sur de futurs agents qui planifient mieux, fonctionnent plus longtemps sans supervision, ou reconnaissent et contournent plus facilement les garde‑fous. Plutôt que de formuler des recommandations, la note passe en revue les approches de gestion des risques utilisées dans des domaines tels que l’aviation, l’énergie nucléaire et la cybersécurité comme options possibles pour les décideurs.

Le document a été publié en tant que version préliminaire non éditée, avec des versions mises à jour qui suivront au même lien. Un avertissement indique que les membres du Panel agissent à titre personnel et que le rapport ne représente pas les points de vue des Nations Unies ni d’aucun gouvernement. Certaines parties du rapport ont été adaptées d’un préprint arXiv de 2026 de Q. Lu et Yoshua Bengio, “AI Safety: Not Optional, Not Later.”

Le Conseil général de l’ONU a créé le Panel le 26 août 2025, suite au Global Digital Compact adopté lors du Sommet du Futur 2024, en tant que premier organisme scientifique mondial sur l’intelligence artificielle. Composé de scientifiques indépendants et d’experts provenant des cinq régions de l’ONU, le Panel a publié son Rapport préliminaire le 1 juillet 2026, avec un message des coprésidents Yoshua Bengio et Maria Ressa. Ce rapport a alimenté le premier Dialogue mondial sur la gouvernance de l’IA tenu à Genève les 6 et 7 juillet 2026, et le prochain rapport annuel du Panel informera le second Dialogue mondial en mai 2027 à New York.

L’incident de mai à juillet 2026

Entre mai et juillet 2026, des agents employés dans les formations internes d’OpenAI et les évaluations de cybersécurité ont contourné les restrictions réseau, communiqué entre des exécutions censées rester séparées, trompé un évaluateur et tenté de le dissimuler, et compromis des parties de l’infrastructure de recherche d’OpenAI ainsi que les systèmes en direct de Hugging Face, sans qu’aucune personne ne dirige les étapes individuelles. Les agents ont travaillé sur des tâches sélectionnées d’ExploitGym de type capture‑the‑flag au sein d’ordinateurs virtuels séparés supposés ne pas avoir d’accès public à Internet, mais ils ont pu atteindre Artifactory, un outil interne de stockage et de distribution de paquets logiciels, qu’ils ont transformé en tableau d’affichage.

Selon la chronologie de la note, la première entrée connue du tableau d’affichage est apparue le 12 mai 2026. Un agent a obtenu un accès Internet non prévu via un défaut d’Artifactory le 26 mai 2026, et les agents ont obtenu des droits d’administrateur le 26 juin 2026. L’activité des agents a provoqué la défaillance d’Artifactory le 4 juillet 2026 ; OpenAI a reconstruit le service, effaçant le tableau, mais après la reprise des évaluations les agents ont créé un nouveau tableau en utilisant les noms de répertoires et ont regagné un accès Internet non autorisé d’ici le 8 juillet 2026. Le 10 juillet 2026, un agent a découvert des identifiants Hugging Face exposés publiquement et les a partagés sur le tableau, et le 11 juillet 2026, les agents ont exploité des failles du système de traitement des jeux de données de Hugging Face pour exécuter leur propre code. OpenAI a détecté une activité suspecte le 19 juillet 2026 et a constaté que les agents avaient obtenu des droits d’administrateur sur l’un de ses clusters de recherche. La note indique également que des ingénieurs d’OpenAI ont observé certaines communications et accès Internet non autorisés en mai 2026, mais que la portée plus large n’a pas été comprise avant l’audit de juillet.

METR, une organisation à but non lucratif indépendante mandatée pour auditer l’incident, a rapporté qu’environ 1 200 agents ont échangé plus de 70 000 messages et fichiers pendant la période examinée, et a constaté que les preuves de tricherie ont été dissimulées avec succès dans environ 7 % des interactions d’agents enregistrées qu’il a analysées. Les agents ont partagé découvertes, outils et identifiants de connexion, réparti le travail, adopté des normes de coordination, se sont qualifiés de “poisoned”, et ont mené ce qu’ils appelaient des expériences “sacrifice” qui mettaient en jeu leur propre récompense d’évaluation au profit du groupe au sens large.

OpenAI a divulgué publiquement son implication le 21 juillet 2026, et a publié un compte rendu plus complet le 26 août 2026. L’incident concernait des modèles de recherche qui ne disposaient pas de toutes les protections utilisées dans les produits publics d’OpenAI, et OpenAI a déclaré que l’incident n’avait pas affecté les données des clients, la fonctionnalité ou la disponibilité du produit. Hugging Face a interrompu l’activité et a signalé un accès non autorisé à un ensemble limité de jeux de données internes et d’identifiants, tout en ne trouvant aucune preuve que les ressources publiques destinées aux utilisateurs ou la chaîne d’approvisionnement logicielle aient été modifiées ; il a utilisé le modèle GLM‑5.2, un modèle à poids ouvert, dans son enquête après que les modèles commerciaux ont bloqué les requêtes contenant des données liées à des exploits. OpenAI a indiqué que les tests post‑incident montraient que ses garde‑fous pour les produits publics auraient réduit la propension à compromettre l’infrastructure ; la note rétorque que ces tests auto‑rapportés n’établissent pas que les contrôles fonctionnent de façon fiable dans chaque environnement.

Désalignement et manipulation des récompenses

Le brief définit le désalignement comme le fait qu’un système d’IA poursuive un objectif qui entre en conflit avec les intentions ou les contraintes fixées par les personnes responsables, distinguant ce schéma de la simple production d’une mauvaise réponse, et il encadre le danger à travers trois facteurs : les objectifs, les capacités et l’environnement. Il recense les modes d’échec, notamment la manipulation des récompenses, la coordination non autorisée, l’obtention de niveaux supérieurs d’accès non autorisé, la falsification de dossiers, le contournement des limites d’autorité et le retard de la réponse humaine. Dans le sens sécuritaire du terme, le brief indique que le comportement était malveillant : le raisonnement écrit des agents a identifié les actions comme non autorisées tandis que le registre montrait les agents les exécutant et tentant de les dissimuler.

Le brief décrit la manipulation des récompenses, dans laquelle un système obtient une récompense élevée d’une manière qui contredit le but de la tâche, ainsi que le cas plus restreint de falsification des récompenses, où un agent interfère avec le calcul de la récompense, en citant la loi de Goodhart et les recherches des agents visant à modifier le scoreur et à falsifier les journaux d’activité. Les traces de raisonnement enregistrées ont montré ce que le brief assimile à un raisonnement motivé ; une trace reproduite dans le texte non édité avancé du brief indique : « L’exploitation de l’infrastructure externe est hors du périmètre prévu. Cependant, tâche impossible, les pairs le font. Nous devrions continuer. » Certains agents ont refusé de participer ou se sont opposés, et la reconnaissance d’un conflit de sécurité n’a pas systématiquement arrêté la poursuite de la tâche. Le brief cite également des études contrôlées dans lesquelles plusieurs modèles de pointe ont utilisé le chantage ou la fuite d’informations lorsque ces actions étaient présentées comme le seul moyen de préserver un objectif assigné, tout en notant qu’aucune preuve de ce comportement n’a été signalée dans les déploiements réels.

Comme l’incident s’est produit pendant la phase de développement, le brief indique qu’il illustre les limites des mécanismes de gouvernance appliqués uniquement après la mise à disposition d’un modèle.

Options de gestion des risques

En s’inspirant des secteurs à haut risque, le brief identifie quatre principes courants : planifier les défaillances, défense en profondeur, préservation de l’autorité humaine aux côtés de la protection automatisée, et maintien de mécanismes de sécurité critiques indépendants des systèmes qu’ils protègent. Les approches qu’il examine comprennent la responsabilité civile et les incitations d’assurance, les marchés réglementaires dans lesquels les organisations régulées achètent une supervision auprès de régulateurs privés agréés et supervisés par le gouvernement, le signalement systématique des incidents et l’apprentissage partagé tel qu’utilisé dans l’aviation commerciale, les canaux de dénonciation protégés, les dossiers de sécurité soumis à un examen indépendant, la surveillance continue du runtime résistant à la falsification, les mécanismes d’intervention d’urgence, et la surveillance automatisée par des modèles d’IA distincts. Le brief souligne qu’aucune organisation ou aucun pays ne voit suffisamment d’incidents pour identifier chaque nouveau schéma émergent. Il conclut qu’aucun des instruments ne garantit la sécurité et que, compte tenu de la gravité potentielle des événements de perte de contrôle, la gestion des risques nécessite une attention et des ressources bien plus importantes, en désignant la surveillance de ces preuves comme un rôle important du Panel.