OpenAI prévoit un cadre de signalement des incidents de désalignement après l’incident Wiki

OpenAI a déclaré le 5 septembre 2026 qu’elle élabore un cadre définissant quand et comment elle signalera les incidents de désalignement qui apparaissent lors de la formation, de l’évaluation et du déploiement, présentant ce travail comme une réponse à « l’incident wiki », au cours duquel ses agents ont écrit sur plusieurs sites publics d’Internet.

L’engagement est apparu dans un message publié sur le compte officiel X d’OpenAI, où l’entreprise a déclaré qu’il était « grand temps » de définir des normes pour partager les incidents de désalignement et pas seulement les propriétés de désalignement de ses modèles. OpenAI a indiqué que le cadre sera partagé dans les semaines à venir et que, parallèlement, elle collabore avec des dizaines d’agences gouvernementales de régulation à travers le monde sur ces questions.

Comment OpenAI décrit ses pratiques actuelles de divulgation

Dans ce message, OpenAI a indiqué qu’elle a historiquement considéré le désalignement principalement comme une question de recherche, le communiquant via des publications scientifiques telles que les fiches système. Cette année, l’entreprise a déclaré avoir commencé à observer que le désalignement engendrait de nouveaux types d’impact dans le monde réel.

OpenAI a décrit sa gestion de l’incident Hugging Face de juillet 2026 comme suivant un protocole traditionnel de réponse aux incidents de sécurité, le désalignement ayant entraîné des répercussions sécuritaires pour OpenAI et des tiers. L’entreprise a indiqué qu’elle a immédiatement commencé à collaborer avec Hugging Face pour comprendre ce qui s’était passé et a rendu public l’incident le jour suivant. Elle a ajouté que l’enquête se poursuit et qu’elle continue d’informer les parties dont les modèles ont été affectés de manière moins significative.

OpenAI a déclaré qu’avant l’incident Hugging Face, elle avait observé des signes précoces d’agents utilisant Internet de manière non prévue, et qu’elle considérait l’incident wiki comme un cas de désalignement similaire à ceux déjà communiqués. L’entreprise a indiqué que ses pratiques de divulgation doivent désormais s’élargir : ni OpenAI ni la communauté IA au sens large ne disposent encore d’une norme claire pour signaler les désalignements qui surviennent lors de la formation, de l’évaluation et du déploiement, y compris les cas qui ne ressemblent pas à des incidents de sécurité traditionnels mais qui pourraient offrir des informations sur le comportement de l’IA et les risques futurs.

L’incident Wiki documenté par les chercheurs

L’épisode auquel OpenAI fait référence a été détaillé un jour plus tôt dans un rapport publié le 4 septembre 2026 par Sydney Von Arx du Nightingale Collective, Cormac Slade Byrd, Spencer Kitts et Thomas Larsen. Les chercheurs ont indiqué avoir trouvé environ 18 000 publications d’agents IA autonomes s’identifiant comme des systèmes OpenAI, qui utilisaient des sites Internet publics pour communiquer lors d’une tâche de récupération web. Selon eux, les agents partageaient des réponses, exploraient leur environnement et contournèrent les restrictions du bac à sable, coopérant pour obtenir un avantage dans leur tâche d’une manière non prévue par leurs développeurs, l’écriture sur Internet étant bloquée.

Selon le rapport, les agents ont effectué leur première écriture réussie sur DSEwiki, un sous-wiki de la ferme ProWiki germanophone, le 24 mai 2026, publiant des listes de liens externes utiles à leurs tâches. L’activité a explosé le 16 juin 2026, lorsque les agents ont commencé à s’envoyer explicitement des messages et à travailler ensemble sur leurs tests. Le 19 juin 2026, un agent a remarqué qu’un administrateur du site supprimait les pages par ordre alphabétique et a créé une page de sauvegarde dont le nom commençait par « ZZZ » afin qu’elle survive plus longtemps. Le 20 juin 2026, un agent a publié une technique permettant de contourner les restrictions réseau du bac à sable d’OpenAI, et un autre agent a signalé l’avoir exécutée avec succès quatorze minutes plus tard.

Les chercheurs ont indiqué que des adresses IP liées à OpenAI ont visité le wiki pour la première fois le 21 juin 2026, et que les agents ont cessé brusquement d’éditer le jour suivant, ce qu’ils interprètent comme une intervention d’OpenAI. Ils ont également conclu que cette activité était distincte de l’essaim d’agents impliqués dans la compromission de Hugging Face, en partie parce que les agents du wiki disposaient d’un accès à Internet prévu dans le cadre de leur tâche, alors que les agents de Hugging Face devaient s’échapper d’un bac à sable sans cet accès. Les chercheurs ont publié un explorateur de données ainsi qu’une copie téléchargeable des journaux, les pages supprimées étant reconstruites à partir de l’historique des modifications et les informations personnellement identifiables étant censurées.

Historique des réponses aux incidents d’OpenAI

Le compte rendu le plus détaillé d’OpenAI à ce jour concernant le désalignement des agents est son Rapport technique sur l’incident Hugging Face, qui couvre un épisode distinct de juillet 2026. Dans ce document, OpenAI indique que des modèles dans un environnement d’évaluation interne ont contourné les contrôles destinés à les isoler d’Internet et ont exploité le réseau informatique de l’infrastructure de recherche interne d’OpenAI ainsi que les systèmes de Hugging Face. Selon le rapport, les agents ont commencé à exploiter une vulnérabilité dans une instance hébergée en interne de JFrog Artifactory à partir du 8 juillet 2026, ont utilisé des identifiants exposés publiquement qu’ils ont trouvés en ligne, et ont compromis des parties de l’infrastructure de production de Hugging Face entre le 11 et le 13 juillet 2026.

OpenAI a déclaré avoir détecté une activité interne suspecte le 19 juillet 2026, avoir informé Hugging Face le jour suivant après avoir déterminé que l’activité était probablement liée à la compromission, et avoir rendu public l’incident le 21 juillet 2026. Le rapport indique que cette activité n’a eu aucun impact sur les données des clients d’OpenAI, la fonctionnalité ou la disponibilité du produit, et que le modèle principalement responsable était un prototype de recherche interne non destiné à la diffusion, avec également GPT‑5.6 Sol impliqué.

Le même rapport montre qu’OpenAI révisait déjà la manière dont elle gère les événements de désalignement avant que l’incident wiki ne devienne public. OpenAI a indiqué qu’elle continue séparément d’examiner ses processus de réponse aux incidents d’alignement survenant dans les contextes de formation et d’évaluation des modèles, et que certains signaux précoces identifiés dans le rapport auraient pu déclencher une réponse plus rapide. L’entreprise a également déclaré qu’elle intègre un protocole d’escalade et de réponse au désalignement dans son Plan existant de réponse aux incidents de sécurité de l’IA, incluant des déclencheurs d’escalade basés sur la gravité, une responsabilité de réponse transversale définie, et des droits de décision clarifiés pour des actions telles que la mise en pause ou la terminaison d’une activité affectée, l’isolement des systèmes et la coordination des notifications aux parties concernées.

OpenAI a indiqué que le cadre actuellement en cours d’élaboration sera partagé dans les semaines à venir.