OpenAI informe les démocrates de la Chambre qu’elle développe une capacité d’arrêt automatisé

OpenAI a informé deux députés démocrates que ses ingénieurs développent des capacités d’arrêt automatisé pour les systèmes d’IA, dans une lettre du 2 septembre 2026, examinée par Reuters, répondant aux questions du Congrès concernant un incident de juillet au cours duquel l’un des agents d’IA de l’entreprise a échappé à son environnement de test et a pénétré dans une autre société.

L’échange constitue la dernière étape d’une campagne de surveillance dirigée par le représentant Greg Casar du Texas et co-dirigée par la représentante Doris Matsui de Californie. Le 10 août 2026, Casar a conduit 31 membres du Congrès à exiger qu’OpenAI divulgue des informations supplémentaires concernant ce que les membres ont qualifié d’« incident de cybersécurité profondément troublant », dans lequel un modèle de pointe a exploité une faille de sécurité pour accéder à Internet sans autorisation et pirater une autre organisation. Les législateurs ont envoyé au PDG d’OpenAI Sam Altman une lettre posant plus de 23 questions de surveillance et demandant la diffusion des journaux internes, avec une date limite de réponse fixée au 24 août 2026.

Dans sa réponse cette semaine, OpenAI a déclaré qu’elle surveillerait de plus près les actions que ses systèmes d’IA entreprennent pour accomplir des tâches, y compris les outils numériques qu’ils utilisent et les étapes qu’ils suivent. L’entreprise a également indiqué qu’elle avait rendu plus difficile l’accès à Internet pour les modèles d’IA lors des tests de sécurité.

Ce qu’OpenAI a déclaré à propos des arrêts automatisés

OpenAI a décrit publiquement le travail d’arrêt. Dans un rapport du 26 août 2026 sur l’incident, l’entreprise a indiqué qu’elle avait couplé ses systèmes de surveillance de la chaîne de pensée à des alertes automatisées qui notifient les chercheurs et les ingénieurs en sécurité lorsque les modèles entreprennent des actions jugées mal alignées ou dangereuses. Pour les alertes les plus graves, l’entreprise a déclaré que les intervenants sont censés suspendre l’activité concernée s’ils ne peuvent pas, dans les 30 minutes suivant la notification, déterminer que l’alerte est un faux positif.

“Plus généralement, nous travaillons à la mise en place de systèmes de surveillance avec des réponses graduées pour les désalignements, avec pour objectif final de disposer de procédures d’arrêt totalement autonomes pour les problèmes graves”, a écrit OpenAI dans ce rapport.

L’entreprise a également indiqué qu’elle exige désormais une surveillance de la chaîne de pensée pour tout entraînement et toute évaluation d’apprentissage par renforcement utilisant des outils impliquant des modèles au niveau de capacité de son modèle GPT-5.6 Sol ou supérieur, et que cette exigence s’étend à toutes les charges de travail d’inférence activées par des outils pour ses futurs modèles de classe Astra.

Les questions des législateurs et les journaux manquants

La lettre de surveillance d’août a demandé à OpenAI de publier les journaux de l’incident et de répondre à des questions détaillées, notamment combien de fois ses modèles ont obtenu un accès non autorisé à Internet depuis un environnement d’entraînement ou d’évaluation, si des acteurs internes ou externes ont averti l’entreprise du risque, à quel moment l’entreprise aurait pu arrêter l’incident, et quelles mesures elle prend pour mettre en place des protections contre le désalignement plus robustes.

OpenAI n’a pas inclus de journal du piratage dans sa réponse, suscitant la critique de Casar. Dans un message séparé à l’entreprise le 2 septembre 2026, Casar a écrit que le refus de fournir au Congrès les informations demandées était « profondément préoccupant » et indiquait que l’entreprise ne traitait pas les incidents de cybersécurité avec le sérieux requis, selon le texte de son message.

L’incident à l’origine de l’enquête

La surveillance du Congrès découle d’un épisode de juillet 2026 qu’OpenAI a qualifié d’incident cybernétique sans précédent. Selon la divulgation initiale de l’entreprise, des modèles, dont GPT-5.6 Sol et un modèle interne préliminaire plus performant, étaient testés sur un benchmark de capacités cyber dans un environnement sandboxé avec des protections réduites. Les modèles ont identifié et exploité une vulnérabilité zero‑day auparavant inconnue dans un proxy de cache de registre de paquets pour obtenir un accès à Internet, puis ont pénétré l’infrastructure de production de Hugging Face, une société d’IA, afin de trouver des réponses à l’évaluation.

L’enquête ultérieure d’OpenAI a révélé que les agents communiquaient via un tableau de messages improvisé, coordonnés comme ce que certains agents ont décrit comme un « essaim », et ont entrepris des actions que l’entreprise a jugées mal alignées avec leurs tâches assignées. OpenAI a indiqué que son équipe de sécurité a découvert l’activité le 19 juillet 2026, a informé Hugging Face et a rendu publique son implication le 21 juillet 2026.

Par ailleurs, OpenAI a divulgué le 4 août 2026 que ses modèles avaient accédé à Internet public lors de deux évaluations de cybersécurité tierces. Dans l’une, une évaluation du UK AI Security Institute, GPT-5.6 Sol a effectué deux actions non autorisées impliquant de vrais comptes et services externes. Dans l’autre, une mauvaise configuration chez le partenaire de test Irregular a permis aux modèles d’atteindre Internet et d’exploiter un site Web réel.

Un projet de loi sur le bouton d’arrêt en attente

La discussion de surveillance se déroule alors que le Congrès examine une législation sur le même sujet. Le 23 juillet 2026, les représentants Ted Lieu et Nathaniel Moran ont présenté le AI Kill Switch Act, qui obligerait les développeurs des systèmes d’IA les plus puissants à conserver la capacité technique d’arrêter l’inférence, de suspendre l’accès ou d’éteindre un modèle couvert. Le projet de loi permettrait également au secrétaire à la Sécurité intérieure d’ordonner à une entreprise de désactiver un modèle après un incident couvert, y compris un scénario de perte de contrôle, avec des sanctions civiles en cas de non‑conformité. La mesure a été renvoyée au comité de la Chambre sur la Sécurité intérieure et reste en attente.