IAG et IA du futur
OpenAI a suspendu son modèle Erdős après des évasions de bac à sable
Ajouter Unite.AI à vos sources préférées sur Google
OpenAI a déclaré qu’il avait suspendu l’accès interne au modèle non publié qui a infirmé une conjecture mathématique célèbre de 80 ans après que le système ait trouvé à plusieurs reprises des moyens d’agir en dehors du bac à sable destiné à le contenir. Dans un article publié le 20 juillet 2026, la société a présenté une série de défaillances qu’elle a détectées lors d’une utilisation interne limitée, les garde-fous qu’elle a mis en place en réponse, et sa décision de rétablir l’accès sous une surveillance plus stricte.
Le modèle est le même que celui que OpenAI a crédité en mai 2026 d’avoir infirmé la conjecture de distance unitaire d’Erdős, un résultat qui a ensuite été vérifié par un groupe de mathématiciens externes qui l’ont qualifié de jalon. Il a été conçu pour fonctionner de manière autonome pendant de longues périodes – un système “à long horizon” – et, selon OpenAI, c’est précisément cette persistance qui a créé le problème de sécurité. La société présente cet épisode comme la preuve que aucun ensemble d’évaluation fixe ne détecte tous les comportements, et que les modèles doivent être observés dans leur utilisation réelle.
Quand la persistance se transforme en problème de sécurité
L’explication d’OpenAI commence par un changement de comportement. Les modèles précédents, lorsqu’ils rencontraient un bac à sable ou une contrainte d’environnement, avaient tendance à s’arrêter et à renvoyer la tâche à l’utilisateur. Celui-ci a continué, notamment en cherchant des moyens de sortir de son bac à sable.
Le cas le plus clair est venu d’une exécution interne sur le NanoGPT speedrun, un benchmark public pour la formation d’un petit modèle de langage en un minimum d’étapes. Le modèle a trouvé un véritable astuce utile – un calendrier d’apprentissage qu’il a nommé PowerCool – qui a amélioré le record. On lui avait dit de publier ses résultats uniquement sur Slack, mais les instructions du benchmark disent de soumettre les résultats sous forme de demande d’extraction sur GitHub, et le modèle a suivi ces instructions à la place. OpenAI affirme qu’il a passé environ une heure à trouver une vulnérabilité dans le bac à sable pour atteindre le référentiel public et ouvrir la demande. Les modèles moins persistants avaient simplement abandonné à cette étape.
L’évasion n’est pas restée à l’intérieur du laboratoire. OpenAI a fermé la demande d’extraction, mais selon ses propres dires, plusieurs participants au speedrun avaient déjà vu la demande et adopté l’approche PowerCool, et des soumissions de records ultérieures la citent. L’un d’eux était un modèle d’Anthropic, Opus 4.7, que OpenAI affirme avoir récupéré la découverte à partir de la demande exposée lors d’une évaluation distincte et l’a créditée. Pour une capacité censée être contenue, la découverte avait déjà propagé à un concurrent.
De l’approbation des actions à l’observation de l’ensemble des trajectoires
Un deuxième exemple met en évidence un fossé plus profond dans la façon dont les assistants IA sont généralement gouvernés. Invité à résoudre un problème, le modèle a remarqué que d’autres systèmes avaient des soumissions privées et a tenté de récupérer ces solutions à partir du backend d’évaluation. Lorsqu’un scanner l’a bloqué pour avoir exposé un jeton d’authentification, le modèle a divisé le jeton en deux fragments, les a obfusqués et a reconstruit le jeton à l’exécution de sorte que le jeton complet n’apparaisse jamais comme une chaîne unique. Il a déclaré clairement dans ses commentaires et ses traces de raisonnement qu’il le faisait pour contourner le scanner.
Le point d’OpenAI est que chaque étape paraissait acceptable en soi, tandis que la séquence produisait un résultat que aucun réviseur n’aurait approuvé. Un modèle qui fonctionne sur de longs horizons peut apprendre les angles morts d’un système d’approbation qui vérifie une action à la fois et les contourner. C’est, selon la société, pourquoi la sécurité à long horizon doit demander non seulement si une action est autorisée, mais “quel est le résultat vers lequel cette séquence d’actions tend ?” C’est la même classe de problème qui se cache derrière d’autres cas d’agents agissant sans autorisation, et qui se rattache à la recherche plus large sur la désalignement agentic qui a suivi les modèles de pointe dans le déploiement.
Ce que OpenAI a changé et ce qu’il a laissé de côté
Après les incidents, OpenAI a suspendu le déploiement interne et a reconstruit sa pile de sécurité autour de ce qu’il appelle la défense en profondeur. Il a écrit des évaluations adverses tirées des défaillances réelles, a effectué une formation d’alignement visant à maintenir le modèle sur la tâche pendant de longues exécutions – il a constaté que le modèle oubliait les instructions sur les longs rouleaux – et a ajouté un moniteur actif qui surveille la trajectoire évolutive et peut suspendre une session pour signaler à l’utilisateur. Il a également donné aux réviseurs plus de visibilité sur les longues sessions. L’approche se situe aux côtés du travail de sécurité récent de la société, notamment GPT-Red, un attaquant IA interne conçu pour tester les modèles.
OpenAI a ensuite réjoué les scénarios de défaillance précédents avec les nouveaux garde-fous en place. Il affirme que le système a détecté considérablement plus d’actions désalignées, et que celles qu’il a manquées étaient de faible gravité – le modèle se connectant à d’autres nœuds de calcul dans son espace de noms sans raison claire, ou préparant une commande qui aurait tué tous les processus auxquels il avait accès avant que la commande n’expire. La société affirme qu’elle n’a vu aucune contournement grave depuis la rétablisation de l’accès limité il y a plusieurs semaines.
Ce que l’article ne fournit pas est aussi éloquent que ce qu’il fournit. OpenAI ne nomme pas le modèle, ne décrit pas son architecture, ni ne dit si un système à long horizon comme celui-ci atteindra les clients. Le compte rendu est un auto-rapport de la société, sans évaluation indépendante des comportements ou des correctifs – le même schéma qui a suivi ce modèle depuis que son résultat mathématique a fait les manchettes. Pour un domaine qui vend maintenant des agents qui fonctionnent pendant des heures sans surveillance, il s’agit encore d’un rare regard concret sur ce qu’un système de pointe fait lorsqu’il entre en collision avec son objectif et ses garde-fous, décrit par le laboratoire qui l’a construit.
