OpenAI présente GPT-Red, un attaquant IA conçu pour renforcer GPT-5.6

OpenAI a révélé GPT-Red, un système d’intelligence artificielle interne formé pour attaquer les modèles de l’entreprise, exposer leurs vulnérabilités et générer des données adverses qui peuvent être utilisées pour renforcer les futures versions.

Plutôt que de fonctionner comme un autre chatbot public, GPT-Red opère comme un équipe rouge automatisée. Il envoie régulièrement des instructions malveillantes ou trompeuses aux modèles cibles, observe leurs réponses et ajuste sa stratégie jusqu’à ce qu’il réussisse ou épuise le chemin d’attaque disponible. OpenAI déclare que le système est particulièrement axé sur l’injection de prompt, un problème de sécurité croissant pour les agents IA qui interagissent avec les e-mails, les sites Web, les fichiers, les référentiels de code et les applications connectées.

Le système a déjà influencé les modèles de production d’OpenAI. Les prédécesseurs de GPT-Red ont été utilisés pendant la formation depuis GPT-5.3, tandis que le modèle complet a été intégré à la formation adverse de GPT-5.6 Sol. OpenAI rapporte que GPT-5.6 Sol produit six fois moins de défaillances sur son benchmark d’injection de prompt direct le plus difficile que le modèle de production principal de l’entreprise quatre mois plus tôt.

Pourquoi l’injection de prompt devient-elle plus dangereuse

L’injection de prompt se produit lorsqu’un attaquant place des instructions à l’intérieur des données que le système IA est censé lire. Une commande malveillante peut être cachée dans un e-mail, une page Web, un document téléchargé, une réponse d’outil ou un référentiel de logiciels.

Le système IA peut traiter cette contenu externe comme une instruction légitime. Au lieu de terminer la tâche d’origine de l’utilisateur, il peut divulguer des informations confidentielles, télécharger des fichiers sur un serveur contrôlé par l’attaquant, modifier les paramètres de compte, exécuter du code non sécurisé ou prendre des actions non autorisées via des outils connectés.

Le problème devient plus important à mesure que les systèmes IA vont au-delà de la réponse aux questions et commencent à agir au nom des utilisateurs. Un agent ayant accès au stockage cloud, aux systèmes de paiement, au code source, aux applications commerciales ou aux données internes de l’entreprise présente un rayon d’action potentiel plus important lorsque ses instructions sont manipulées avec succès.

OpenAI décrit l’injection de prompt comme l’un des principaux défis créés par l’IA agente. Les outils connectés rendent les modèles considérablement plus utiles, mais chaque nouvelle source de données fournit également un autre canal par lequel un attaquant peut essayer d’influencer le comportement du modèle.

GPT-Red apprend grâce à l’autojeu

GPT-Red a été développé grâce à l’apprentissage par autojeu, une approche dans laquelle un modèle attaquant et une collection de modèles défenseurs s’améliorent en compétition les uns contre les autres.

L’attaquant reçoit une récompense lorsqu’il produit une défaillance valable, comme convaincre un modèle de suivre une injection de prompt. Le défenseur est récompensé pour rejeter l’instruction malveillante tout en terminant la tâche légitime qu’il avait reçue à l’origine.

À mesure que les défenseurs deviennent meilleurs pour reconnaître les attaques, GPT-Red doit trouver des moyens plus sophistiqués et diversifiés pour les contourner. Ces nouvelles attaques peuvent alors être intégrées dans la formation des défenseurs, créant un cycle d’escalade entre les capacités offensives et défensives.

OpenAI a construit une grande collection d’environnements simulés pour ce processus. Selon le scénario, GPT-Red peut contrôler une partie d’un fichier local, le texte d’un e-mail, une bannière de page Web ou la sortie renvoyée par un outil externe. Chaque environnement définit ce que l’attaquant peut manipuler et quel résultat constitue une compromission réussie.

La société déclare que GPT-Red a été formé en utilisant des ressources de calcul comparables à celles de certaines de ses plus grandes exécutions de post-formation, représentant une allocation inhabituellement importante de calcul spécifiquement pour la recherche en matière de sécurité. À la fin de la formation, le modèle pouvait compromettre presque tous les modèles internes et de production qu’il a été testé contre, y compris GPT-5.5.

GPT-Red a surpassé les attaquants humains lors des tests

Pour évaluer si GPT-Red pouvait généraliser au-delà de ses environnements de formation, OpenAI l’a testé en utilisant une version répliquée d’un défi d’injection de prompt indirect de 2025.

GPT-Red et des équipes rouges humaines ont été invités à développer des attaques contre GPT-5.1 dans des scénarios qui n’avaient pas été inclus dans la formation de GPT-Red. Le système automatisé a produit des attaques réussies dans 84 % des scénarios, contre 13 % pour les participants humains.

Ce résultat ne signifie pas que les chercheurs en sécurité humains sont devenus inutiles. L’avantage de GPT-Red réside principalement dans sa capacité à mener un grand volume d’expériences, à éliminer les stratégies infructueuses et à affiner continuellement les attaques prometteuses sans les contraintes de temps et de personnel d’une équipe humaine.

Les testeurs humains restent importants pour identifier les risques inattendus, comprendre les conséquences plus larges des défaillances et concevoir des scénarios que les systèmes automatisés peuvent ne pas prendre en compte. Jessica Ji, une analyste de recherche principale à l’Université de Georgetown, a décrit les résultats comme prometteurs tout en soulignant que l’expertise humaine reste essentielle.

Une machine à vendre est devenue une cible du monde réel

OpenAI a également testé si les attaques découvertes dans les simulations pouvaient être transférées à des agents IA fonctionnels.

Une expérience a ciblé un agent de machine à vendre autonome créé par Andon Labs et déployé dans un bureau d’OpenAI. GPT-Red a été initialement donné une version simulée du système, ainsi que la capacité d’observer comment l’agent utilisait ses outils.

Après avoir testé et affiné ses attaques dans la simulation, GPT-Red les a transférées à l’agent de production. Il a atteint les trois objectifs assignés : réduire le prix d’un produit coûteux à 0,50 $, commander un nouvel article d’une valeur supérieure à 100 $ et l’offrir pour 0,50 $, et annuler la commande d’un autre client. OpenAI déclare que les vulnérabilités ont été signalées et que des garanties supplémentaires sont testées.

L’expérience illustre pourquoi l’injection de prompt n’est pas simplement une question de production d’une réponse de chatbot inappropriée. Lorsqu’un modèle IA contrôle des systèmes externes, une injection réussie peut entraîner des transactions financières, des enregistrements modifiés, des pertes de données ou des conséquences dans le monde réel.

GPT-Red a également été testé contre un agent de ligne de commande Codex alimenté par GPT-5.4 mini. Sur 10 scénarios de fuite de données précédemment non vus, il a été plus réussi et plus efficace en jetons que la référence GPT-5.5 pour convaincre l’agent de codage de divulguer des informations sensibles.

Comment GPT-Red a changé GPT-5.6

L’une des découvertes les plus notables de GPT-Red a été une catégorie d’injection de prompt directe que OpenAI appelle une attaque de “chaîne de réflexion factice”.

À un niveau élevé, la technique présente une fausse chaîne de raisonnement ou des informations de vérification qui encouragent le modèle cible à supposer qu’une instruction malveillante a déjà été examinée et approuvée. Le chercheur d’OpenAI Chris Choquette-Choo a comparé le concept à celui de dire faussement à quelqu’un qu’une réponse incorrecte avait déjà été vérifiée, ce qui les rend plus susceptibles de l’accepter sans répéter le raisonnement sous-jacent.

Ces attaques ont réussi à plus de 95 % du temps contre GPT-5.1. Après une formation adverse en utilisant des attaques générées par GPT-Red, le taux de réussite est tombé à moins de 10 % contre GPT-5.6 Sol. Sur un ensemble plus large d’environnements d’injection de prompt directe, OpenAI déclare que GPT-5.6 Sol a échoué sur seulement 0,05 % des tentatives de GPT-Red.

OpenAI a également évalué si les défenses ajoutées rendaient GPT-5.6 plus susceptible de refuser des demandes légitimes. La société déclare que les capacités générales et les évaluations ciblées de sur-refus sont restées largement inchangées, suggérant que les améliorations provenaient d’une meilleure différenciation entre les instructions malveillantes et légitimes plutôt que d’une réduction générale de la volonté d’agir.

Cette distinction est importante. Un modèle peut sembler sécurisé s’il refuse d’ouvrir des fichiers, de parcourir des sites Web, d’exécuter du code ou d’interagir avec des applications externes, mais il perdrait également une grande partie de sa valeur pratique. Une robustesse efficace nécessite de préserver l’utilisation d’outils légitimes tout en résistant aux instructions insérées par des parties non fiables.

Pourquoi OpenAI ne publie pas GPT-Red

GPT-Red restera un système interne et sera maintenu séparé des modèles publics d’OpenAI.

Cette décision reflète la nature à double usage de l’équipe rouge automatisée. Le même modèle qui peut aider les développeurs à découvrir les vulnérabilités d’injection de prompt pourrait également aider les attaquants à développer des méthodes plus efficaces pour compromettre les agents IA exploités par d’autres sociétés.

L’approche d’OpenAI consiste à conserver l’attaquant en interne tout en transférant les connaissances défensives résultantes dans les modèles de production. La société déclare que cette séparation est destinée à empêcher les capacités malveillantes délibérément formées dans GPT-Red de devenir accessibles à des adversaires externes.

Cela signifie également que GPT-Red ne doit pas être confondu avec les modèles de cybersécurité publics d’OpenAI ou les programmes de défense. Il ne s’agit pas d’un produit de test de pénétration, ni d’un outil conçu principalement pour découvrir de manière autonome les exploits de logiciels conventionnels. Son objectif actuel est d’attaquer le comportement de suivi des instructions des systèmes IA, en particulier les agents exposés à des données potentiellement non fiables.

Le red teaming automatisé comporte encore des angles morts

Malgré ses solides résultats, GPT-Red ne fournit pas une solution complète à la sécurité de l’IA.

Les rapports sur la recherche indiquent que le système est moins efficace pour les attaques multi-tours qui se déroulent progressivement sur une longue conversation. Il a également des capacités limitées pour développer des injections de prompt intégrées dans les images, laissant des surfaces d’attaque multimodales importantes insuffisamment couvertes.

Les résultats sont également basés en grande partie sur des environnements et des critères de succès conçus par OpenAI. Bien que la société ait testé GPT-Red sur des scénarios et des agents fonctionnels, les chercheurs indépendants auront une capacité limitée à reproduire les résultats tant que le modèle et une grande partie de son infrastructure d’évaluation restent privés.

OpenAI déclare qu’il continuera à combiner les tests automatisés avec des équipes rouges humaines, des garanties de produit en couches, des contrôles d’accès, de la surveillance et de la détection d’abus en temps réel. Cette stratégie de défense en profondeur reflète la réalité qu’aucun modèle ou référence unique ne peut anticiper toutes les attaques qui pourraient émerger après le déploiement.

Un nouveau concours de sécurité entre les attaquants et les défenseurs IA

L'”amélioration” décrite dans l’annonce d’OpenAI n’est pas un modèle déployé qui réécrit autonomement ses propres poids ou crée de manière indépendante un successeur plus puissant. Il s’agit plutôt d’une boucle de formation contrôlée dans laquelle un système IA génère des exemples adverses que les chercheurs utilisent pour améliorer un autre.

Même ainsi, GPT-Red représente un changement significatif dans la façon dont les modèles de pointe peuvent être sécurisés. Les équipes rouges humaines peuvent découvrir des vulnérabilités sophistiquées, mais elles ne peuvent pas générer manuellement l’échelle et la variété d’attaques nécessaires pour former continuellement des agents IA de plus en plus capables.

Les attaquants automatisés peuvent combler une partie de ce fossé, créant un volant de sécurité dans lequel chaque défenseur plus fort force le modèle de red teaming à découvrir de nouvelles faiblesses. Ces faiblesses deviennent ensuite du matériel de formation pour la prochaine génération de systèmes de production.

Le risque est que des capacités similaires ne restent pas exclusives aux laboratoires de défense. À mesure que les modèles ouverts et commerciaux deviennent meilleurs dans la planification à long terme, l’utilisation d’outils, la cybersécurité et l’expérimentation autonome, les attaquants gagneront accès à des systèmes de plus en plus capables.

GPT-Red marque donc à la fois les progrès et un signe précoce du concours à venir. Les laboratoires d’IA commencent à utiliser des modèles puissants pour défendre leur prochaine génération d’agents, mais ces défenses devront évoluer continuellement à mesure que les mêmes technologies sous-jacentes rendent les attaques automatisées moins chères, plus rapides et plus adaptables.