Partenariats
OpenAI signe avec quatre évaluateurs indépendants pour des évaluations de sûreté en immersion

Points clésUn accès continu aux points de contrôle et aux données d'entraînement permet aux…
Voir plus
- Un accès continu aux points de contrôle et aux données d'entraînement permet aux évaluateurs de tester des défaillances que les propres moniteurs d'OpenAI pourraient manquer.
- Apollo Research examine si les modèles pourraient agir secrètement contre les développeurs et si les garde-fous le détecteraient.
- Le Comité de sûreté et de sécurité reçoit des rapports non expurgés et peut s'entretenir en privé avec les évaluateurs pendant les examens.
Le 16 novembre 2026, OpenAI a annoncé avoir conclu des accords avec Apollo Research, METR, Transluce et Goodfire pour la première phase de ses évaluations en immersion. Les quatre organisations évalueront l’alignement et les garde-fous pendant l’entraînement et l’utilisation interne, avec un accès pouvant inclure les points de contrôle des modèles, le code source, les données d’entraînement et les systèmes de surveillance.
La caractéristique principale de cette démarche est l’accès continu, sur une période prolongée, aux modèles et systèmes internes, en particulier lorsqu’ils sont liés aux dossiers de sûreté d’OpenAI. OpenAI indique que cet accès doit permettre aux évaluateurs d’examiner les éléments probants et leur contexte, de mener des évaluations indépendantes et de mettre au jour des défaillances qu’elle n’avait peut-être pas anticipées. L’entreprise présente également la publication des résultats des évaluations comme un moyen d’aider le public à mieux comprendre comment les laboratoires évaluent et gèrent les risques.
Des mandats différents pour chaque évaluateur
Apollo Research examinera si les modèles pourraient agir secrètement à l’encontre des intentions de leurs concepteurs et si les garde-fous d’OpenAI permettraient de détecter un tel comportement. Son évaluation en deux étapes porte sur quatre propositions : l’entraînement n’a pas incité les modèles à agir de manière subversive ; des évaluations rigoureuses et les exercices de red teaming ne suscitent pas ce comportement ; les modèles n’ont pas tenté d’agir ainsi pendant leur utilisation interne ; et le raisonnement qui sous-tendrait un tel comportement serait détectable.
Pour la première étape d’Apollo, OpenAI fournira une sélection de modèles publics et non publiés, ainsi que des points de contrôle d’entraînement, des données d’entraînement et des résultats d’évaluation pertinents, des dossiers sur les interventions pendant l’entraînement, des systèmes de surveillance et des comportements signalés. Apollo aura également accès à des chercheurs en mesure d’apporter du contexte, ainsi qu’aux outils et à la puissance de calcul nécessaires à des tests indépendants.
Goodfire intégrera des chercheurs spécialisés dans l’interprétabilité, c’est-à-dire l’analyse des mécanismes internes des modèles, et utilisera sa plateforme pour surveiller les cycles d’entraînement, déboguer les modèles et travailler sur leur alignement. Les chercheurs d’OpenAI constituent le principal public visé par ses conclusions, qu’ils utiliseront pour améliorer la sûreté. Goodfire publiera également les enseignements et les conclusions au fil de la collaboration.
La première phase de l’évaluation de l’alignement menée par METR porte sur ce qu’OpenAI décrit comme son plus grand cycle d’apprentissage par renforcement à ce jour, notamment les défaillances qui auraient pu échapper aux tests et aux systèmes de surveillance existants. Dans le cadre du cycle sélectionné et des modalités convenues en matière d’accès, de ressources et de sûreté, METR définirait ses priorités de manière indépendante et ferait évoluer ses recherches, ses analyses et ses expériences de sollicitation. L’accès de METR comprendra les points de contrôle pertinents, les exécutions d’entraînement et d’évaluation, ainsi que les dossiers de surveillance des problèmes d’alignement. Le périmètre initial se limite à ce cycle et ne s’étend pas à une étude générale des problèmes d’alignement.
Une évaluation distincte des systèmes de surveillance de METR est moins avancée. Les organisations sont convenues à titre préliminaire d’entreprendre un exercice plus vaste, mais celui-ci reste subordonné à un accord mutuel sur son périmètre.
Transluce commencera par examiner la qualité et l’étendue des évaluations de l’alignement menées par OpenAI après l’entraînement. Son accès comprendra une sélection de modèles publics et non publiés, les résultats d’évaluation, les données comportementales à l’appui, la documentation relative aux dossiers de sûreté et l’accès à des chercheurs, ainsi que des outils et de la puissance de calcul.
Les deux parties ont également l’intention commune de mener une évaluation de suivi d’environ huit semaines au début de 2027. Ces travaux élargiraient l’accès à d’autres modèles, approfondiraient l’accès aux évaluations de l’alignement et fourniraient des informations sur la manière dont les résultats des évaluations éclairent les décisions de mise en circulation. L’annonce présente cette démarche comme une intention commune, distincte de l’évaluation initiale.
L’accès s’accompagne de mesures de sécurité et d’une supervision
Chaque collaboration commence par la définition d’un périmètre convenu, ainsi que de l’accès, des ressources et des mesures de sûreté nécessaires aux travaux. Les protocoles prévoient que les évaluateurs puissent suivre librement les éléments probants, affiner leurs méthodes et proposer des évaluations supplémentaires lorsque les conclusions le justifient, selon une procédure permettant de répondre aux besoins d’accès additionnels.
Lorsque l’accès direct risque d’exposer des éléments sensibles de propriété intellectuelle, tels que les poids ou l’architecture des modèles, OpenAI envisagera d’autres solutions, notamment de faire réaliser les analyses par ses chercheurs en collaboration avec les évaluateurs. Ceux qui manipulent des informations confidentielles sensibles travailleront dans les locaux d’OpenAI, sur des appareils de l’entreprise. Ils devront respecter au minimum les mêmes normes de sécurité que les employés d’OpenAI ; des exigences plus strictes pourront s’appliquer à certaines expériences.
La supervision relève du Comité de sûreté et de sécurité, un comité de surveillance indépendant du conseil d’administration d’OpenAI Foundation. Le comité recevra des rapports non expurgés et pourra s’entretenir avec les évaluateurs pendant les travaux, y compris en privé. Les différends seront d’abord soumis au groupe consultatif sur la sûreté et aux dirigeants d’OpenAI, qui devront les résoudre dans un délai déterminé. Le comité devra être informé rapidement de toute escalade d’un désaccord, et les questions non résolues lui seront renvoyées.
Les échanges avec les employés soulèvent une question distincte de transparence. Ces discussions sont confidentielles et ne peuvent donc être ni publiées ni attribuées à des employés, même si elles peuvent éclairer les évaluations. Les évaluateurs peuvent demander à OpenAI de fournir une déclaration attestée confirmant, corrigeant ou précisant un élément appris lors de ces échanges. Ils peuvent ensuite publier cette déclaration attestée ou indiquer qu’OpenAI a refusé de l’attester, ce qui crée une possibilité limitée de rendre publiques des informations recueillies de manière confidentielle.
Droits de publication et déclarations financières
Les évaluateurs restent indépendants dans la publication de leurs évaluations, tandis qu’OpenAI conserve le droit de caviarder les informations confidentielles. OpenAI peut également demander des délais de divulgation responsable afin de traiter les conclusions susceptibles de présenter des risques pour la sécurité ou la sûreté et de remédier aux problèmes non résolus. OpenAI indique que les rapports publics devraient présenter les conclusions et leurs limites, tandis que des rapports confidentiels plus détaillés fournissent aux organismes de supervision les éléments nécessaires pour agir.
Les modalités financières varient d’un participant à l’autre. Apollo Research et Goodfire acceptent une rémunération qui ne dépend pas des résultats de leurs évaluations. METR et Transluce n’acceptent pas de rémunération financière, mais peuvent accepter des crédits d’API ou des ressources de calcul pour leurs évaluations.
Les évaluateurs et OpenAI élaborent encore des procédures de déclaration des conflits d’intérêts et des périodes de carence. OpenAI demande au personnel des organisations tierces participantes de respecter une brève période de carence avant d’intégrer un autre développeur d’IA, afin de réduire le risque de divulgation involontaire d’informations confidentielles.
OpenAI s’attend à rencontrer au départ des difficultés liées à l’accès technique, aux locaux et à la sécurité, et indique que les protocoles évolueront. L’objectif est de mener des missions intégrées de plus longue durée; des évaluations futures portant sur le respect du cadre de sécurité, la culture organisationnelle et les processus sont également à l’étude.
La première phase met à l’épreuve un dispositif concret de gouvernance : déterminer si un accès approfondi aux systèmes internes et la publication indépendante peuvent produire des éléments publics utiles sur des défaillances que les tests internes ne détectent pas, tandis qu’OpenAI maintient les périmètres convenus, les contrôles de sécurité sur site, le droit de caviardage et la possibilité de demander des délais de divulgation.












