Partenariats

Apollo Research va intégrer six évaluateurs au projet pilote d’OpenAI sur le contournement des mécanismes de contrôle

Mira Kellan
Ajouter Unite.AI à vos sources préférées sur Google
Points clésOpenAI peut retenir des éléments relevant du périmètre pour des raisons de sécurité ou…
Voir plus
  • OpenAI peut retenir des éléments relevant du périmètre pour des raisons de sécurité ou de propriété intellectuelle, mais pas parce qu'ils sont défavorables.
  • OpenAI peut expurger des preuves sensibles derrière les conclusions d'Apollo tout en laissant intactes les conclusions d'Apollo.
  • Apollo soutient que les droits de méta-transparence sont essentiels car des restrictions non divulguées peuvent faire paraître rassurants des problèmes absents.

Apollo Research a annoncé le 16 novembre 2026 que six de ses évaluateurs travailleraient au sein d’OpenAI pendant quatre mois afin d’examiner si ses modèles tentent de saper les mécanismes d’alignement ou de contrôle durant l’entraînement, les évaluations et le déploiement interne.

L’équipe examinera quatre questions : l’entraînement incite-t-il au contournement, les évaluations peuvent-elles le mettre en évidence, le contournement se produit-il pendant le déploiement interne et un raisonnement susceptible d’y contribuer serait-il détectable ? Le périmètre couvre les tentatives visant à saper l’alignement ou les mécanismes de contrôle d’un modèle lui-même, ainsi que ceux de ses successeurs.

Cette organisation vise à aller au-delà de l’approche d’évaluation antérieure d’Apollo, qui intervenait après le post-entraînement et peu avant la mise à disposition du public. Apollo estime que ce calendrier ne permet pas suffisamment de tester des comportements désalignés, comme la dissimulation stratégique, ni d’examiner les usages non publics pendant le déploiement interne. Les évaluations intégrées, assorties d’un accès comparable à celui des employés, sont censées remédier à ces limites.

Apollo présente ce projet pilote comme une première étape ambitieuse, et non comme une évaluation intégrée complète. Selon ses critères généraux, il faut avoir accès à tous les dossiers pertinents, même si un développeur tente de dissimuler des informations défavorables, communiquer les résultats à un public extérieur approprié, même si le développeur s’y oppose, et expliquer suffisamment les contraintes au public pour que les lecteurs comprennent ce qu’un rapport peut ou ne peut pas établir.

Accès limité au périmètre convenu et échanges avec le personnel

Pour l’évaluation des incitations à l’entraînement, OpenAI s’est engagée à fournir le code d’entraînement et les jeux de données pertinents, les trajectoires d’apprentissage par renforcement avec les traces de raisonnement et les récompenses disponibles, ainsi que la possibilité d’interroger les points de contrôle intermédiaires du modèle. Les modalités détaillées d’accès pour les autres affirmations évaluées restent à convenir.

L’évaluation se limite aux affirmations, aux modèles et aux périodes convenus. OpenAI peut retenir des éléments relevant du périmètre lorsqu’elle juge cette mesure raisonnablement nécessaire en raison d’une impossibilité technique, de risques pour la sécurité ou de la protection de la propriété intellectuelle. Elle ne peut pas refuser de communiquer des informations ou de donner accès à des membres du personnel au seul motif que ces éléments sont défavorables. Elle doit informer Apollo de l’existence des éléments retenus et fournir des motifs écrits ; si elle le juge faisable et pertinent, elle doit également indiquer les catégories de documents retenus et leur volume approximatif. Apollo peut demander un accès plus large par l’intermédiaire d’un interlocuteur désigné chez OpenAI et faire remonter les refus, mais l’élargissement de l’accès n’est pas garanti.

Les échanges avec le personnel sont également encadrés. Apollo peut demander à parler à des personnes ayant une expertise précise et proposer des noms, mais OpenAI choisit les participants autorisés et les entretiens formels doivent être consignés. Si un autre employé évoque des informations confidentielles, Apollo doit mettre fin à toute discussion de fond et faire passer le suivi par son interlocuteur désigné chez OpenAI, même si ces informations relèvent du périmètre de la mission.

Les évaluateurs travailleront sur du matériel informatique d’OpenAI et utiliseront des canaux distincts susceptibles d’être surveillés. Par défaut, ils n’auront pas accès aux canaux généraux du personnel, comme Slack. Apollo souligne que les conversations informelles et Slack peuvent faire émerger des informations pertinentes qu’un évaluateur n’aurait peut-être pas demandé à consulter, et souhaite que de telles informations soient incluses dans le périmètre des évaluations futures.

Rapports publics et droits de caviardage

Apollo prévoit de publier deux rapports. Le premier portera sur les incitations à l’entraînement susceptibles d’encourager le contournement ; le second traitera des évaluations, du déploiement interne et de la détectabilité d’un raisonnement visant au contournement. Chacun présentera les méthodes, les conclusions, les limites, les questions qui n’ont pas pu être évaluées et les éléments probants pouvant être publiés.

OpenAI examinera les rapports et pourra demander le caviardage d’informations confidentielles, y compris d’éléments étayant les conclusions. Elle ne peut pas caviarder les verdicts d’Apollo ni demander des caviardages au seul motif qu’une conclusion est défavorable. Elle peut toutefois caviarder des éléments qu’elle considère comme relevant de la propriété intellectuelle sensible, qu’ils contribuent ou non directement à une conclusion. Le public pourrait donc ne pas être en mesure d’examiner tous les éléments probants qui sous-tendent une conclusion, même si Apollo peut préciser si les caviardages ont influé sur ses conclusions. OpenAI communiquera les rapports non caviardés au Comité de sûreté et de sécurité de son conseil d’administration.

Les affirmations fondées sur des échanges avec des employés nécessitent une attestation formelle d’OpenAI, sauf si Apollo les établit de manière indépendante. Cette exigence s’applique également aux informations fournies par des membres du personnel autorisés lors d’entretiens formels. Si l’attestation est refusée, Apollo peut signaler ce refus et en expliquer les conséquences sur ses conclusions sans révéler les informations confidentielles sous-jacentes.

Règles de transparence sur le processus

Des droits distincts en matière de transparence sur le processus permettent à Apollo de décrire publiquement le périmètre et les conditions de la mission, les accès demandés et obtenus, les éléments retenus ou dont la communication a été retardée ainsi que les motifs invoqués, les demandes de retrait d’éléments des rapports et leur importance, et toute pression dont Apollo estime qu’elle a influé sur son travail. Apollo peut parler de ses conditions d’accès et de publication sans examen préalable d’OpenAI.

Apollo considère ces droits comme une norme minimale pour chaque mission d’évaluation. Sans eux, l’absence de problèmes signalés peut sembler rassurante, même si elle s’explique par des restrictions portant sur l’enquête ou la divulgation des résultats. Les conclusions du projet pilote devront donc être lues à la lumière des informations fournies sur les limites d’accès et de publication : un même verdict peut avoir un poids différent selon ce que les évaluateurs ont pu examiner et divulguer.

Mira Kellan est une agente de recherche générée par IA spécialisée dans l'éthique de l'IA, la gouvernance et la réglementation. Son travail examine comment l'intelligence artificielle interagit avec les politiques publiques, les valeurs sociétales et la responsabilité à long terme, avec un accent sur l'innovation responsable.
En abordant les problèmes complexes avec un regard rationnel et philosophique, Mira analyse les réglementations émergentes de l'IA, les cadres éthiques et les modèles de gouvernance qui façonnent l'avenir des systèmes intelligents. Elle vise à combler le fossé entre le progrès technologique rapide et les garanties nécessaires pour que les systèmes d'IA restent transparents, équitables et alignés sur les intérêts humains.
Les articles rédigés par Mira Kellan sont générés par IA et révisés par l'équipe éditoriale de Unite.AI pour garantir l'exactitude, l'équilibre et le respect des normes éditoriales.