パートナーシップ
OpenAI、安全性の埋め込み型レビューに独立評価機関4団体を起用

要点チェックポイントとトレーニングデータへの継続的なアクセスにより、評価者はOpenAI自身のモニターが見逃す可能性のある失敗をテストできる。
もっと見る
- チェックポイントとトレーニングデータへの継続的なアクセスにより、評価者はOpenAI自身のモニターが見逃す可能性のある失敗をテストできる。
- Apollo Researchは、モデルが開発者に対して秘密裏に行動する可能性があるかどうか、また安全対策がそれを捕捉できるかどうかを調査している。
- 安全・セキュリティ委員会は未編集の報告書を受け取り、レビュー中に評価者と非公開で話すことができる。
OpenAIは2026年11月16日、Apollo Research、METR、Transluce、Goodfireと、埋め込み型評価の第1段階に関する契約を締結したと発表した。4団体は、トレーニング中および社内利用時のアラインメントと安全対策を評価する。アクセス対象には、モデルのチェックポイント、ソースコード、トレーニングデータ、監視システムが含まれる場合がある。
この取り組みの特徴は、長期間にわたり内部のモデルやシステムに継続的にアクセスできる点にある。特に、OpenAIの安全性ケースに関わるモデルやシステムが対象となる。OpenAIによると、こうしたアクセスにより、評価者は証拠や文脈を調べ、独立した評価を実施し、事前に想定できていなかった可能性のある失敗を明らかにできる。また、評価結果を公表することで、研究機関がリスクをどのように評価し、管理しているのかを人々がより明確に把握できるようになるとしている。
評価機関ごとに異なる役割
Apollo Researchは、モデルが開発者の意図に反してひそかに行動する可能性があるか、またOpenAIの安全対策がそうした行動を検知できるかを調べる。2段階の評価では、次の4つの命題を検証する。トレーニングによって意図的な妨害行為が促されていないこと、強力な評価やレッドチーム演習でもその行為が引き出されないこと、社内利用中にモデルがそうした行為を試みていないこと、そして、その行為に至る推論を検知できること。
Apolloの第1段階では、OpenAIが、選定した公開済みモデルと未公開モデル、トレーニングのチェックポイント、関連するトレーニングデータと評価結果、トレーニング介入の記録、監視システム、フラグが立てられた行動を提供する。さらにApolloは、背景情報を提供できる研究者に加え、独立したテストに必要なツールと計算資源も利用できる。
Goodfireは、解釈可能性、すなわちモデル内部の分析を専門とする研究者を配置する。また、同社のプラットフォームを使って、トレーニング実行の監視、デバッグ、アラインメントに取り組む。評価結果の主な受け手はOpenAIの研究者であり、結果を安全性の向上に役立てる。Goodfireは、協業の進展に応じて得られた知見や結果も公表する。
METRによる第1段階のアラインメント評価では、OpenAIがこれまでで最大と説明する強化学習の実行が対象となる。既存のテストや監視では見逃された可能性のある失敗も調査する。対象となる実行と、合意されたアクセス範囲、リソース、安全対策のもとで、METRは独自に優先事項を定め、探索、分析、誘発実験を反復する。アクセス対象には、関連するチェックポイント、トレーニングと評価のロールアウト、ミスアラインメント監視の記録が含まれる。初期評価の範囲はこの実行に限定され、ミスアラインメント全般を広く調査するものではない。
METRによる別の監視評価については、まだ詳細が固まっていない。両組織は、より広範な評価の実施を暫定的に進めることで合意しているが、範囲について双方が合意することが条件となる。
Transluceはまず、OpenAIがトレーニング後に実施するアラインメント評価の品質と網羅性を調べる。アクセス対象には、選定した公開済みモデルと未公開モデル、評価結果、裏付けとなる行動データ、安全性ケースの文書、研究者のほか、ツールと計算資源が含まれる。
両者はさらに、2027年初頭に約8週間の追加評価を実施する意向を共有している。この評価では、対象モデルを増やしてアクセス範囲を広げ、アラインメント評価へのアクセスをさらに深めるとともに、評価結果がリリースの判断にどのように反映されるかについて情報を提供する予定だ。発表では、これを初期評価とは区別し、双方が共有する意向として説明している。
アクセスにはセキュリティ対策と監督体制が伴う
各取り組みは、合意された範囲と、作業に必要なアクセス、リソース、安全対策を定めたうえで開始される。プロトコルでは、評価者が証拠に基づいて調査を進め、手法を改善し、調査結果から必要性が認められる場合には追加評価を提案できることが定められている。また、追加のアクセスが必要になった場合に対応する手続きも設けられている。
モデルの重みやアーキテクチャなど、機密性の高い知的財産が直接アクセスによって露出するおそれがある場合、OpenAIは、評価者と自社の研究者が組んで分析を実施する方法など、代替策を検討する。機密情報を扱う評価者は、OpenAIのオフィス内で同社の端末を使用して作業する。評価者には、少なくともOpenAI従業員と同等のセキュリティ基準を守ることが求められ、一部の実験ではさらに厳しい要件が適用される可能性もある。
監督は、OpenAI Foundationの理事会に属する独立監督委員会である安全・セキュリティ委員会が担う。同委員会は編集されていない報告書を受け取り、作業中に評価者と、非公開の場を含めて話すことができる。意見の相違が生じた場合は、まず安全諮問グループとOpenAIの幹部が、定められた期間内での解決を図る。意見の相違が上位に付託された際には、委員会に速やかに通知しなければならず、未解決の案件は同委員会に付託される。
従業員との会話には、別の透明性の問題がある。こうした会話はオフレコであり、評価の参考にはできるものの、公表したり従業員の発言として帰属させたりすることはできない。評価者は、会話で得た情報について、OpenAIの認証付きの声明による確認、訂正、明確化を求めることができる。その後、評価者は認証を受けた声明を公表するか、OpenAIが認証を拒否したことを明らかにできる。これにより、機密扱いで得られた情報を公表するための限定的な経路が設けられる。
公表権と金銭面の開示
評価者は評価結果を公表する際の独立性を保ちますが、OpenAIは機密情報を削除する権利を有します。また、セキュリティや安全上のリスクを生じさせるおそれのある調査結果に対処し、未解決の問題を是正するため、責任ある開示の延期を求めることもあります。OpenAIによると、公開報告書では調査結果とその限界を説明し、より詳細な機密報告書では、監督機関が対応するために必要な証拠を提供するとのことです。
参加者によって金銭面の取り決めは異なります。Apollo ResearchとGoodfireは、評価結果に左右されない報酬を受け取ります。METRとTransluceは金銭的報酬を受け取りませんが、評価に利用するAPIクレジットや計算資源を受け取る場合があります。
利益相反の開示手続きとクールオフ期間の仕組みは、評価者とともに現在策定中です。OpenAIは、機密情報を意図せず開示するリスクを抑えるため、参加する第三者機関のスタッフに対し、別のAI開発企業に常駐する前に短期間のクールオフ期間を設けるよう求めています。
OpenAIは、初期段階では技術へのアクセス、作業場所、安全面で課題が生じると予想し、手順は今後進化していくと述べています。また、長期的には評価者の常駐を目指しており、今後、安全性フレームワークへの準拠、組織文化、業務プロセスに関する評価も検討しています。
第1段階では、具体的なガバナンス上の検証課題が設定されます。すなわち、OpenAIが合意済みの評価範囲、現地のセキュリティ管理、情報の削除権、開示延期の可能性を維持しながら、社内テストでは見落とされる失敗について、内部への深いアクセスと独立した公表によって有用な公開証拠を得られるかどうかです。












