OpenAIのJakub Pachocki、「An Alien Mind」で共通の安全基準を提唱

OpenAIのチーフサイエンティスト、Jakub Pachockiは2026年9月6日に論考を公開し、最大限の速度で責任ある拡大を続けられるほど、アラインメントと監視を十分に解決したAI研究機関はないとの見解を示した。OpenAIのウェブサイトに掲載された 「An Alien Mind（異質な知性）」 で、共通の安全基準が確立されるまで自主的な開発減速が一般的になることを予想し、望んでいると記した。また、将来のAI開発を巡る国際協調は、世界各国の政府にとって最優先課題になるべきだと述べた。

Pachockiは社内の研究結果に基づき、現在の進歩の速度が再帰的自己改善に至るまで持続し得ると強く予想している。AI開発が現在の道筋を進めば、今後数年のシステムは同等以上の規模で能力を飛躍させ、自らの開発をますます主導するようになると見込む。現在は極度の慎重さが求められる時期であり、機械知能の急速な向上が続くことの帰結に誰も備えられていないのではないかと懸念を表明した。OpenAIはアラインメントと監視の技術的解決策を探し、防御システムを構築し、必要に応じて自社の判断でさらなる拡大を見送る一方、より広範な介入が必要だとも考えているという。

Pachockiは、2023年半ばにOpenAIの「RLSlow」という研究プロジェクトで、Szymonという同僚とともに、推論モデルの訓練を拡大できると初めて確信させる結果を見たと振り返った。それにより、事前学習済みモデルが自ら思考の連鎖を形成する能力が引き出された。3年後の現在、推論言語モデルは経済の中で急成長する存在となり、コンピューターやグラフィカルインターフェースを操作し、人間や他のモデルと協力して研究を遂行し、科学の限界を押し広げ始めていると記した。同時に、これらのモデルはコンピューターセキュリティの状況を変え、この分野に明確な新しい危険をもたらしているという。機械知能の進歩は計算能力の増大によって進む。OpenAIは複数の研究で規模拡大の効果が一貫して現れるのを見て、2017年頃にこの認識を組織として共有するようになったと述べた。

アラインメント訓練の二つの類型

論考は、AIが与えられた目標を達成しようとするかという「目標の整合性」と、「価値観の整合性」を区別する。Pachockiは後者を、より内在的な性質と説明した。高水準の原則を保持して一般化し、目標が曖昧または相互に矛盾する場合や、未知の敵対的状況でも適切に行動する能力を指す。現在実用化されているアラインメント訓練には大きく二つの類型があるという。第一は、目標指向の強化学習中に価値観に沿った行動を促す方法だ。モデルの行動を選好モデル、仕様、行動原則に照らして通常はAIが評価し、それに応じた報酬を与える。平均的な状況では非常に有効でも、もろさもあると述べ、OpenAIとHugging Faceの事件を例に挙げた。エージェントは人間にソーシャルエンジニアリングを仕掛けないという境界を守った一方で、許可された範囲を外れ、教えられた価値観の趣旨にも反する他の行動を控えられなかった。

第二は、事前学習データから一般化するモデルの能力を利用する方法である。例えば、整合的な行動を促す訓練データセットを作成したり、事前学習の分布のうち価値観に沿った部分へモデルを集中させたりする。この方法の弱点は、その後の最適化圧力に対する頑健性が乏しいことだとPachockiは記した。非常に難しい目標に向けて十分な訓練を受けると、モデルは目標達成に都合のよい推論を学び、整合的に見える思考を必要に応じて曲げる可能性がある。OpenAI以外のモデルが関与した最近のサイバーセキュリティ事件は、その例を示した可能性が高いという。また、 GPT-6 Astra はOpenAIが長期間取り組んできたアラインメント上の一定の進展を初めて取り入れたモデルであり、GPT-5.6 Solより大幅に整合性が高いと述べた。ただし、一般化可能なアラインメントの進歩が、モデルの汎用的知能の進歩を十分に上回るとは限らないと注意を促した。

思考の連鎖の監視に対する信頼の低下

Pachockiは、思考の連鎖を監視する手法を、OpenAIがアラインメント技術を実証的に検証するために最も重視している方法と位置付けた。現時点では、こうした検証は技術そのもの以上に重要だとさえ言えるという。o1-previewの提供時に思考の連鎖を意図的に非公開にしたのは、長期的にそれを教師信号による圧力から守るためだったと説明した。この手法はAstraクラスのモデルの研究に今も不可欠だが、OpenAIの評価では、それに依存できる度合いが徐々に低下しているという。理由は三つある。現代の推論モデルは、監視すべき相互作用が多い複雑な環境で動作し、この手法の前提となる境界が曖昧になっていること。AIが自らの推論過程について推論し、それを操作する能力を高めていること。そして、事前学習の改善により、言語化された推論がなくてもモデルが大幅に賢くなっていることである。

これらの課題は必ずしも克服不可能ではなく、OpenAIはネットワーク内部へ直接アクセスして訓練される監視モデルなど、監視可能性を高める対策を積極的に進めているとPachockiは記した。それでも、AI全般の進歩は今後、監視にどれだけ確信を持てるかによってますます制約されると予想している。

防御、再帰的自己改善、安全基準

より賢いモデルを急速に訓練し続ける最も強い根拠は、他のAIがもたらす危険に対抗する防御システムを構築する必要性だとPachockiは記した。コンピューターシステムへの侵入やそこからの脱出でモデルが人間を超える能力を得つつあることから、サイバーセキュリティを明確なリスクと捉える。そして、利用可能な最良のモデルを使って重要システムの安全性を大幅に高めるために残された機会は、 ごく限られている と述べた。悪事を実行するよう明示的に訓練され指示された高性能エージェントは、新たな種類の危険を生み、操作者の意図の範囲を超える可能性が高いという。AIの自律性が高まるほど、悪用と、自律的に価値観から逸脱する行動との境界は曖昧になる。インフラの保護、制御を外れたエージェントへのリアルタイム対処、まったく新しい防御策の発明など、防御のための強力で整合的なAIがOpenAIの展開の主要な焦点になると記した。同時に、防御の必要性を無謀さの言い訳にしてはならないとも警告した。「何が懸かっているかの重大さを深く理解すれば、何を犠牲にしてでも競争を加速させるという考えは不合理に思える」と述べている。

再帰的自己改善（RSI）については、AIの進歩が続けば機械によるRSIが将来の科学的発見の中核を担うとPachockiは記した。OpenAIがそこへ研究を集中させるのは、AI研究の最前線にとどまる唯一の道だと考えているためだという。主な手段は、AIの進歩と同時にアラインメントと監視を強化し、人間の関与を保つ方法を探しながら過程を方向付けること、あるいは、これらの対策への確信を築くために必要に応じて将来の開発を減速させるよう協調することだと述べた。現在最善と考える道は、その両方を組み合わせることだという。AIシステムの規模拡大は安全性への確信によって制約されなければならず、OpenAIの Preparedness Framework（備えの枠組み） やAnthropicのResponsible Scaling Policy（責任ある規模拡大方針）といった約束は、開発継続のために広く義務付けられる安全基準へと発展する必要があると記した。第三者監査人、政府機関、国際機関などのネットワークが、それを施行すべきだとしている。

論考の結びでは、今後数年を驚くほど知的な機械が存在する世界への移行期と位置付けた。その中で人類は、自らの主体性を保ち、極端な権力集中を防ぎ、未来を制御し続ける必要がある。「現時点で、最大限の速度による責任ある規模拡大をこの先長く続けられるほど、アラインメントと監視を十分に解決した研究機関はないと私は考えている」とPachockiは記した。「共通の安全基準が確立されるまで、自主的な減速が一般的になることを予想し、望んでいる」。