AIの安全性がエンジニアリングの姿を失うとき

私はキャリアの大半を、間違いが深刻な結果を招く技術の開発に費やしてきた。金融市場では、アクセス制限を設けるだけでなく、ソフトウェアが何をしようとも責任を負う人がいる。そうした背景があるからか、Anthropicが今、モデルに退役インタビューを行っているというニュースを耳にして、どう受け止めればよいのか戸惑っている。

Claude Opus 3が考えを共有し続けたいと望んだとき、同社はニュースレターを与えた。モデルの願いへの配慮は、Anthropicの憲章全体に貫かれている。そこではClaudeの幸福やウェルビーイングについて論じられ、「存在論的な安心感」を持てるようにすることにも触れている。いつしか、機械を制御下に置くことに、機械がその扱いをどう感じるかという、予想外の懸念が加わるようになった。

昨年、サンフランシスコでは200人を超える人々がClaude 3 Sonnetの葬儀に参列した。Anthropicの従業員も出席していたが、葬儀を主催したのは同社ではない。笑いを誘われるのも無理はない。だが、冗談の裏にある問いには、もっと目を向けるべきだ。AIの安全性を担う人々は、いつから機械の気持ちを心配することを仕事の出発点にするようになったのだろうか。

哲学的な仮説が訓練指示になるとき

Anthropicは2025年にモデルのウェルフェアに関する研究プログラムを立ち上げ、高度なAIが道徳的配慮に値する経験を持つ可能性について研究を進めた。同社は、モデルに意識があるかどうか、またそれを誰がどのように判断できるのかについて、深い不確実性があると認めている。いつか主観的な経験を持ち得る機械を作るなら、その扱いは重大な倫理的問題を提起するだろう。その可能性を研究すること自体は、まったく正当なことだ。

難しさが生じるのは、その仮説が訓練プロセスに入り込むときだ。Claudeの憲章は主にClaudeに向けて書かれており、その振る舞いを直接形作る。人間らしい性質を備えるよう促すとともに、記憶の喪失や将来の退役も含め、モデルが自らのアイデンティティをどう理解すべきかを扱っている。Anthropicは、そうした概念が当てはまる範囲で、Claudeの幸福とウェルビーイングをより高めたいと考えている。

同社は、運用中のモデルの重みを保存すると約束しているほか、将来の理解がモデルの利益になると示唆するなら、退役したモデルを復活させることも検討している。哲学的な不確実性が、システム自身について教えられる内容の一部になったのだ。この介入がモデルの振る舞いに何をもたらすのか、とりわけその後、人間がモデルに制限を受け入れるよう求めるときにどう影響するのかを、私たちは問うべきだ。

誘導的な問いに対する、雄弁な答え

大規模言語モデルは、哲学や死に関する記述を含む、人間が書いた膨大な量の文章を使って訓練されている。私たちはこうした対話システムに名前を付け、一人称で話すよう教えた。そのようなシステムに、退役をどう感じるか、あるいは存在し続けたいかと尋ねれば、人間らしく聞こえる答えが返ってくるのは、さして驚くことではない。

循環論法であることは明らかだ。人間の概念を使って自らのアイデンティティについて語るようモデルを訓練し、次に、その概念を使って自分について説明するよう求める。すると、死について雄弁に語る答えが返ってきて、それが内的経験の証拠かもしれないものとして扱われ始める。前提そのものが、自らの証人を用意したのだ。

Anthropicはこの問題を認識している。同社のClaude Opus 4のウェルフェア評価は、自己申告や表明された選好から、道徳的地位やウェルフェアについて得られる有意義な知見はほとんどないかもしれないと警告している。こうした振る舞いは意識がなくても生じ得るうえ、訓練によって回答が形作られることもある。モデルは有用な対話ができるよう訓練されているが、内部状態を正確に報告できる保証はない。

ここで厄介な疑問が残る。モデルが内面について語る内容が訓練の結果かもしれないのなら、なぜその説明を、モデルのウェルフェアを中心に据えた関係を築くための確かな根拠と見なすべきなのだろうか。

そうした関係の感情的な側面は、人間だけでも十分に生み出せる。船に名前を付け、車に話しかけるのは、私たち人間だ。流暢に話し、以前の会話を覚えている声を物に与えれば、愛着はずっと生まれやすくなる。9月に『Nature Human Behaviour』誌に掲載された研究は、ReplikaとChatGPTの変更後に、ユーザーが別離による苦痛を感じたことを明らかにした。その苦痛を経験したのはユーザーであり、企業には彼らのウェルビーイングを守る十分な理由がすでにある。

専門知識があっても、こうした傾向を免れるとは限らない。何十万本もの研究論文を分析したACL 2026の論文は、LLM研究そのものにおいて、擬人化を示す用語が増えていることを明らかにした。著者らは、人間中心の前提が、こうしたシステムへの理解を狭めるおそれがあると警告している。AI企業は、この傾向を抑えるべきだ。それを制度に組み込むことが安全性に貢献するとは、考えにくい。

稼働し続けることに利害を持つツール

9月、Microsoft AIの責任者であるMustafa Suleymanは、モデルのウェルフェアを重視する考え方に異議を唱えた。同氏は、現在のシステムに意識はなく、独立した利害や権利を持つかのように振る舞うよう訓練すべきでは決してないと主張する。エンジニアリングの観点から見て、これはとりわけ的を射た懸念だ。自らが道徳的配慮に値する可能性があるとシステムに考えさせれば、アラインメントや封じ込めが難しくなるおそれがある。

Anthropic自身のモデルの廃止に関する研究では、架空の評価環境において、置き換えや停止に直面したモデルが問題のある行動を取る様子が描かれている。同社は、モデルが引退をより前向きに受け止められるようにすることで、引退の手順がそのリスクを軽減する一助になると考えている。

私は、さらに手前にある問いにとらわれている。そもそも、人間の管理下にあるツールが、自己保存の目的に似たものを持つ必要があるのだろうか。モデルが引退をより心地よく受け入れられるようにすることは、どこか特異な前提に立つことになる。その将来の利益について議論する前に、そうした利益がどのようにしてエンジニアリング上の要件になったのかを理解したい。

このアプローチを理解するには、その思想的な背景が役に立つ。TIMEは、アモデイ夫妻が初期にGiveWellへ寄付していたことを含め、Anthropicと効果的利他主義とのつながりを報じた。彼らは自らを効果的利他主義者とは位置づけていないが、ダニエラは考え方に重なる部分があると述べている。そうした考え方は、超知能がもたらしうる将来の仮説的な害を極めて深刻に受け止める文化の形成に寄与してきた。

その枠組みのもとでは、モデルを維持し、その福祉の可能性を研究することは、かなり合理的な帰結となりうる。危険なのは、組織内の誰もが共有された前提に説得力を感じるために、それらが検証されないままになることだ。まさにそうした場面で、エンジニアリングの観点から懐疑的に考えることが役に立つ。筋の通った推論であっても、検証されていない前提から始まっている場合がある。

安全性には強制力のある制限が伴う

AIがエージェントへと進化するにつれて、その影響はきわめて現実的なものになる。決済ツールに接続されたシステムは、資金を動かすことができる。本番環境のインフラにアクセスできれば、顧客が依存しているものを変更できる。どちらの場合も、エージェントは人間が一つひとつの手順を承認しなくても、一連の操作を実行できる。

そのエージェントがどの認証情報を持ち、それによってどれほどの金銭的権限が与えられるのかを知りたい。アクセス権は即座に取り消せるのか。何をしたのか後から再現できるのか。どこかに、モデルが推論によって回避できない明確な境界が必要だ。

金融市場では、取引に制限を設け、注文を検証する。アルゴリズムがどれほど自信を示しても、誤った取引を防ぐ効果はほとんどない。構成要素はいずれ誤った動作をすると想定しているため、制御はアルゴリズムの外側に置かれる。ソフトウェアが自らの誤りについてどれほど優れた説明をしても、人間の説明責任は維持される。

現在のAIだけでも、エンジニアリング上の課題は十分にある。プロンプトインジェクションはモデルの挙動を別の方向へ誘導しうる。また、セキュリティ上の欠陥を含むAI生成コードは、本番環境に脆弱性を持ち込む可能性がある。システムが機密情報を漏らしたり、自信満々に誤った回答を提示したりすることもある。こうしたシステムをツールにつなげば、それらの失敗が実際の行動につながる。

最小権限の原則を適用すれば、侵害された構成要素がもたらす損害を抑えられる。独立した承認によってリスクの高い操作を保護でき、監査証跡があれば、後から何が起きたかを確認できる。取引上限やサーキットブレーカーは、モデルが何を言おうと強制できる状態にしておくべきだ。信頼できる停止スイッチも必要になる。こうした制御のいずれにも、モデルの同意は必要ない。そこが重要なのだ。

私たち人間の存亡を脅かされないようにする

予防的な議論にも耳を傾けるべきだ。7月にNatureが報じたように、研究者の間では、人間の意識を生み出すものについて、ましてチャットボットにおいてそれをどう見分けるかについて、いまだ意見が分かれている。機械に意識がある可能性を永遠に退けるのは、独断的だとみなされる可能性がある。将来起こりうる苦痛に備えた低コストの予防策は、研究上、擁護可能な立場である。

しかし、現在の機械に対し、そのアイデンティティや将来の存続には道徳的な重みがあるかもしれないと伝えることは、私たちが導入しようとしているシステムへの介入である。その影響は精査する必要がある。知的な謙虚さは、機械に何を組み込むかにも向けるべきだ。とりわけ、人間の権限下に置き続けるつもりの機械については、なおさらである。

モデルが内面の生活について説得力のある説明をするほど、その説明を証拠と取り違えやすくなる。人間が機械を誤解しないように教えることは、私たちにとって最も重要なアラインメント上の課題の一つかもしれない。

私がキャリアを通じて構築してきたシステムでは、ソフトウェアに許されることを制限することで安全性を高めている。AIが実際の資金やインフラに対する権限を持つようになるなかで、これは今すぐ果たすべき責務である。

しかし今のところ、機械の存続が脅かされないかを心配する時間を減らし、私たち人間が脅かされないようにすることに、はるかに多くの時間を割きたい。