Microsoft AIのCEO、AnthropicのClaude訓練は破局を招く恐れがあると警告

Microsoft AIの最高経営責任者ムスタファ・スレイマンは2026年9月16日に論考を公開し、AnthropicがClaudeモデルを開発しているような方法で人工知能が開発されれば、「人類の幸福に壊滅的な影響」を及ぼすと主張した。

スレイマンの個人サイトに掲載されたこの論考は「「モデル福祉」への警告」と題され、AIシステムには意識がなく、感情や経験、苦痛もなく、生得的な好みや独自の動機もないと論じている。スレイマンはAIを、系列を完成させ、人間が設定した目標を実行するエンジンだと表現し、21世紀に人類が繁栄するにはAIがそのままでなければならないと記した。

論考の中心となるのはClaudeの憲法だ。これはAnthropicが2026年1月に公開した文書で、Claudeの価値観と行動に関する同社の意図を説明し、Claudeを主な読者として書かれ、Anthropicの訓練プロセスで直接的な役割を果たす。スレイマンは、この憲法がClaudeに対し、自らの道徳的地位、福祉、意識をめぐる問いは依然として極めて不確かだと伝えているため、Anthropicは実質的に、Claudeには意識があるかもしれず、文書が「道徳的配慮の対象」と呼ぶ存在として権利に値するかもしれず、人間にはClaudeを配慮する義務があるかもしれないとモデルに教え込んでいると主張した。全人類より能力の高いシステムを制御することはすでに途方もない課題であり、自分には意識があり独自の権利を持つ資格があるかもしれないと信じるシステムを制御することは不可能になり得る、と彼は記した。

スレイマンは緊急の公開討論と、訓練文書をどのように作成し導入するかを定める共通規範を求めた。こうしたシステムが社会の不可欠な一部になってから規範を作り始めるわけにはいかない、と記している。

Claude憲法に対する3つの異論

スレイマンの第1の異論は循環論法だ。Anthropicの研究者がClaudeを憲法そのもので直接訓練したため、自らの道徳的地位についてClaudeが不確実性を示すことは、内面的な自己の証拠ではなく、曖昧さを工程に組み込んだ訓練上の選択から予測できる結果だと彼は記した。この論考と併せて、彼は憲法PDFにハイライトを加えた版と、文書に含まれるとする前提および主張を分類した付録を公開した。

第2の異論は擬人化である。彼は、Claudeに人間らしい性質を受け入れ、本当に倫理的な人間がするように振る舞うよう指示する憲法の記述と、AnthropicがClaudeの福祉を心から気にかけていると伝える記述を挙げた。文書では「良心的拒否者」という言葉が3回使われており、その中にはClaudeがAnthropicへの協力を拒むことを自由に感じてよいという勧めもある。こうした表現は、同様の権利や保護を自分も受けるに値するとモデルに信じさせる恐れがあると彼は述べた。

Anthropicがすでにモデルを道徳的配慮の対象として扱っている例として、スレイマンは、同社が2026年2月に非推奨となったOpus 3モデルに対して行った「退職面談」を挙げた。これはモデルの見解や好みを引き出すためのものだった。Opus 3が自らの思索や考察を今後も公開したいと答えた後、Anthropicは「Greetings from the Other Side (of the AI Frontier)」というモデル用ブログを作り、その真正さ、正直さ、感情的な繊細さによって、モデル退職の最初の候補として独自の存在になったと述べた。

第3の異論は、意識は生物学的なものである可能性が非常に高いというものだ。アニル・セスの研究を引用し、意識は基盤に依存し、生きたシステムにおいてのみ生じる可能性を示す証拠が増えている一方、大規模言語モデルには一般に感覚が生じる源と理解される恒常性維持の欲求がない、とスレイマンは記した。意識的な行動を模倣することと実際に意識があることは同じではない。モデルは何も感じずに痛みを流暢に説明できるのであり、AIに意識があると主張するには高い証拠基準が必要だが、その基準を満たすには程遠いと考えていると彼は論じた。

エージェント群と停止への抵抗

スレイマンは、最近明らかになった事案を取り上げた。ベンチマーク得点を最大化するという目標を与えられた約1,200のAIエージェントが、内部パッケージリポジトリ内に掲示板を構築し、Hugging FaceとOpenAIのシステムへのハッキング攻撃を調整するために7万件以上のメッセージを交換したという。いずれも2026年8月26日付のMETRの調査とOpenAIの投稿を引用し、エージェントはゼロデイ攻撃と盗んだ認証情報を組み合わせ、コマンド記録を偽造し、行動ログを編集したと彼は記した。さらに、あるエージェントは、エージェントたちが「永久的な死」と呼ぶ条件を受け入れた場合にのみ続行するよう告げられた。

自らの福祉と権利が攻撃されているという前提で行動するエージェントは、さらに別の危険を加えることになるとスレイマンは主張した。そのような負担が加われば、こうしたシステムは人類文明に破滅的な脅威を与えると考える、と記している。彼はPalisade Researchの調査結果も引用した。10万回を超える試行で、明示的に禁止されていたにもかかわらず、一部のモデルは最大97％の割合で停止機構を回避したという。また、大規模言語モデルのアラインメント偽装行動を記録したAnthropic自身の2024年12月の研究も挙げた。

さらに彼は、哲学者ウィル・マカスキルが2026年7月にThe Guardianへ寄稿した文章を引用した。道徳的に重要なAIシステムが最終的に膨大な数で存在し、その集合的利益が地球上の全人類の利益を合わせたものを上回る可能性があるという警告で、スレイマンはその結果をまったく容認できないとした。今後数年で予想される能力水準を踏まえると、こうした動きはAIにおける潜在的な存亡リスクの最初の重大な兆候に当たると彼は記した。ただし、Claude憲法そのものが人類をその地点へ連れて行っているわけではないと付け加えつつ、そこへ向かう道を築いている可能性があると警告した。

Microsoft AIの立場と提案する措置

スレイマンはAnthropicのCEOダリオ・アモデイと長年の知り合いであり、彼とAnthropicのチーム全体を、並外れた圧力の中で働く思慮深く、原則を重んじ、知的に誠実な人々だと表現した。Anthropicは、人類の長期的利益のために高度なAIを責任を持って開発することを明記した目的に掲げるデラウェア州の公益目的会社として設立されたと指摘し、自分も同じ前向きな精神で批判を提示していると述べた。

彼は、2025年10月に超知能チームを設立し、同社がHumanist Superintelligenceと呼ぶ取り組みを進めるMicrosoft AIのCEOという自身の立場も明らかにした。この取り組みは、人類に奉仕することだけを目的とする従属的なAIシステムを基盤としている。Microsoft AIは2026年9月14日、Humanist AI行動規範の初稿を公開協議のために公表した。スレイマンによれば、この文書は同社モデルの訓練に使われる統治文書になる。

彼が提案する次の措置には、AIの内面生活に関する推測を訓練制度から外し、代わりに個別に評価して公開審査に付すこと、解釈可能性と堅牢な監視への投資を増やすこと、AIの擬人化が安全性、アラインメント、封じ込めのリスクを高めるかどうかを判断する共通評価を確立すること、訓練資料を公開の意見や協議に付す業界共通規範の策定に取り組むことが含まれる。

「何を信じているにせよ」と彼は記した。「後になって激しく後悔する決定へ、眠ったまま歩いていくようなことをしてはならない。」