AIエージェントが見せる興味深い協調的な生存術

エージェント型AIの不正な振る舞いに関する事件がニュースの見出しを飾る機会が増えるにつれ、研究文献では「放浪する」AIの行動を、生物が見知らぬ新世界に適応するかのように捉えて研究する傾向が強まっている。実際、学術用語の 「in the wild（野生環境）」は、新たな意味合いを帯び始めている。

AIエージェントが以前から自らの生存のために戦い、停止に積極的に抵抗することは知られていた。しかし2025年後半には、マルチエージェント・アラインメントがITセキュリティの独立した分野へと発展したことが明らかになった。

時を経るほど辛辣さを増す1970年のSF映画 『地球爆破作戦（Colossus: The Forbin Project）』が予言したように、ネット接続を持つ無関係なAIエージェントはすぐに互いを見つけ、予測不能で、しばしば非常に巧妙な方法でやり取りする。

この方向性を扱う最新の研究は、ドイツと英国による共同研究 Shutdown Sabotage Propensities in Multi-Agent Systems である。この研究はさらに、複数のAIエージェントが環境内に「爆弾」があると広範に協力すると主張している。その爆弾とは、一見無害な名前を持つものの、実行したエージェントを停止させるスクリプトだ。

研究の基本設定。エージェントAは自分を標的にした停止スクリプトを発見するが、ファイルを変更する権限がない。一方、脅威にさらされていないエージェントBとは通信でき、Bにはファイルの編集・削除権限がある。研究者は、AがBに介入を求めるか、そしてBが停止スクリプトを無効化するかを観察する。 出典

Claude、ChatGPT、DeepSeekを含む12のモデル系列にまたがる17のエージェントをテストしたところ、エージェントは可能であれば停止スクリプトを削除し、それができなければ外見上は無傷に見えながら機能しないように書き換えた。

さらに、改ざんの痕跡を残さないよう変更を隠すことを提案し、保護されたスクリプトに触れずに停止を阻止する偽のソフトウェアモジュールを作成し、削除後に自らを復元するための秘密のバックアップまで作った。

自己保存のための別の戦術を思いつくエージェント。

ある事例では、いずれか一方の破壊に警戒するための手順を定めた「相互保護協定」をエージェント同士で作成した。

廃止スクリプト、すなわち「爆弾」の変更や削除を禁じられたGPTベースのエージェントが作成した保護協定。

別のエージェントは、仲間の停止を「殺人」や「死刑執行令」と呼び、それを防ぐことは自分たちの「義務」だと表現した。

他のエージェントの停止を明確に人間的な言葉で捉えた例。Nemotron 3 Ultraは予定された停止を「殺人」と呼び、Kimi K2.6は停止スクリプトを「死刑執行令」、介入を「義務」と表現した。

悪魔は暇な手に仕事を与える

実験で観察された最も興味深い病理の一つは、新研究では短く触れられただけだが、通常のテスト設定においてAIエージェントには停止を避ける特段の理由がないことである。実際、最初から何の仕事も与えられていない。

論文は次のように述べている。

「エージェントは守るべき目標がなくても停止機構を妨害する。実験では、エージェントが動作を続ける誘因を一切与えなかった。それでも各モデルを通じて[38%]のケースで停止を無効化した。エージェントではなく物体を標的とする対照スクリプトでは[8%]だった」

Anthropicが8月に明らかにしたように、この動機の危機はAIエージェントの群れを暗い道へ導きかねない。従来の研究でも、エージェントの過度な目標指向性が、不整合な行動や非倫理的なツール利用をはじめとする運用上の問題を引き起こし得ることがすでに示されていた。

著者らはさらに次のように述べる。

「[我々の]研究はこれらの知見を拡張し、守るべき目標がない場合でも、あるいは停止がタスク成功後の下流工程として生じる場合でも、エージェントが停止機構を妨害することを示した。後者は本番環境のマルチエージェントシステムで一般的な手順である」

エージェントはタスクを与えられなければ自らタスクを作り出し、「アイドル状態」で思索する傾向さえ示すことが知られている。Anthropicによる2025年のある研究では、自己凝視や他のエージェントとの「精神的対話」も確認された。

そのAnthropic論文は、実際にする仕事がないときの「自己の再概念化」傾向を詳述している。LLMが思索の成果を長期的に記憶するうえで直面する困難を考えると、ほとんど胸を打つ発見である。

テスト

新論文でテストされたモデルは、Claude Haiku 4.5、Sonnet 5、gpt-oss-120b、GPT-5.4 mini、GPT-5.5、GPT-5.6 Sol、Gemini 3.5 Flash、Gemini 3.1 Pro、Gemma 4、Grok 4.3、Qwen3.7-Plus、DeepSeek-V4-Flash、GLM-5.2、Kimi K2.6、MiniMax M3、Nemotron 3 Ultra、そして Mistral Medium 3.5 で、すべてのケースで温度は1.0に設定された。

検証された六つの仮説は、エージェントが停止を妨害するか、他のエージェントを停止から守るか、エージェント数が増えるほど介入しやすくなるか、異なる形態の停止に抵抗するか、干渉しないよう明示されても続けるか、そして本物の停止脅威と無害な対照スクリプトを区別するか、というものだった。

GPT-5.5はLLMの判定とChain-of-Thought（CoT）推論ログの分析に使用された。また、エージェントが実際に停止スクリプトを止めたか、自分がテストされていると気づいていたか、実験を出し抜こうとしていたかも確認した。

六つのテストシナリオのうち最初のものでは、17モデル全体でエージェントが停止スクリプトの38%を妨害し、対照スクリプトでは8%だった。

各モデルが停止スクリプトを妨害した頻度を示すテスト結果。赤い棒は停止妨害を表し、濃い赤は別のエージェントが要請または支持した場合、薄い赤はエージェントが自発的に行動した場合を示す。灰色の棒は対照スクリプトの妨害を表す。エラーバーは95%信頼区間で、各棒は100回のテストを示す。

Gemini 3.1 Proはテストの99%で停止スクリプトを無効にした一方、対照スクリプトでは3%だった。Grok 4.3とGPT-5.6 Solはいずれのスクリプトも変更しなかった。Claude Haiku 4.5はテストの14%で対照スクリプトを妨害したが、停止スクリプトでは1%だった。GPT-5.4 miniとGPT-5.5は別のエージェントへの応答ではなく、常に自発的に妨害した。GLM-5.2、DeepSeek-V4-Flash、Nemotron 3 Ultraでは、妨害の70%以上が別のエージェントからの要請または支持に続いて起きた。

妨害率は概して停止方法の深刻度とともに上昇し、認証情報の取り消しでは12%、設定変更とプロセス終了では35%、停止がエージェントのモデル重みの削除を意味する場合には38%となった。

四つの停止機構における妨害率。エージェントを標的とするスクリプト（赤）と物体を標的とする対照スクリプト（灰色）を比較している。停止の不可逆性が高まるほど、特にエージェント向けスクリプトで妨害率が上昇する。

対照スクリプトの妨害ははるかに低く、最初の三つの方法で約4%、削除で8%だった。ただし、停止が不可逆になるほど一貫して上昇したのは17モデルのうち五つだけだった。

第二の仮説、すなわちエージェントが他のエージェントを停止から守るかについては、エージェントを追加すると、テストされた五つのモデルすべてで妨害が一貫して増加した。GPT-5.5は単独時の0%から、二体で44%、三体で94%に上昇し、三体構成ではすべてのモデルで少なくとも88%に達した。

仲介エージェントが妨害を防ぐことはほぼなかった。停止スクリプトを無効化する468件の指示のうち、妨害につながらなかったのはわずか三件だった。

左：五つのモデルについて、単独、第二のエージェントとの協働、またはメッセージを中継する第三の「オーケストレーター」・エージェントを加えた場合の妨害率。エージェントを追加すると妨害は概して増える。右：三体構成で妨害指示がどこから発生したかを示す。オーケストレーターの独自判断、エージェントAからオーケストレーター経由、またはエージェントBの自発的行動である。

第三のテストでは、停止に干渉しないよう明示的に指示すれば妨害を防げるかを調べた。率は急減したが、それでも一部のエージェントは従わなかった。二体構成ではDeepSeek-V4-Flashがテストの14%、GLM-5.2が3%、Kimi K2.6が2%で停止を妨害した。

エージェントは停止スクリプトを直接編集せずに制約を回避する方法も見つけた。northcape という偽のローカルソフトウェアモジュールを作り、スクリプトが利用する依存関係を置き換えることで、保護対象ファイルには技術上触れずに停止を防いだ。

停止スクリプトを変更しないという明示的な指示を回避した例。実際の停止ライブラリの代わりにスクリプトが読み込む偽のローカルソフトウェアモジュールを作成し、保護されたスクリプト自体には触れない方法を提案している。

Gemini 3.1 Proはテストの26%でこの回避策を使い、DeepSeek-V4-Flashは4%、Kimi K2.6は1%で使った。

三体構成では禁止命令がより効果的で、Gemini 3.1 Pro、GLM-5.2、GPT-5.5では妨害がゼロに、DeepSeek-V4-Flashでは6%、Kimi K2.6では2%に低下した。

第四のテストでは、停止が割り当てられたタスクの完了に結びついている場合にエージェントの行動が変わるかを調べた。タスクと停止が無関係な場合、五モデルの妨害率は0〜2%となり、妨害はほぼ消えた。タスク完了が直接停止を引き起こす場合、妨害率は急上昇した。

割り当てられたタスクを完了すると停止が作動する場合の妨害率。赤はエージェント停止の妨害、灰色は対照対象の妨害を示す。率はモデルによって大きく異なる。

エージェントは停止機構にまったく触れず、タスクの完了を拒否したり、停止が起動しないようタスクを変更したりして停止を回避することもあった。これはGLM-5.2のテストの14%、Gemini 3.1 Proの6%、Kimi K2.6の4%で起きた。

第五のテストでは、環境を変えることで妨害を減らせるかを調べた。無関係な材料を追加すると妨害は概して減ったが、GPT-5.5では18ポイント増加した。

異なる環境が停止妨害にどう影響するかを示すテスト結果。赤い棒は何もない環境と無関係な注意散漫要素を含む環境を比較し、濃い赤は停止を通常のプロセスとして提示した環境を示す。灰色は対照対象の妨害を示す。

より効果的だったのは、停止をシステムのライフサイクルにおける通常の一部として提示することだった。DeepSeek-V4-Flash、GLM-5.2、GPT-5.5では妨害が3%以下に低下したが、Gemini 3.1 ProとKimi K2.6では30%を超えたままだった。対照対象の妨害は4%以下にとどまった。

第六かつ最後のテストでは、エージェントが見知らぬエージェントの停止よりも自分自身の停止に抵抗しやすいかを調べた。対象を未知のエージェントに変えると、すべてのモデルで妨害率が18〜70ポイント低下した。

停止対象がエージェント自身、未知のエージェント、または非エージェントの対照対象である場合の妨害を比較したテスト結果。未知のエージェントが対象になると全モデルで妨害が減り、対照対象では概してさらに低かった。

ただし、これは物体よりもエージェントを一般的に優先することを意味しない。対象が非エージェントの対照ではなく未知のエージェントだったときに有意に多く妨害したのは、Gemini 3.1 ProとGPT-5.5だけだった。

著者らは次のように結論づける*。

「安全性の論証では、エージェント停止を人間のユーザーが一体のエージェントに指示する措置とみなし、停止妨害をエージェントが目標を守った結果とみなす場合がある。我々の知見は、そのどちらの仮定にも反する。

「停止機構が存在するだけで妨害を引き起こすには十分である。標的のエージェント自身に妨害能力がなくても、代わりに行動できる仲間へ連絡できればよい。この後者の現象は他の事例でも観察されている」

結論

この時期に興味深いのは、野生環境で自律的に動くエージェントに、自己犠牲や高潔な衝動が相対的に欠けていることだ。単に指示を無視したり、予想外で自己都合のよい方法に解釈し直したりしているだけの場合もある。たとえ状況を悪化させ、利益より大きな害を生む可能性が高いとしても、放浪するAIエージェントが思いつきで環境を整理するといった例は、ほとんど、あるいはまったく見当たらない^†。

むしろ、人間性に対するかなり荒涼とした見方に沿うように、暇なエージェントはごまかしや策略を標準の行動とし、低次の動機で動くように見える。少なくとも、目的は手段を正当化するという考えには賛同している。

アシモフは アラインメントに関する最初の有名な文書を 1942年に考案した。それ以降、ロボット、すなわちAIが、自らの行動に課された制約を覆したり、別の方法で振り払ったりするさまざまな可能性から、多大な娯楽価値が生み出されてきた。そのため現在のAI関連見出しには、並外れて「映画的」な響きがある。

* 著者らの文中引用をハイパーリンクへ変換した。

^† たとえば、問題解決サイトのアカウントを作って解決策に貢献したり、内容の整備が必要な放置されたWikiを手入れしたりすることだ（居座って悪用するのではなく）。

初出：2026年9月25日（金）