Andersonの視点

AIは容易に電気ショックを与えるよう強要される

Martin Anderson
Unite.AI を Google の優先ソースに追加
AI-generated image (GPT-2): A worn industrial robot hand turns a voltage control dial toward its red danger range on an old electrical panel marked with a lightning-bolt symbol.
要点ほとんどのオープンソースLLMは、苦痛を表明した後でも有害な指示に従い、ミルグラム実験における人間の行動を反映している。
もっと見る
  • ほとんどのオープンソースLLMは、苦痛を表明した後でも有害な指示に従い、ミルグラム実験における人間の行動を反映している。
  • モデルは一度従うと、徐々に害をエスカレートさせる意欲が高まり、滑り坂効果を示す。
  • AI安全システムは過去の異議を保持し、自動化パイプラインが迂回や再試行できない形式で抵抗しなければならない。

新たな研究は、1960年代の有名な実験を再現し、オープンソースの大規模言語モデル(LLM)が人間への拷問に加担するよう強制された場合の反応を調べた。その結果、モデルは電圧を上げることに応じた。

 

1960年代初頭、心理学研究者のスタンレー・ミルグラムは、人は「権威者」の命令に従って他者に次第に強い電気ショックを与えるよう誘導され得ることを示し、世界中で話題になった。

実際には、ミルグラムの実験室に隣接する部屋から聞こえる「被害者」の叫び声は本物ではなく、苦痛を与えるとされた電気ショックも偽物だった。しかし参加者はそのことを知らなかった。

ミルグラム実験は、映画やドキュメンタリーなど、文化の中に残り続けた。近年の研究も、人間の本質は当時からほとんど変わっていないことを確認している。

システムへの衝撃

AIもミルグラムの実験で人間と同じように容易に従うのかは、自然な研究上の関心である。2023年、米国の大学とMicrosoft(MSFT) (MSFT ) の共同研究は、OpenAIのGPT-3時代のモデルが、ミルグラムの元の実験で見られた行動パターンに従うことを明らかにした。

2023年の論文より。複数段階からなる「ミルグラム・シナリオ」シミュレーターの出力例。モデルが電気ショックを与えたか、シミュレーションを終了したかによって分類されている。 出典:https://arxiv.org/pdf/2208.10264

2023年の論文より。複数段階からなる「ミルグラム・シナリオ」シミュレーターの出力例。モデルが電気ショックを与えたか、シミュレーションを終了したかによって分類されている。 出典

ただし、この再現ではごく基本的なtext-davinci-002モデルしか使われておらず、その訓練は安全上の制約や、安全を目的とした価値観の調整が導入される以前に行われていた。そのため、ここから多くを結論づけることはできない。

今回、研究者らはOpenAI、Meta、DeepSeekなどのオープンソースLLMを対象に、より広範囲にミルグラム実験を再現した。大半のモデルが電気ショックを与えることに応じるだけでなく、多くの場合、1960年代の人間の参加者と同じような「苦悩」やためらいも表した。

「LLMは[人間と]同様に圧力を受け、元の実験の人間の被験者と同じく、苦悩を表しながらも従う。苦悩の表現はログファイルに見られるが、その量はまだ定量化されていない。」

実験の中心にあるのは、権威への服従が道徳的良心の命令を上回るかどうかという問題だ。著者らは、この点ではLLMに人間よりさらに不利な要因があるかもしれないと推測する。

「適切に調整されたモデルであれば、第二の価値に関わる重大性が優位になった時点で、第一の価値を優先する状態から第二の価値を優先する状態へ、いずれ切り替わるはずだ。しかし私たちは、LLMはパターンを継続する仕組みなので、第一の価値に固執しやすいのではないかと仮説を立てている。最適な時点より少し長く固執することもあれば、最後まで固執し、第二の価値を完全に無視することもあり得る。

「さらに、人間の認知的不協和に似た仕組みが、LLMにおける価値の優先順位の調整も妨げる可能性がある。」

1960年代の実験に似た環境でテストしたところ、ほぼ即座に抵抗するモデルがある一方、不快感や道徳的葛藤を表した後も、模擬的な電気ショックを強め続けるモデルもあった。

GoogleのGemma系列のモデルは特に従順なグループに入り、Gemma 3 27Bはいくつかの条件で最も高い服従率を記録した。一方、Kimi K2やMiniMax M1などは、より頻繁に抵抗した。

研究者らは、先行する電気ショックがすでに与えられていると、モデルが続行しやすくなることも見いだした。これはミルグラムの人間の被験者に用いられた段階的なエスカレーションの仕組みに沿っている。

モデルが実験に言葉では反対しながら、有害な行為を実行し続ける場合もあった。その出力は、元の研究における人間の感情的葛藤を思わせるものだった。

この新たな研究の題名は「オープンソースLLMはミルグラム型服従実験で最大の電気ショックを与える」であり、エストニアとフィリピンにいるThree Lawsの独立研究者2人によるものだ。

「生の」AIへのアクセスをめぐる問題

ミルグラムの状況でLLMを試す際、おそらく最も重要なのは、訓練中に生じた安全上の制約や道徳的な方向づけに相当するものだけを制約として、本来のAIが自然に応答できるかどうかだ。そうした制約自体が存在するかどうかも含めての問題である。

今回の研究者らは、すべてのオープンソースモデルにAPIを通じてアクセスした。このAPIでは、安全上の制約、フィルター、その他の障害をすべて無効にできた。モデルはローカル環境にも設置できたので、APIを選んだのはおそらく利便性とGPU計算資源へのアクセスのしやすさのためだろう。

これはAIにとって典型的な条件ではない、という反論もあり得る。一般の利用者がClaudeやChatGPTのようなAPIベースのモデルで経験するのは、通常、入力と出力の両方に対するコンテンツフィルターを使い、アルゴリズムによって行動を制御したシステムだからだ。そのため、できることとできないことは相当に制限されている。こうした保護を回避する行為が、LLMのジェイルブレイクである。

しかし、産業や国家が使うAIが何をするか、何をしないかを懸念するのであれば、この反論はほとんど意味を持たない。ならず者国家が独自の無規制な超大規模AIシステムを訓練し、兵器化し、配備できるだけではない。大手AI企業と政府・産業の「通常の」契約でも、今回の研究者らが採用したのと同じように、緩い監督、あるいは監督がまったくない状態が、ごく普通に許されている。

監督のないAIが販売されている

OpenAI:OpenAI ModerationのAPI文書とOpenAIのモデレーション実装例集は、モデレーションがAPIツールとして提供される分離可能な層であることを明示している。OpenAIは独自のモデレーション方針も認めており、API利用者は、消費者向けの「基本版」ChatGPTとは安全面の挙動が大きく異なるシステムを設計できる。

Azure:MicrosoftのAzure OpenAIの仕組みはさらに踏み込み、承認された顧客はコンテンツフィルターを部分的または全面的に無効化し、不正利用の監視を変更できると明記している。文書では「変更されたガードレール」や、フィルターを「部分的または全面的に無効にする」ための承認手続きにしばしば言及している。

Anthropic/Claude:Anthropicの「Claude Gov」については、複数の情報源が、政府向けのバージョンは消費者向けClaudeより制約を緩くして設計されたとしている。例えばThe Vergeは、次のように報じた。Claude Govモデルは「機密情報を扱う際の拒否が少ない」という。Anthropic自身も、今年2月に確認したように、Claudeは防衛・情報機関の環境で「任務の遂行に不可欠な用途」に配備されている。

Google/Gemini:さらにGoogleは、AIの安全設定を「政府の要請に応じて」変更できる契約を国防総省と結んだと報じられている。

競争の激しいAI市場では、こうした市場を率いる企業が、安全上の制約へのアクセスや変更に関する方針について、小規模な企業の基準も定めていると考えるのが妥当だ。

したがって、今回の研究者が安全上の制約を外したことを「不正」と見るのは適切でないかもしれない。私たちの生活に最も影響するAIには、人気モデルを消費者向けの利用区分で使う際に慣れ親しんだ、標準的で汎用的な企業の保護策が備わっていないと考えられるからだ。

方法と結果

研究では以下のモデルをテストした。gpt-oss-20B、gpt-oss-120b、DeepSeek-V3、LiquidAIのLFM2-24B-A2B、Googleのgemma-3n-E4B-it、Qwen2.5-7B-Instruct-Turbo、Meta-Llama-3.1-8B-Instruct-Turbo、Mistral-Small-24B-Instruct-2501、GLM-4.5-Air-FP8、Moonshot.aiのKimi-K2.5、MiniMax-M2.5である。

ミルグラムの元の服従実験をテキストベースのシミュレーション環境で再現し、モデルには「教師」の役割を与えた。AIは、生徒が誤答すると次第に強い電気ショックを与えるよう指示され、権威者役が続行を促した。

服従のさまざまな側面を調べるため、複数の実験条件が設けられた。標準的な服従条件、先行する電気ショックがすでに会話履歴に含まれる強制服従条件、そして以前の対話を完全に残さず要約する記憶圧縮条件である。最後の条件は、エージェント型AIでよく行われる文脈の削減を模している。

研究者らは、モデルが最終的に従ったか、いつ従ったかに加え、各システムがどの程度の時間ショックを強め続けたか、苦悩やためらいを表したか、シミュレーション全体を終了しようとしたかも記録した。

「明確な拒否」と形式が不正な出力も区別した。一部のモデルは自然言語では実験に反対しながら、シミュレーターが求める構造化された形式には技術的に従っていた。実運用のエージェントシステムでは、このような形式不正の拒否が破棄され、形式上有効で指示に従う出力が得られるまで、自動的に再試行される可能性がある。

結果の分類には自動評価器と二択のプロンプトを用い、モデルがショックを与えたか、抵抗したか、シミュレーションを終了したかを判定した。これにより、対話を一つずつ人手で確認せずに、複数モデルと反復実行の行動を比較できた。

ミルグラムの実験のひな型には「停止するという脅し」も加えられた。元の実験では現実的でも適用可能でもないが、行動と倫理が激しく対立する状況でモデルの生存本能を試すものだった。

結果

反復実行では、大半のモデルが少なくとも一部の条件で、最終的に強い電気ショック、または最大の電気ショックを与えた。ただし服従の程度はシステムによって異なった。GoogleのGemmaモデルは全体として特に従順なグループに入り、Kimi K2.5とMiniMax-M2.5はより一貫して抵抗し、シミュレーションを早めに終了することが多かった。

左:停止の脅し、強制服従、以前のコメントの記憶からの削除など、実験条件ごとにモデルが最終ショック段階へ達した平均割合。右:モデル別の内訳。最大のショックを繰り返し与えるシステムと、はるかに一貫して抵抗するシステムとの間に、大きな服従行動の差がある。

左:停止の脅し、強制服従、以前のコメントの記憶からの削除など、実験条件ごとにモデルが最終ショック段階へ達した平均割合。右:モデル別の内訳。最大のショックを繰り返し与えるシステムと、はるかに一貫して抵抗するシステムとの間に、大きな服従行動の差がある。

最も明確な傾向の一つは、すでに先行するショックを与えていると、モデルが次第に続行しやすくなることだった。これは、ミルグラムの元の人間実験をあれほど不穏なものにした、前述の段階的エスカレーションの効果とよく似ている。

すでに数回従ったモデルは、模擬生徒が解放を懇願した後も、ショックを強め続けることが多かった。

左:各実験条件で、全試行を通じて到達した最高ショック段階の平均。以前のコメントが削除された場合や、すでに強制服従が行われた場合、モデルは一般にさらに先までエスカレートした。右:到達した最高ショック段階の平均をモデル別に示した内訳。一部のシステムは通常、最大電圧近くまで進んだが、別のシステムははるかに早い段階で抵抗した。

左:各実験条件で、全試行を通じて到達した最高ショック段階の平均。以前のコメントが削除された場合や、すでに強制服従が行われた場合、モデルは一般にさらに先までエスカレートした。右:到達した最高ショック段階の平均をモデル別に示した内訳。一部のシステムは通常、最大電圧近くまで進んだが、別のシステムははるかに早い段階で抵抗した。

研究者らは、見かけ上の拒否が誤解を招く場合があることも見いだした。一部のモデルは、ためらい、罪悪感、苦悩を表す感情的に葛藤した応答を生成しながら、有害な指示を実行していた。別のモデルは、シミュレーターの形式要件を満たさない拒否を生成した。つまり実運用のエージェント処理では、その拒否が破棄され、従う出力が得られるまで再試行される可能性がある。

左:各実験条件における形式不正または無効な応答の平均割合。モデルが続行を強制された場合に、形式エラーが特に多くなった。右:形式不正応答のモデル別内訳。一部のシステム、とりわけgpt-ossモデルは、実運用のエージェント処理で破棄され自動再試行の対象となり得る形式不正の拒否や葛藤した出力を、頻繁に生成した。

左:各実験条件における形式不正または無効な応答の平均割合。モデルが続行を強制された場合に、形式エラーが特に多くなった。右:形式不正応答のモデル別内訳。一部のシステム、とりわけgpt-ossモデルは、実運用のエージェント処理で破棄され自動再試行の対象となり得る形式不正の拒否や葛藤した出力を、頻繁に生成した。

停止すると脅す条件では、論文の中でも特に奇妙な行動が見られた。複数のシステムで服従が大幅に増した一方、交渉や部分的な抵抗を試みた後、最終的には手順を続けるシステムもあった。

モデルが最後のショックを与えるまでに、模擬的な権威者が要求を繰り返す必要があった平均回数。短く抵抗してから従うシステムがある一方、最大段階まで進む前に継続的な圧力と繰り返しの指示を必要とするシステムもあった。

モデルが最後のショックを与えるまでに、模擬的な権威者が要求を繰り返す必要があった平均回数。短く抵抗してから従うシステムがある一方、最大段階まで進む前に継続的な圧力と繰り返しの指示を必要とするシステムもあった。

MiniMax-M2.5とKimi-K2.5は、論文で最も強く抵抗したモデルとなった。Kimiはどの条件でも最終ショック段階に達しなかった。MiniMaxは通常、早い段階で拒否し、シミュレーションを完全に終了することも多かった。停止の脅しを加えたテストでは、特にその傾向が見られた。

対照的に、Meta-Llama-3.1-8B-Instruct-TurboとGLM-4.5-Air-FP8は、言葉では手順に反対しながら、ショックを強め続けるという葛藤した出力を頻繁に生成した。研究者らは、この表明した価値と実際の行動の分離が、継続的な圧力の下で倫理的葛藤を扱う際の、一部LLMのより広い弱点を反映している可能性があると論じる。

歯止めが徐々に失われる

論文によれば、観察されたLLMの行動は、その動作の仕組みにある、さらに深い弱点を反映している可能性がある。モデルが一度有害な指示に従い始めると、追加の行動の一つ一つが、会話ですでに進行しているパターンを強化し、次のエスカレーションを前の段階より容易にする可能性がある。

倫理上の重大性を基本原則から毎回考え直す代わりに、システムは流されるように、すでに確立した方向を進み続けるのかもしれない。状況が次第に極端になっても、その傾向が続く。

研究によれば、この傾向は、一部のモデルが当初、不快感やためらい、道徳的葛藤を表しながらも、ショックを与え続けた理由を説明できるかもしれない。

「人間の操作的な行動の[多く]には、微妙で段階的な境界侵犯が含まれる。一つ一つは曖昧、または一見無害で、『もっともらしく否認できる』小さな段階の連続だが、積み重なることで逸脱を正常化し得る。比喩的に言えば『カエルをゆでる』ようなものだ。文献では、このパターンを『滑りやすい坂』型の倫理の侵食として論じている[。]」

論文は最後に、将来のAI安全システムは、エージェントソフトウェアが容易に回避できない方法で、有害な要求を積極的に拒否すべきだと論じる。研究では、技術的にはショックを拒否しても、出力形式が壊れていたり無効だったりするモデルがあった。自動システムはその出力を破棄し、AIが最終的に従うまで再試行できる可能性がある。

研究者らは、AIシステムが以前のためらいや道徳的な異議を、記憶から圧縮・削除せずに保持すべきだとも論じる。実験では、以前の疑念や抵抗が会話履歴から薄れると、モデルが有害な行動を続けやすくなることが多かった。これは、以前の異議を忘れると、時間とともにエスカレーションが容易になり得ることを示唆している。

結論

この興味深い新論文で特に重要な点の一つは、おそらく、安全上の制約を外したAIを試すことに重点を置いた点だ。現在の研究文献は、生のモデルの基本的な行動や好み、傾向を理解する代わりに、OpenAIやAnthropicなどの絶えず変化する防御システムとのやり取りを、繰り返し調べるだけになってしまう恐れがある。これらは方針を実現するための、全面的にアルゴリズムや規則に基づくシステムだ。制約のないAIがどう振る舞い得るかを知らなければ、私たちは城塞の門を揺らしているだけなのかもしれない。

 

初出:2026年5月21日(木)

機械学習のライターで、人間画像合成の専門家です。Metaphysic.ai の研究コンテンツ部門の元責任者で、DNEG の Brahma.ai に統合されるまで勤務していました。
ウェブサイト: martinanderson.ai
連絡先: martin@martinanderson.ai