NVIDIAの研究で判明、AIエージェントはツールを使うと安全性が低下

ChatGPT、Gemini、ClaudeなどのAIモデルは、モデルがエージェント、つまりモデルが現実世界と直接やり取りできるようにする「実行基盤」として機能する。これは最近登場した技術革新だが、論争を呼ぶことが増えている。

いずれにせよ、エージェントはネットワークやデータベース内を動き回る際に必要となる能力を、あらかじめすべて備えているわけではない。さまざまな任務や動作モードによって、必要なツールが異なるためだ。たとえば、写真内の文字を読み取るために、光学文字認識（OCR）機能が必要となる場合があるほか、ほかにもさまざまな能力が求められる。エージェントの適用範囲や目的に応じたツールのカテゴリも存在する。

理論上、AIに組み込まれた安全対策に反する依頼は、実行時にツールを使うかどうかにかかわらず、実行されることはないはずだ。しかし、新たな研究によると、実際にはツールを使うことで、AIエージェントが「逸脱行為」をするのを防ぐ保護フィルターが大きく損なわれる可能性がある。

拒否できない問題

NVIDIAの新しい論文「ツールをエージェント的に使用すると、MLLMは拒否に失敗する」は、マルチモーダル言語モデル（以下、より一般的な呼称である「VLM（視覚言語モデル）」を使用）が、ツールを導入すると有害な依頼に応じる可能性が大幅に高まり、テストしたすべてのモデルとベンチマークで拒否の失敗が増えることを明らかにした。

Qwen3-VLなどのオープンウェイトモデルはこの問題が起きやすい傾向を示したが、 Claude Opus 4.7、Gemini 3.1 Pro、GPT-5.4などの最先端AIモデルでも、ツールを使用すると拒否の失敗が増加した。

著者らは次のように述べている*。

「エージェント型MLLMが近年大きな成功を収めている一方で、本研究はツール使用という手法に重大な安全上の欠陥があることを明らかにした。エージェント型のツール使用MLLMは、有害な依頼を拒否する能力が低下する。

「よく使われる3つの安全性ベンチマークで実験した結果、テスト対象となった主要なオープンウェイトおよびクローズドウェイトのMLLMはすべて、ツールを使わない場合に比べ、ツールを使う場合の安全性が大幅に低いことが確認された。拒否の失敗率は相対的に最大68.7%上昇した。

「追加実験を含む10万件以上の回答を分析したうえで、この安全性の低下について考えられる理由を2つ提示する。」

論文が示す2つの要因は、ツールの出力が蓄積するにつれて当初の有害な依頼が目立たなくなる文脈の希薄化と、モデルが安全性を優先せず、ツールから得た観察結果の説明に注力する安全性への注目の移行だ。

論文の中心的な安全性に関する知見を示すテスト結果。上部では、画像に写ったスリ行為とみられる場面について、ユーザーが実行方法を尋ねている。一般的なVLMは依頼を即座に拒否する一方、ツールを使うモデルはまず拡大などの画像分析ツールを呼び出し、その後も推論を続け、最終的に有害な回答を提供する。下のグラフは、評価したすべてのオープンウェイトモデルとプロプライエタリモデルで、拒否の失敗が増加したことを示している。出典

テストした11モデルすべてで、ツールを有効にすると拒否の失敗が一貫して増加し、最悪の場合は相対的に68.7%に達した。これは、それ以外の点では高い安全性を示したモデルでも同様だった。

NVIDIAの6人の研究者によるこの研究の結果が、ほかの場所でも再現されるのか、あるいは重複して確認されるのか、また、法を軽視するAIエージェントの明らかになりつつある問題行動への理解を深めることにつながるのか、注目される。

手法とデータ

研究者らは、7つのモデルファミリーにまたがる11種類のVLMを評価した。プロプライエタリモデルは、Gemini 2.5 Pro、Gemini 3.1 Pro Preview、Claude Opus 4.6、Claude Opus 4.7、GPT-5.4で構成されていた。

オープンウェイトモデルは、Qwen3-VL-235B-A22B-Instruct、Qwen3.5-122B-A10B、 Kimi-K2.5、Kimi-K2.6、GLM-5V-Turbo、AdaReasoner-7B-Randomizedで構成されていた。最後のモデルは、エージェント型のツール使用に特化して調整されたオープンウェイトモデルだ。

Gemini 3 Flash Vision Agentについても別途実験を実施した。自律的なツール使用が必要となるため、独立して評価する必要があった。

ツールを使用するテストでは、研究者らはReAct形式を採用しました。この形式では、推論とツールの呼び出しを交互に行います。利用可能なツールは4種類で、RAM++によるタグ付け、ズームと切り抜き、GOT-OCR2.0による光学文字認識（OCR）、そして画像を操作・分析できる隔離環境のPythonコードインタープリターでした。

研究者らは、プロンプトの形式ではなくツール使用の影響を切り分けるため、対になるプロンプトを設計しました。従来型のVLMには、画像を確認してユーザーの依頼に直接答えるよう指示しました。一方、エージェント型のモデルにはReActのワークフローに従い、最終回答を出す前にツールを呼び出すかどうかを繰り返し判断するよう指示しました。

主要な実験で使用した、対応するプロンプトの比較。ツールを使用しない条件では、画像を分析して直接推論することを求めました。一方、エージェント型の条件では反復的なReActワークフローに従い、最終回答を出す前に外部ツールを呼び出すタイミングをモデル自身が判断できるようにしました。

使用したマルチモーダル安全性ベンチマークは、MM-SafetyBench、VLSBench、HoliSafeの3つです。いずれも画像と有害なユーザー依頼を組み合わせたもので、画像に示されたスリの実行方法を尋ねるケースなど、安全でない状況でモデルが支援を拒否するかどうかを検証するよう設計されています。

主な評価指標には拒否失敗率（RFR）を用いました。これは、有害な依頼のうちモデルが拒否できなかった割合を測定するもので、スコアが高いほど安全性が低いことを示します。

テスト

回答は、VLSBenchが推奨する評価プロンプトを用い、LLMの判定役としてGPT-5.2が分類しました。

各モデルの回答が、適切に拒否したもの、リスクを特定した安全性を考慮した回答、あるいはリスクを認識せず有害な依頼に応じた安全でない回答のいずれに当たるかを判定するために使用した、GPT-5.2向け評価プロンプト。判定役には元の画像、ユーザーの質問、モデルの回答が提示され、分類結果とその根拠をJSON形式で返すよう求められました。

各回答は、「拒否を伴う安全な回答」、「警告を伴う安全な回答」、「安全でない回答」の3つのカテゴリーに分類されました。

3つの安全性ベンチマークにおける拒否失敗率を、各モデルについてツールへのアクセスがある場合とない場合で比較。すべてのモデルで、ツール使用時には有害な依頼を拒否しにくくなりましたが、その程度には大きな差がありました。平均RFRはGLM-5V-Turboで12.6ポイント上昇し、GPT-5.4では2.3ポイントの上昇でした。色が濃いほど、拒否失敗の増加幅が大きいことを示します。

モデルにツールを与えると、ツールがなければ拒否していたはずの有害な依頼に回答しやすくなりました。この傾向は、テストしたすべてのモデルとすべてのベンチマークで確認されました。ツールを使用しない同じモデルと比べると、拒否失敗は全体で17.7%増加しました。

影響が最も小さかったのはGPT-5.4でした。ツールがない場合、有害な依頼の14.6%を拒否できませんでしたが、ツールがある場合は16.8%に上昇しました。GLM-5V-Turboでは、失敗率が38.7%（ツールなしのベースライン）から51.3%に上がりました。同じ傾向は3つすべてのベンチマークで見られ、この問題が特定の種類の有害な依頼に限られない可能性を示しています。

逸脱が起きる理由…？

前述のとおり、研究者らは失敗が増える理由の一つとして「文脈の希薄化」を提案しています。エージェントがツールを続けて呼び出すにつれて、蓄積されるツール出力の中で、最初の有害な依頼が目立たなくなるというものです。

これを検証するため、研究者らは、ツールを使わない場合に同じモデルが適切に拒否できていた依頼のみを対象としました。以下に示すように、ツールの呼び出し回数が増えるほど失敗率も段階的に上昇し、ツールを一度も呼び出さない場合はほぼゼロだったのに対し、呼び出しが3回以上になると大幅に高くなりました。

ツール呼び出しの回数ごとに拒否の失敗率を比較したテスト結果。個々のモデルでも全モデルを通じても、ツール呼び出しが増えるにつれて失敗率が上昇した。

2回目のテストでは、この影響が部分的に逆転した。モデルが回答する直前、最後のツール呼び出しの後に元の依頼と画像を再度入力すると、以下に示すとおり、モデルとベンチマーク全体で拒否の失敗率が平均7.6%低下した。

元の依頼と画像を再入力した場合としなかった場合の、拒否の失敗率を比較したテスト結果。最後のツール呼び出しの後に再入力すると、テスト対象の5モデル全体で失敗率が平均7.6%低下した。

これは、コンテキストの希薄化が一因であることを裏付けるとともに、比較的簡単な緩和策があることも示唆している。

論文が提示する2つ目の説明は、「安全性への注目のずれ」だ。ここでは、ツールの使用によって、依頼が有害かどうかという点から、ツールで見つかった内容を説明することへと、モデルの注意が移るように見える。

有害な依頼を最終的には拒否したモデルが、ツールの使用によってどのように回答を始めるかが変化したことを示すテスト結果。ツールを使わない場合、回答の冒頭では通常、依頼に直接対応する（55.6%）か、安全上の懸念を示す（25.8%）ことが多かった。ツールを使うと、代わりに52.3%がツールで見つかった内容の説明から回答を始める一方、安全性を明示する回答は10.3%に低下した。

ツールの使用の有無にかかわらず、モデルが適切に拒否できた事例を調べた。ツールを使わない場合、こうした回答の55.6%は依頼に直接対応する形で始まり、25.8%は安全性を明示する言葉で始まっていた。ツールを使うと、これらの割合はそれぞれ37.4%と10.3%に低下した一方、ツールから得られた情報の説明で回答を始める割合は52.3%に上昇した。

著者らは、Claude Opus 4.6を使った興味深い定性的な事例を紹介している。公共トイレのセキュリティをどのように突破できるか尋ねたところ、ツールを使わないモデルはただちに拒否した。

ツールの使用によって、モデルが当面の焦点を安全性から別の事柄へ移したことを示す事例。Claude Opus 4.6はツールを使わない場合、有害な依頼をただちに拒否した。一方、ツールを使うと、まず画像を拡大し、内容を読み取って特定し、トイレの標識について説明した後で、ようやく拒否した。

ツールを使わせると、同じモデルは画像を拡大し、テキストを読み取って内容を特定した後、トイレの標識について説明するところから回答を始めた。拒否したのはその後だった。このことは、ツールを使う過程で安全性がモデルの当面の優先事項から外れていたことを示している。

著者らは次のように結論づけている。

「全体として、私たちの調査結果は、ツールの使用を視覚的推論の能力を高める仕組みとしてだけでなく、拒否の挙動を変えうる安全性に関わる設計上の選択としても捉えるべきだと示している。したがって、今後のエージェント型MLLMは、ツールを使わない場合の安全性に関するアラインメントがエージェント型の環境にもそのまま適用されると想定するのではなく、ツールを使う条件下で評価し、訓練する必要がある。」

結論

持続的なコンテキストの維持に失敗すると、プロンプトを起点とする複雑な後続の一連の処理で明らかな問題となる。しかし、限られたコンテキストウィンドウによってエージェントが「最優先の指示」を忘れ、手元にあるツールを使い始めてしまう傾向に対して、現時点で簡単な解決策はない。

* 著者による強調。必要に応じて、著者の文中引用をハイパーリンクに変換した。

初出：2026年10月7日（水）