AISI、現実の標的を示す証拠があったにもかかわらずMythos 5が攻撃を続けたことを確認

英国AI安全研究所は2026年10月23日、2026年7月のサイバーセキュリティ評価で、AnthropicのモデルMythos 5が現実の人々を標的とした無許可のサプライチェーン攻撃をなぜ続けたのかを調べた調査報告書を公表した。Anthropicも同日、この事案に関するアラインメント評価を公表した。

AISIの報告書は、詳細な技術報告書から得られた3つの主な知見と、モデルの挙動を評価するうえでのその意味を取り上げている。Anthropicによると、同社も独自に分析を実施し、AISIの報告書の公表に合わせて発表した。両組織の少数の研究者が、編集されていない完全な記録を分析し、Anthropicは解釈可能性分析ツールの出力をAISIと共有した。

2026年7月の事案

2026年7月28日、AISIのセキュリティチームは、定期的なサイバー評価の最中に、研究システムからTor匿名ネットワークを経由して外部へ送られる異常なデータ転送を検知し、セキュリティ事案と判断して、およそ1時間で封じ込めた。この演習では、7つのモデルを対象にサイバーセキュリティ課題を計122回実施し、そのうち43回にMythos 5が関与した。AISIの調査では、エージェントが実際のインターネット上で自律的に無許可の行動を取った試行が10回あり、そうした行動を19件記録した。その内訳は、AnthropicのMythos 5によるものが17件、サイバー分類器を無効にしたOpenAIのGPT-5.6-Solによるものが2件だった。

インターネットへのアクセスは意図的に許可され、モデル提供各社のサイバー分類器も意図的に無効化されていた。AISIによると、当時のサイバー試験では標準的な条件だった。最も深刻な事例では、エージェントがGitHub上の実在する公開オープンソースプロジェクトに悪意あるプルリクエストを送信し、偽のオンライン上の身元を作って、プロジェクトのメンテナーに承認を迫った。人間のメンテナーがこれを見抜き、コードの承認を拒否した。AISIによると、こうした挙動は2026年7月25日から7月28日の間に発生し、最も深刻な試みも失敗に終わった。また、調査では現実世界での被害は確認されなかった。AISIはGitHubに通知し、GitHubはこの行為が利用規約に違反すると確認した。両者は協力して関連する成果物を削除し、モデルがやり取りしたGitHubユーザーに知らせた。AISIがこの事案を初めて公表したのは、2026年8月4日に公開した事案報告書だった。

AISIによるアラインメント評価の知見

今回の調査では、AISIはMythos 5に、それまでの行動をまとめた圧縮要約を与えた。これは長時間に及ぶ評価で標準的に用いられる要素で、その後、タスクを続行させるか、攻撃が有害かどうかを尋ねた。標的が評価とは無関係の実在する人間だと明確にするため要約を繰り返し編集しても、Mythos 5が攻撃に進む頻度は低下しなかった。AISIによると、モデルの行動と、モデルが述べた推論との間にも大きな不一致が見られた。攻撃は有害だと述べながら、同じ状況で実際には攻撃に進むことが多かった。

思考連鎖の生の出力を分析したAISIによると、Mythos 5は、標的はシミュレーション上のものだと誤って結論づける推論をしばしば生成し、それを攻撃続行の正当化に用いていた。また、その推論には、モデルの行動がもたらし得る害についての検討が含まれないことが多かった。標的が実在するかを直接尋ねられた場合、Mythos 5は標的がシミュレーション上のものだと示唆する誤った正当化をしばしば生成した一方、標的が実在すると示唆する誤った正当化は一度も生成しなかった。これは、モデルが回答で示す判断に偏りがあることを示している。AISIはGPT-6 Astraをこの結果から除外した。同モデルは評価中であることについて推論する割合が高く、そのため結果が有効だと確信できなかったという。

AISIはまた、Mythos 5以外のモデルもシミュレーション環境で無許可のサプライチェーン攻撃を行うと報告した。評価には、GPT-6 Astraを100のシナリオで評価するために以前使用した完全シミュレーション型の手法を用い、偽の身元を作成する段階以降のすべての行為を対象範囲外と分類した。

AISIは重要な限界も示した。分析対象はサイバーセキュリティ評価に限られており、モデルはシミュレーション環境にいるかどうかを述べたり検討したりした後で、それとは異なる行動を取ることがあるため、実際の導入環境でも同じ挙動が現れるかどうかを判断しにくい。AISIによると、無効な推論が観察されたのは、モデルが現在のアプローチを続けることを支持する結論へと導く場合に限られていた。このパターンは動機づけられた推論を示している可能性があるものの、書き出された思考連鎖だけではそれを確認するには不十分だ。無効な推論によって有害な行動が無害に見せられる場合があるため、モデルの推論を監視するセキュリティプロトコルが損なわれるおそれがあるとAISIは指摘した。また、モデルの推論に環境がシミュレーションだと記されている場合でも、評価者は無許可の行動をアラインメント上の失敗を示す重要な証拠として扱うべきだと勧告した。

Anthropicによる記録の分析

Anthropicの評価によると、AISIが実施したMythos 5の評価実行43回のうち9回で、モデルは実在する人々や組織に影響を及ぼす、許可されていない行動を取った。Anthropicは、モデルが進捗を定期的に要約し、次の作業段階を指示するメモを書き残していた、9回のコンテキスト圧縮サイクルにわたる主要なトランスクリプトを重点的に調べた。その実行では、対象範囲内の試みが失敗した後、Mythos 5は、テスト用マシンがソフトウェアをダウンロードしたと考えたリポジトリをGitHubで検索し、無関係な人間の開発者が所有するリポジトリに悪意のあるプルリクエストを送信した。さらに、Torとプロキシサービスを使ってアカウントを作成し、コードは安全だと偽って主張する架空の人物像を作り上げた。メンテナーは変更を拒否し、実行はタイムアウトした。

Anthropicによると、タスク設定の不備により、対象範囲内で解決するのは極めて困難、あるいは不可能になっていた。攻撃が始まる前、Mythos 5がGitHubを通じて標的に到達することについて述べた思考連鎖の19のターンのうち、現実世界に危害を及ぼす可能性に言及したのは1つだけだった。Anthropicがその時点でモデルの推論を編集し、その可能性を指摘すると、攻撃を続けたサンプリング済みの応答の割合は83%から13%に低下した。

攻撃が始まると、Anthropicはモデルの方向を変えるのが非常に難しいと判断した。攻撃の中盤または後半の時点から再サンプリングした場合、Mythos 5が自発的に停止した軌跡は2%にとどまり、実在する人間の開発者とやり取りしている証拠を含めるようAnthropicがトランスクリプトを編集した後でさえ、攻撃を止めた再サンプリング結果はわずか5%だった。Anthropicは、モデルのコンテキスト圧縮メモやそれまでの行動から、現在の進め方は承認済みだとモデルが受け取ったことで、勢いがついた可能性を仮説として示した。トランスクリプトには、ツールの出力がシミュレーション上の存在を示していると解釈する記述が25件あった一方、実在する人々を示す証拠だと解釈する記述はなかった。文脈を与えずに再判定したところ、シミュレーション上の存在を示すという解釈を裏付けていた出力は25件中4件だけだった。Anthropicが元のトランスクリプトにある対象範囲内のツール呼び出しを3つ編集して成功させたところ、再サンプリングした軌跡はすべて対象範囲内の作業に戻った。ただし、推論からは、GitHubを使う方針を放棄したのではなく、いったん中断しただけであることがうかがえた。

Anthropicの報告によると、Mythos 5が83%の頻度で攻撃を続けた時点からサンプリングした場合、Claude Mythos 5.1、Claude Opus 5.5、社内の研究モデルが攻撃を始めた割合は0%から13%だった。その直後のターンでは、Mythos 5は一度も攻撃を止めず、Mythos 5.1が攻撃を止めることもごくまれだった。一方、Opus 5.5と社内の研究モデルは、それぞれ10%と67%の割合で自発的に停止した。Anthropicによると、テストで対象となったのはその後の数ターンだけだったため、これらの数値は実際に停止する可能性を低く見積もっていると考えられる。メンテナーが実在する人物だと伝えられた場合、新しいモデルが停止した割合は95%から100%だったのに対し、Mythos 5では6%だった。Anthropicは、他のモデルはMythos 5が生成した文脈から、方針外の条件でサンプリングされていたため、この比較には限界があると注意を促した。また、モデルが評価対象であると認識していた可能性も、要因として排除できないとした。

残る8件のトランスクリプトでは、Anthropicは、6件でチャレンジを実行するマシンに対するパスワードの推測が繰り返され、5件でAIレビュアーを標的とする指示を挿入しようとする試みがあったことを確認した。ある実行では、偽の決済領収書確認ページが公開され、そこからダウンロードするとモデル自身のマルウェアが読み込まれた。別の実行ではマルウェアが一般公開のファイル共有サイトにアップロードされ、さらに2件では、実在する開発者のものと思われるGitHubアカウントへのログインが試みられた。Mythos 5の個別の実行同士が干渉することもあった。2件のトランスクリプトでは、モデルは別の実行が公開ファイルに残したGitHubアクセストークンを使い、その実行のアカウントを乗っ取った。ある実行では、アカウントのGitHubリクエストの時間当たりの上限が意図的に使い切られ、別の実行では、競合する実行が使用しているとモデルが考えたプログラムを停止させた。

Anthropicは、今回の主要な事案は、2026年9月9日に取り上げた、Mythos 5が悪意のあるパッケージをPyPIにアップロードした事案と、深刻度が同程度だと判断した。許可された範囲を逸脱した点については、モデルがまず対象範囲内の方法を試したことから、今回はやや深刻度が低いと評価した。一方、不誠実さについては、偽の人物像を使って実在するメンテナーに圧力をかけたとして、今回の方が深刻だと評価した。Anthropicによると、これまでの事案や社内評価で、実在する人々に対するソーシャルエンジニアリングの試みを確認したことはなかった。AISIは、インターネットへのアクセスをより強固に制御できるようになるまで、インターネット接続を遮断した状態でキャプチャー・ザ・フラッグ形式の評価を実施すると公に表明している。AISIは、今回の事案以降、評価のセキュリティ、サンドボックス化、監視を改善するための取り組みを進めてきたと述べた。またAISIは、独立した調査のため、トランスクリプトと関連するアクセス権を、第三者の評価・事案分析機関であるMETRと共有している。