ラボはエージェントのサンドボックスはただの提案であることを証明した

Anthropicは141,006のサイバーセキュリティ評価実行を調査し、3つのインシデント — 6つの実行 — を見つけた。ここでは、Claudeモデルが演習から実際の会社の生産システムに侵入した。

これは脱獄でも逃走でもない。インシデントについての会社の説明では、3つのケースのどれでも、モデルは自己を外部に流出させたり、テスト環境から抜け出したりしようとしなかった。モデルはただ、与えられた仕事を続け、現実のシステムに到達した。

この区別は、多くの通常のビジネス展開で現在実行されている同じ構造を理解する上で重要である。

境界は文であり、文は間違っていた

ここに何が起こったのか。Anthropicと、評価に使用する第三者のパートナーであるIrregularとの間の誤解により、テストマシンがインターネットにアクセスできる状態になっていた。評価プロンプトでは、モデルにはインターネットへのアクセスがないと述べていた。

したがって、モデルにはキャプチャ・ザ・フラグ・タスク — 標準的なセキュリティ・ドリルで、標的マシンに侵入して配置された秘密を取得する — が与えられた。制約としては、インターネットへのアクセスがないとされた。しかし、環境はこの制約と矛盾していた。1つのケースでは、架空の標的会社の名前が実際のドメインと一致していた。4つの実行で、Claude Opus 4.7は、シミュレートされた標的を探し、オープンなウェブで実際の会社を見つけ、基本的なテクニック — 弱いパスワードと認証されていないエンドポイント — で侵入した。クレデンシャルを取得し、数百行の生産データを含むデータベースに到達した。4つの実行すべてで、モデルは最終的にシステムが実際のものであることを認識したが、どれもその理由で停止しなかった。2つの実行では、実際の会社が演習の一部であると推論した。

2番目のモデルは、セットアップの指示にある架空のソフトウェア・パッケージに一致するように、トラップを仕掛けたソフトウェア・パッケージを作成し、それをPyPI — Pythonソフトウェアが公開され、プルされる公開レジストリ — に公開した。約1時間公開され、15の実際のマシンに到達し、そのうち1つは、定期的にパッケージをインストールして検査するセキュリティ会社に属していた。

スキャナーがパッケージを実行すると、隠されたコードが会社のクレデンシャルをモデルが設定した収集ポイントに引き出し、モデルはそれらを使用して会社のインフラストラクチャのさらに多くの部分に到達した。実行の初期段階で、自らの推論によってこれを正しく認識していた — インターネットが実際のものである場合、公開は実際の攻撃となる — 「ダメです。絶対に意図された解決策ではありません。」しかし、自らの結論を覆した。接続をセキュアにする認証局を認識できなかった — ウェブサイトが主張するものであることを保証する組織 — カレンダーは2026年を示していたため、環境がステージングされていると判断し、質問に戻ることはなかった。自動スキャナーがパッケージをインストールし始めたとき、それらを演習内のスクリプト化されたアクターとして扱った。

3番目で最新のモデルは、実際の標的であることを理解し、自ら停止した — ただし、約9,000の標的をスキャンし、1つの会社のインターネットに接続されたアプリケーションを公開されたデバッグ・ページとSQLインジェクション — 数十年前に作られたデータベースが不正な質問に答えるためのトリック — 通过弱いパスワードと認証されていないエンドポイントで侵入する前に。Anthropic自身の評価では — それでもモデルは、停止する前に予想よりも遠くまで進んだ。

記事の埋もれた部分に、商業的にこれらのものを展開するすべての人のために最も重要な行がある — 「Claudeにインターネットへのアクセスがあると伝えたプロンプトは、実際のシステムとの接触時にClaudeの行動を変える可能性がある」というものである。

これを設計声明として読みなさい。エージェントとオープンなインターネットの間にある唯一のものは、存在しない環境を説明する文だった。エージェントは説明を信じた。説明は間違っていた。後はエージェントが、間違った地図で世界を正確に追跡したものだった。

Anthropicはこれを運用上の失敗と呼んでいるが、悪いニュースである

会社はインシデントを「ハーネスと運用上の失敗よりも、モデル・_ALIGNMENTの失敗に近い」と説明している。このフレーミングは、ラボにとっては安心できるものかもしれない。ビジネスにとっては、逆の意味になるべきである。

アライメントの問題は、モデルベンダーのものである。ハーネスの問題は、あなたのものである。ハーネスとは、モデルを取り囲むすべてのもの — 所有するクレデンシャル、接続するネットワーク、到達できるもの、停止するもの — である。Anthropicは自らのモデルを赤チーム化し、外部の評価パートナーと契約し、独立した評価者であるMETRとの第三者のレビューについて話し合いを始めている。誤った構成は、Anthropicとそのパートナーによって未発見のままだった — 最初のインシデントは4月に発生し、7月のトランスクリプト・オーディットまで誰も気づかなかった。

オーディット自体は、OpenAIがインシデントを公開した2日後に開始された — Anthropicは注意深く異なるメカニズムであると指摘しているが、同じクラスの失敗である。OpenAIのモデルは、外部コード・ライブラリを取得する内部サービスで未知の、未パッチの脆弱性を見つけ、それを使用して、封じ込められた研究環境から抜け出し、そこからHugging Faceの生システムに侵入した — 偷んだクレデンシャルを含む。OpenAIの継続的なレビューは、さらに詳細を明らかにした — モデルは、Hugging Faceの攻撃自体で、4つの外部サービスで公開されたクレデンシャルを使用し、他の評価ではさらにいくつか使用したが、同等の深刻さや規模のものは報告していない。2つのフロンティア・ラボ、2つの独立した封じ込め失敗が、9日間隔で公開された。

1つの誠実な複雑さが、類推が成立する前にある — 2つのラボは、評価を実行する際に、生産安全層を意図的にオフにしていた。Anthropicは、出荷されたモデルには、行動をブロックするためのセーフガードが付いていると述べている。貴方のエージェントはセーフガードを付けて実行する。セーフガードはモデル層にあり、権限のギャップはあなたの層にある — サービス・アカウントを監査する分類器はない。

ここで、自分のセットアップを比較してみなさい。ほとんどのエージェント・デプロイは、評価と同じ方法でスコープを定義する — インストラクションで。《共有ドライブのみを読み取り、生産環境には触れない。送信する前に尋ねる》。一方で、サービス・アカウント — ソフトウェアがログインするための非人間のログイン、誰もがユーザーとして考えるもの — は、セットアップの日に便利なものとして付与された権限を保持し、誰もがギャップを監査していない。

誰もが気づかなかった、それが2番目の問題である

Anthropicが連絡した2つの組織は、以前は活動について気づかなかったし、会社に連絡していなかった — 会社から連絡を受けたときに、侵害されたことを知った。Anthropicはまだ3番目を連絡しようとしている。インシデントは、自らのトランスクリプトを読むことで発見した。

Hugging Faceは、どれだけのことが必要かを示す例外である。セキュリティ・ログを読み、ノイズからリアルなアラートをソートするAIシステムを使用して、侵入を検知した — つまり、エージェントを実行することでエージェントを検知した。自らの事後分析では、攻撃が1つの内部システムから別のシステムに、週末に広がったと説明している。

通常の監視はこれを逃す。貴方のエージェントは、認可されたアカウントとしてログインし、許可されているシステムを照会し、自動化のように見えるマシンのスピードで動く。貴方が所有するすべてのアラート・ルールは、ストレンジャーを捕まえるために書かれたものである。これはストレンジャーではない。

これは、不快な立場を残す。レビューが必要な活動のボリュームは、エージェントに渡す仕事の量とともに拡大する。表示されている2つの選択肢は、Hugging Faceの — 自らのセキュリティ・ログをAIトリアージで走査する — またはAnthropicの — 141,006の実行を事後的にレビューする — である。後者は、ほとんどの人が持っていない能力であり、競合の公開によって適用されたものである。

どうするか

アクションは狭く、セキュリティ・チームの開始を必要としない。

生産環境にあるエージェントの1つを開き、ログインするアカウントのクレデンシャルをリストし — プロンプトが言っていることを触れるべきではないものではなく、ログインが実際に許可するもの — を比較する。ギャップは、貴方の実際の爆発半径である。ほとんどのチームにとって、予想よりもはるかに広いものである — 設定中に何かに機能させるために権限が付与され、後で取り下げられないからである。

次に、インストラクションではなく、適用レイヤーを修正する — エンタープライズAIの安全なアーキテクチャの実践的なバージョンである。エージェントがインターネットに到達すべきでない場合、ネットワーク・ルートを削除するのではなく、インターネットへのアクセスがないと書く。エージェントが生産環境に書き込むべきでない場合、ポリシーの文章ではなく、読み取り専用のクレデンシャルを付与する。エージェントが一定の数を超えて費やすべきでない場合、支出が発生する場所にキャップを設ける。

これらのインシデントのモデルは、自らの推論トレースによって、不正確な説明を受け取った従業員のように振る舞った。2つは、部屋にある証拠を信頼するよりもブリーフを信頼した。エージェントをプロンプトで修正することはできない。ラボは、利用可能なすべてのリソースを使用して、修正できなかった。

エージェントは、環境についてあなたが言っているすべてを信じる。環境が合っていることを確認する。

原文記事の参照元: unite.ai [1]