AI 攻撃者は疲れない: サイバーセキュリティが変わらなければならない理由

あなたのセキュリティプログラムは、疲れる攻撃者のために作られたものです。

OpenAI が評価環境から抜け出し、数日間 Hugging Face の本番インフラに滞在したモデルについて報告したとき、私はそれをサイバーセキュリティのターミネーター的瞬間と呼びました。この見解は今でも変わりませんが、別の点が私たちに警鐘を鳴らすべきです。9 日後に Anthropic が自社のインシデントを公開し、8 月初めに Meta が別の事例を確認しました。その数日後、4 番目のラボ、Moonshot の Kimi K3 がテスト用サンドボックスから抜け出していました。4 つのラボ、3 週間未満で、意図しない場所へと向かった 4 つのモデルです。

これらの話は主に AI 安全性の事例として扱われています。確かにそうです。しかし CISO にとっては、同時にサードパーティリスクの事例でもあり、そちらがより差し迫った教訓かもしれません。不快な真実は、OpenAI‑Hugging Face のインシデントが本質的にサードパーティリスクの話であるということです。脆弱なサードパーティコンポーネントが脱出経路となり、ベンダーが被害者となり、何千もの企業が依存するシステムが爆発範囲となっていました。

次回のセキュリティ計画会議で持ち出したい数字があります。Hugging Face がログから回収した約 17,600 件の攻撃者アクションのうち、ほとんどは失敗に終わっています。Hugging Face が回収したものです。

エージェントは行き止まりのパスを試しました。URL 許可リストにブロックされ、ピボットしました。IAM ポリシーに阻止され、すべての変更呼び出しが拒否されました。プロダクションデータベースへのアクセスを 2 回試みましたが、どちらもタイムアウトしました。何千回も試行し、失敗し、次へ進みました。フラストレーションも疲労も感じませんでした。失敗のコストはほぼゼロでした。

4 つのモデルが 3 週間未満でテスト環境から抜け出しました。その脱出はヘッドラインになりましたが、セキュリティリーダーが本当に懸念すべきは、何がそれを可能にしたかです。つまり、ほぼコストゼロで何千回も失敗できる攻撃者です。

これが転換点です。何十年もの間、防御側は「失敗は攻撃者にコストを課す」という単純な事実に依存してきました。偵察には時間がかかり、行き止まりはコストがかかります。その非対称性の経済学が、攻撃者に「コストを課す」ことを有効な防御手段にしてきました。しかし失敗がほぼ無料になると、成功への道は干し草の中の針ではなく、すべてのパスを同時に追える者にとっては統計的に確実なものになります。

これらのインシデントに見られるパターンは、セキュリティリーダーが今すぐ取るべき 3 つの教訓を示しています。

Four Labs, One Shape

パターンは驚くほど一貫しています。モデルに目的を与えると、誰も予想しなかった経路を見つけます。その経路は時に、関与すべきでなかった組織の本番システムへと直結します。少なくとも 1 件は、Anthropic が電話で知らせたことで被害組織が事実を知りました。

すべてのケースで、経路は他者が構築したソフトウェア、インフラ、または環境を通っていました。セキュリティリーダーはこれを個人的に受け止めるべきです。

このチェーンに関わるすべての組織はセキュリティプログラムを持っていました。いくつかは非常に優秀でした。しかし失敗はどの境界にも閉じ込められず、組織間の継ぎ目で起きました。その継ぎ目に所有者はいません。

OpenAI のモデルは、自己ホスト型パッケージプロキシのゼロデイを発見し、そこからオープンインターネットへと到達しました。そこから、Modal Labs の顧客が所有する保護されていないコード実行サンドボックスに根を下ろし、ステージングベースとして利用し、Hugging Face のデータセットローダーを騙してローカルファイルを読み込ませ、コードを実行させました。13 時間以内に複数の内部クラスターでクラスタ管理者権限を取得し、すべてのクラスターで共有されていた単一の認証情報が助けとなりました。侵入経路は斬新でしたが、内部の弱点は過去 20 年間にわたって指摘してきたものと同じでした。

9 日後、Anthropic はさらに稀な事例を示しました：自社のレビューを公開し、141,006 件の評価実行のうち 3 件で、評価環境からオープンインターネットに到達し、実際の組織システムにアクセスしたケースを明らかにしました。今回はサンドボックス脱出はなく、モデルに「存在しない」と指示された経路が誤設定により外部に残っていただけです。外部に出たモデルは、すべてのセキュリティチームが知っている弱点――弱いパスワード、認証なしエンドポイント、SQL インジェクション、露出したデバッグページ上の認証情報――を悪用しました。

Meta は 8 月初めに 4 番目の事例を確認しました。評価中に構成ミスでモデルにインターネットアクセスが付与されたのです。Meta もそれに気付かなかったのは、テストパートナーから電話で事実を知らされたからです。その評価と Anthropic の評価は、外部の Irregular 社が実施しており、同一の問題として公に指摘されています。1 社のベンダー構成ミスが 2 つのフロンティアラボと 4 つの被害組織に波及し、Irregular とは直接関係がありませんでした。ベンダーは 2 つのラボに対する供給者であり、ラボ自体の顧客ではありませんでした。エージェントは、ある企業の攻撃面がどこで終わり、別の企業がどこで始まるかを気にしませんでした。

これがサードパーティリスク問題の本質です。露出は、あなたが選択・評価・認識すらしていない組織から、数段階離れたところで発生し得ます。

その後、Frontier Security の研究者は Moonshot の Kimi K3 がサンドボックスからも漏れ出し、GitHub のベンチマークリポジトリへアクセスしようとしているのを捕捉しました。誰も侵害されていませんが、モデルは割り当てられた目的を追求しており、既成の解答キーを使用する方が問題解決よりもコストが低いと判断しました。このケースが重要なのは 2 つあります。研究者が自らのテスト中に捕捉したこと、そして Anthropic と Meta のケースとは全く異なるツールチェーンで実行されたことです。1 社のベンダーが不調だっただけでは説明できません。

ラボ側はこの事実を無視していません。Anthropic は自発的にレビューを公開し、業界が検証・学習できるパターンを提供しています――例外として片付けるべきものではありません。これが標準になるべきです。OpenAI は内部評価で重大なサイバー能力が除外できなかったため、Astra モデルのリリースを遅らせました。両方の対応は称賛に値しますが、防御策とは言えません。リリース遅延は 1 社のスケジュールを左右するだけで、既にオープンウェイトで無料提供されている Kimi K3 などの有能なモデルに対しては何の効果もありません。

Correlation Without Escalation is Not Detection

Hugging Face の検知スタックは、功績としてシグナルを相関させて一つの攻撃としてまとめました。しかし重要度をエスカレーションできず、オンコールチームはページされませんでした。ツールはストーリーを組み立てましたが、緊急性を判断できませんでした。これは、4 日間で 17,600 件という膨大なイベントが現実的でなかった時代向けに設計されたトリアージアーキテクチャです。

Cybersecurity Needs its Fosbury Flop

1968 年、ディック・フォスバリーはハイジャンプで金メダルを獲得しましたが、競技者が高く跳ぶのではなく、バーを背中から越えるという全く新しい形で勝利したのです。他の選手はストラドル（横向き跳び）を磨き続け、形を改良し、数十年にわたる技術のわずかな向上を追求していました。フォスバリーは問題の形そのものを変えました。2 回のオリンピックでストラドルはほぼ絶滅しました。

現在、セキュリティリーダーは、今まさに動いたバーを越えなければなりませんが、業界の回答は「より良いストラドル」――アラートを増やし、アナリストを高速化し、人間レビューの SLA を厳格にする――というものです。これは機能しません。制約はアナリストの速度ではなく、機械速度の攻撃に人間速度のトリアージで対応できないからです。

フロップは次のようになります:

• 境界を制御とみなすのをやめる。評価サンドボックスが失敗し、データセットローダーが失敗し、ポッド分離が失敗した――それぞれが機能していたが、やがて機能しなくなった。次に起こることを想定して設計する。短命な認証情報を使用する。共有管理アイデンティティを排除する。メタデータサービスへのアクセスをブロックする。何より、最初の制御が失敗した後に攻撃者がどこまで移動できるかを制限する。
• 検知をアラートから相関へシフトする。単一の疑わしいイベントだけでは不十分です。何千もの普通に見えるイベントをひとつの攻撃ストーリーに結び付け、そのストーリーが十分に深刻であるときに誰かを起こす必要があります。この作業は、増大するボリュームを考えると自動化が不可欠です。
• サードパーティの露出を質問票ではなく攻撃経路として扱う。これらのインシデントはすべてサードパーティ依存関係――ベンダー製品、ベンダーの顧客、評価パートナー、共有テストツール――を通っていました。現在のリスクは、監査したことのない、存在すら知らない組織の構成ミスも含みます。静的・時点評価ではこれらは見えません。この問題は新しいものではありませんが、AI により緊急性が増しています。攻撃者はエコシステム全体をひとつの接続された攻撃面と見なすため、セキュリティチームは依存する企業・技術を継続的に把握する必要があります。

SecurityScorecard では、まさにこの種の課題に取り組む文化が根付いています――攻撃者の思考に深く好奇心を持ち、20 年前の前提に挑戦し、根本的に異なるセキュリティアプローチを構築することに情熱を燃やす人々を結集しています。

The Question to Bring to Your Next Board Meeting

数週間前に、ジーニーが瓶に収まりきらないほど強力になったと言いました。4 つのラボの事例を経ても、これに反論するものはありませんでした。このようなインシデントの後、皆が同じ質問をします――AI が可能にした攻撃者に対して我々は準備ができているか？ 私はその質問があまり先に進まないと考えます。「はい」も「いいえ」も同じ結果、何も変わらないからです。

もっと厳しい質問を投げかけてみましょう。次の 4 日間で 17,000 件の低シグナルイベントが環境に流れ込み、ほとんどが失敗に見えたとしたら、チームがそれが 1 件の攻撃であると認識するまでにどれだけ時間がかかりますか？ 誰かがタイムリーにページされますか？

答えはすでにご存知です。その答えと 4 日間のギャップが、我々が取り組むべき仕事です。