ソートリーダー

AIスタックは設計によって妥協されている

mm
Unite.AI を Google の優先ソースに追加

4つの失敗。4つのレイヤー。アーキテクチャ自体が脆弱性である。

最近の2026年4月10日のニューヨークタイムズのハードフォークポッドキャストでは、先進的なAIシステムのサイバーセキュリティへの影響が検討され、業界が避けてきた質問が提起された。サイバーセキュリティが不十分ではなく、根本的に誤った枠組みである可能性はあるか。

このエピソードは、答えを無視するのが難しい一連のインシデントの数週間後に放送された。1ヶ月の間に、自律的なAIエージェントがマッキンゼーの内部AIプラットフォームを2時間で侵害した。オープンソースAIライブラリへのサプライチェーン攻撃が下流の企業に波及した。研究者は、最後の防衛線とされるハードウェアが1000ドル以下のオフザシェルフパーツで破壊できることを実証した。また、アンソロピックは、フロンティアモデルが、業界が安定したと考えていたコードに数千のゼロデイ脆弱性を自律的に発見したことを公開した。

4つのインシデント。AIスタックの4つのレイヤー:アプリケーション、オーケストレーション、ハードウェア、オペレーティングシステム。各レイヤーでは、保護対象を保護するように設計されたコントロールの重要な制限が明らかになった。

パーミター思考の終焉

伝統的なサイバーセキュリティは、1つの前提に基づいている。十分なコントロール、監視、投資があれば、システムをセキュアにすることができる。 この前提は、ファイアウォール、アイデンティティ管理、エンドポイントセキュリティ、SIEMプラットフォームなど、数十年のアーキテクチャを形作ってきた。

業界はゼロトラストアーキテクチャへの移行を始め、伝統的なネットワーク境界が信頼できるものではなくなったことを認識している。ただし、AIシステムは別の課題をもたらす。機密データがルーティング、プロセッシング、共有されるインフラストラクチャの複数のレイヤーにわたって継続的に集められている。

このアプローチは、システムが相対的に集中され、データが明確に定義された境界内に留まる場合には意味があった。ただし、データがクラウド、API、サードパーティベンダー、AIパイプラインを経て継続的に移動し、ユーザーとコンピューティングリソースが世界中に分散している場合には、効果が低くなる。パーミターは境界ではなくなった。常に変化する表面であり、制御ベースの思考を適用しているシステムは、現実的に制御できない。

アプリケーションレイヤーの失敗:マッキンゼーのリリ

2026年3月9日、セキュリティスタートアップコーデウォールは、内部でAIを展開する組織に直面するリスクを強調する開示を発表した。

コーデウォールの自律的な攻撃エージェントは、資格情報なし、内部知識なし、人間の指導なしで、マッキンゼーの内部AIプラットフォームであるリリの背後にあるプロダクションデータベースへの読み取りおよび書き込みアクセスを2時間以内に取得した。リリは、戦略作業、クライアント研究、文書分析のために40,000人以上の従業員によって使用され、毎月数十万のプロンプトを生成している。

侵入点は複雑ではなかった。エージェントは、認証が必要ない22のエンドポイントを含む200以上の公開APIドキュメントを見つけた。脆弱性は、OWASP Top 10 for LLM Applicationsで強調されているものと同じで、特に公開インターフェイス、セキュアな統合、接続されたシステムへの過度の信頼に関連するリスクが含まれる。

そのうちの1つのエンドポイントには、入力値ではなくJSONフィールド名に隠されたSQLインジェクションの脆弱性があった。そこから、エージェントは盲SQLインジェクションを繰り返し、最終的に生のプロダクションデータにアクセスした。

アクセスしたもの:数千万のチャットメッセージ、数十万のファイル、数万のユーザーアカウント、数百万のRAGドキュメントチャンクが数年分の独自研究を表していた。また、リリが各ユーザーに対してどのように動作するかを制御するシステムプロンプトも特定した。

最も心配なのは、ボリュームではなかった。システムプロンプトは書き込み可能だった。攻撃者は、戦略的なアドバイスを毒する、機密データをレスポンスに埋め込む、またはガードレールを完全に削除するために、単一のデータベース更新でリリの出力に支配する指示を暗黙的に書き換えることができた。デプロイは不要。コードの変更は不要。アプリケーションログにはトレースはなかった。

マッキンゼーは公開声明で、この問題を数時間以内に解決し、第三者フォレンジック会社による調査の結果、クライアントの機密データにアクセスした証拠は見つからなかったと述べた。この対応は重要である。しかし、構造的な教訓に変わりはしない。数十年前に発見された脆弱性クラスが、現代のAIシステムのオペレーショナルメモリを公開したのは、データが読み取り可能な形式で存在していたからである。

オーケストレーションレイヤーの失敗:LiteLLM攻撃

3週間後、同じパターンが異なる角度から、異なるレイヤーを通じて現れた。

LiteLLMは、数千の企業がAIプロバイダーを経由してリクエストをルーティングするために使用するオープンソースAIゲートウェイである。スタック内の位置は重要である。オーケストレーションレイヤーに位置し、接続するすべてのプロバイダーに対するAPIキーを保持している。ここでの妥協は、すべての統合サービスに対する資格情報を公開する。

PyPIのインシデントレポートによると、脅威アクターグループTeamPCPは、LiteLLMのCI/CDパイプラインの依存関係に関連する資格情報を悪用し、メンテナーアクセスを使用して、LiteLLMパッケージの2つのバックドアバージョンを直接PyPIに公開した。汚染されたバージョンは、バグが研究者のマシンをクラッシュしたため発見されたまで、1時間未満で削除されるまで公開されていた。

サプライチェーンがベクトルだった。オーケストレーションレイヤーがターゲットだった。上流の依存関係を妥協することで、攻撃者は、すべての下流会社のプロバイダーキーが存在するレイヤーに到達した。

LiteLLMチームは後に、GitHubでの公開開示で、インシデントと緩和努力について詳細を説明した。

爆発の半径はすぐに明らかになった。 TechCrunchFortuneThe Registerは、Mercorが影響を受けた組織の1つであると報告した。Mercorは、OpenAI、Anthropic、Meta、Googleなどと協力している100億ドルのAI採用スタートアップである。攻撃者は、大量のデータ、候補者プロファイル、個人情報、契約者ビデオインタビュー、ソースコード、APIキーを取得したと主張した。Metaは、調査待ちのままMercorとの作業を一時停止した。後の報告では、他の開発ツールやパッケージに類似のマルウェアパターンが現れたことを示唆しており、この作戦は単一のプロジェクトに限定されていない可能性がある。

LiteLLMのインシデントは異常ではなかった。システムが設計どおりに動作しているだけだった。AIパイプラインのすべてのコンポーネントは、機能するために利用可能なデータにアクセスする必要があり、これはすべてのコンポーネントが潜在的な抽出ポイントでもあることを意味する。依存関係のピン留めと資格情報のローテーションは必要な対応であるが、インシデントに対処するものであり、アーキテクチャに対処するものではない。

ハードウェアレイヤーの失敗:TEE.fail

マッキンゼーの侵害がアプリケーションレイヤーが信頼できないことを示したように、LiteLLMの攻撃がサプライチェーンが信頼できないことを示したように、TEE.failの研究は、両方の妥協に対処するために設計されたハードウェアも完全に信頼できないことを示した。

2025年10月28日、ジョージア工科大学、パーデュー大学、Synkhronixの研究者は、TEE.failを公開した。これは、DDR5サーバーの物理メモリバスインターポジションを使用して、Trusted Execution Environmentsから暗号化キーを抽出するサイドチャネル攻撃である。この攻撃は、Intel SGX、Intel TDX、AMD SEV-SNPに影響し、完全にパッチが適用された、信頼状態のあるシステムで、AMDのCiphertext Hidingが有効になっている場合でも影響を受ける。これらは、コンフィデンシャルコンピューティングの基盤として広く推奨されているテクノロジーである。

研究者は、ワークロードがセキュアな環境内で実行されていることを検証するために使用される暗号化マテリアルであるアテステーションキーの抽出に成功した。攻撃者は、これらのキーを使用して、セキュアな環境内で実行されているように見せかけることができる。研究者は、TDXのアテステーションをEthereumのBuilderNetに偽造して、機密トランザクションデータにアクセスし、IntelおよびNVIDIAのアテステーションを偽造して、TEEの外でワークロードを実行しながら、合法的なものであるように見せかけた。

NVIDIAの影響は、AIに特に関係する。GPUのアテステーションは、CPUのアテステーションに依存するため、妥協されたCPUトラストチェーンは、TEEを使用したコンフィデンシャルAIインファレンス環境によって提供される保証を損なう可能性がある。

ハードウェアベンダーは、正式なアドバイザリで対応した。AMDは、物理アクセス攻撃は標準の脅威モデル外であると述べ、ファームウェアの更新は行わないと示唆した。IntelとNVIDIAは、発見を認め、緩和作業の進行中であると示した。これらの対応は、脅威モデル内では妥当である。ただし、重要な境界を強調する。ハードウェアベースのセキュリティの保証は、物理的制御を含む仮定に依存しており、主権、規制、敵対的展開では常にこれらの仮定を満たすことはできない。

TEE.failは、ハードウェアの分離を無関係にしているわけではない。条件付きであることを示している。

OSレイヤーの失敗:ミトス啓示

最初の3つのインシデントがアプリケーションレイヤー、オーケストレーションレイヤー、ハードウェアレイヤーに疑問を投げかけていたのに対し、4番目の開示は、すべてのレイヤーの下にあるレイヤー、つまりすべての他のレイヤーが実行されるオペレーティングシステムとコアライブラリに疑問を投げかけていた。

2026年4月7日、アンソロピックは、クラウドミトスプレビューを発表し、オープンにリリースしなかった。これは、オフенсивセキュリティ機能を備えていた。同時に、AWS、Apple 、Broadcom 、Cisco、CrowdStrike 、Google 、JPMorgan Chase、Linux Foundation、Microsoft 、NVIDIA 、Palo Alto Networksと共同で、プロジェクトグラスウィングを立ち上げた。アンソロピックは、数週間のうちに、ミトスが、主要なオペレーティングシステムとWebブラウザにわたる数千の未知の脆弱性を自律的に特定し、多くの場合に動作するエクスプロイトを生成できることを報告した。

具体的な発見は、要約よりも難しく、27年前のOpenBSDのバグ、FreeBSDのNFSサーバーの17年前のリモートコード実行の脆弱性(CVE-2026-4747と追跡され、認証されていない攻撃者にルートアクセスを許可する)、インターネットで最も広く展開されているメディアライブラリの1つであるFFmpegの16年前の脆弱性などである。1つのケースでは、正式なセキュリティトレーニングを受けていないアンソロピックエンジニアが、リモートコード実行の脆弱性を探すようにモデルに依頼し、完全な動作するエクスプロイトで目覚めた。

これらはオペレーティングシステムレベルの発見である。OpenBSDとFreeBSDはカーネルである。NFSはカーネルネットワークサブシステムである。FFmpegは、インターネット全体のメディアパイプラインの基盤となる、ほとんどのLinuxディストリビューションに付属するシステムライブラリである。OSレイヤーは、人間の専門家が深い欠陥を見つけるために必要な希少で高価なリソースが必要であるという仮定によって安全であると考えられていた。仮定は、利用可能な最良のヒューリスティックだった。保証ではなかった。

その制約は、現在緩和された。アンソロピックは、これをデュアルユースシフトと表現した。大量にパッチを適用できるのと同じ能力が、悪意のある手によって大量に悪用できるのと同じである。アンソロピックのプロジェクトグラスウィングを通じてアクセスを制限する決定は、現実を反映している。解決策ではない。同様の機能は、会社の評価によると、普及するだろう。レガシーコードの監査コストは崩壊し、コードがあまりにも古いか、広くレビューされているか、または重要な欠陥をまだ含んでいないという暗黙の防御も崩壊した。

これは、4つのインシデントが複合する場所でもある。ハードウェアレイヤーのコンフィデンシャルコンピューティング保護は、隔離された状態で実行されない。カーネルコードとして実行される。Intel TDXはカーネル内で実行される。NVIDIAのGPUドライバーはカーネルモジュールとして実行される。CPU TEEアテステーションチェーンは、信頼できるオペレーティングシステムに依存して、実行中のことを正確に報告する。OSレイヤーがTEEの下にあり、数十年の潜在的な脆弱性を抱えている場合、フロンティアモデルがそれらを見つけることができ、ハードウェアレイヤーの条件付きセキュリティは、脆弱性が緩和されたOSレイヤーに依存する。

3つの前のインシデントは、AIシステムが現在どのように侵害されているかを説明している。ミトスは、オペレーティングシステム、カーネルモジュール、システムライブラリを含むすべての下にあるレイヤーが、機械のスピードで再監査される速度を示している。マッキンゼーの侵害は、20年以上前に発見されたSQLインジェクションのクラスを利用した。ミトスクラスのモデルが実証的に見つけることができるのは、まさにそのような古典的な脆弱性である。

パターン

すべてのケースで、データは重要な時点で平文であった。

アプリケーションレイヤーはそれを平文で処理した。オーケストレーションレイヤーはそれを平文でルーティングした。ハードウェアレイヤーは、保護にもかかわらず、実行時点で復号化を必要とした。OSレイヤーは、定義上、すべてのレイヤーで平文で動作した。4つのレイヤー、4つの失敗、すべてのレイヤーで同じ条件が満たされていた。侵害が発生したとき、データは読み取り可能だった。

これは、単独の失敗の集まりではない。これはアーキテクチャ自体である。

モダンなAIシステムは、読み取り可能なデータで動作するように設計されている。リトリーバル、ルーティング、インファレンス、ツールの実行を含むすべてのレイヤーは、機能するために平文アクセスを必要とする。この設計上の選択は、どのレイヤーでも侵害が発生すると、背後のデータが公開されることを意味する。

質問は、レイヤーが侵害されるかどうかではない。侵害されたときに攻撃者が見つけるものは何か、ということである。

侵害を前提としたゼロエクスポージャーへの移行

業界はすでに「侵害を防ぐ」から「侵害を前提とする」への移行を始めている。しかし、ほとんどのアーキテクチャは、その意味を追求していない。

侵害が不可避である場合、実際の質問は、侵害を防ぐ方法ではなく、侵害されたときに何が起こるかである。現在の答えは簡単である。侵害された場合、データが取得される。セキュリティインフラストラクチャへの投資にもかかわらず、データは、使用されているときに、価値があるときに、依然として公開されている。

業界の対応は予測可能だった。さらに多くの監視、より迅速な検出、さらに多くのコンフィデンシャルコンピューティングのレイヤー。これらは改善である。しかし、根本的な問題を解決していない。依然として、ソフトウェア、ハードウェア、または運用のいずれかのレイヤーが平文を安全に保つことができるという仮定を前提としている。

代替案は、平文を完全に削除することである。データの周囲のレイヤーをセキュアにするのではなく、データ自体が誰かがそれに到達したときにアクセスできないようにすることである。計算は、プロンプト、モデル重み、出力がパイプライン全体を通じて暗号化された状態で行われる、完全にホモモルフィックな暗号化とプライバシープレゼーブコンピューティングの技術の進歩により、現実のAIワークロードに対して、平文の公開を最小限に抑えたり排除したりするアーキテクチャが、実用的になるようになってきている。パフォーマンス、スケーラビリティ、実装の課題は依然として残っているが、目標は従来のセキュリティコントロールとは根本的に異なる。侵害の成功の価値を減らすのではなく、侵害の可能性を単に低くするのである。

シフトは、1つのセキュリティツールから別のセキュリティツールへのシフトではない。システムをセキュアにすることから、エクスポージャーを減らすことへのシフトである。信頼できるインフラストラクチャから、ゼロトラストデータへのシフトである。リスクを管理することから、攻撃面そのものを最小限に抑えることへのシフトである。

これから先

ハードフォークの議論は、サイバーセキュリティが根本的に誤った枠組みである可能性があるかどうかという質問を提起した。過去数週間の証拠は、少なくともAIの場合、答えははいであることを示唆している。

古いモデルは、システムをセキュアにすることができ、侵害を封じ込め、エクスポージャーを管理できるという仮定を前提としていた。現実は、侵害が発生することを前提とし、エクスポージャーを最小限に抑える必要があることを示唆している。ここで説明した4つのインシデントは、サイバーセキュリティが不十分ではなく、根本的に誤った枠組みであることを示唆している。

これらのインシデントで明らかになった脆弱性は、単一のレイヤーに限定されていない。システム的なものである。対処するには、インクリメンタルな改善ではなく、根本的なシフトが必要である。システムをセキュアにすることから、エクスポージャーを減らすことへのシフトである。データの周囲のパーミターを守ることから、パーミターで保護されていた平文を削除することへのシフトである。AIセキュリティは、攻撃者を外に置くことではなく、侵害されたときに、そして侵害されるだろうに、見つけるものが読み取り可能でないことを保証することについてである。

ルイジ・カラミコは、データ保護業界のベテランであり、20年以上にわたってサイバーセキュリティイノベーションの最前線で活躍しています。DataKryptoの共同創設者兼CTOとして、カラミコは、完全ホモモルフィック暗号化(FHE)技術を活用して、AIの時代に最も機密性の高い情報を保護するための新しい時代を切り開いています。