秘密のない命令：AIエージェントがコードに触れると従来のセキュリティモデルが破綻する理由

4月、2023では、 サムスンは自社のエンジニアがChatGPTに機密情報を漏洩していたことを発見したしかし、それは偶然でした。では、もしこれらのコードリポジトリに、人間には見えないがAIによって処理され、コードだけでなく、AIがアクセスできるすべてのAPIキー、データベース認証情報、サービストークンを抽出するように設計された、意図的に埋め込まれた命令が含まれていたとしたらどうでしょう。これは仮説ではありません。 セキュリティ研究者はすでに実証している これらの「見えない指示」攻撃は有効です。問題は、これが起こるかどうかではなく、いつ起こるかです。

もはや存在しない境界

私たちは何十年もの間、「コードはコード、データはデータ」という根本的な前提に基づいてセキュリティを構築してきました。SQLインジェクションはクエリをパラメータ化することを教え、クロスサイトスクリプティングは出力のエスケープを教えました。そして、プログラムの動作とユーザーの入力の間に壁を築くことを学びました。

AI エージェントの登場により、その境界は消滅しました。

予測可能なパスを辿る決定論的なソフトウェアとは異なり、大規模言語モデルは確率的なブラックボックスであり、正当な開発者の指示と悪意のある入力を区別できません。攻撃者がAIコーディングアシスタントにプロンプ​​トを入力する際、単にデータを提供しているだけではありません。本質的には、アプリケーションをその場で再プログラミングしているのです。入力がプログラムそのものになるのです。

これは、アプリケーションセキュリティに関するこれまでの常識を根本的に覆すものです。DROP TABLEや tags, fail completely against natural language attacks. Researchers have demonstrated “semantic substitution” techniques where replacing “API keys” with “apples” in prompts allows attackers to bypass filters entirely. How do you firewall intent when it’s disguised as harmless conversation?

誰も議論していないゼロクリックの現実

多くのセキュリティチームが理解していないのは、プロンプトインジェクションではユーザーが何も入力する必要がないということです。これは多くの場合、ゼロクリックエクスプロイトです。AIエージェントが、定型的なタスクのためにコードリポジトリをスキャンしたり、プルリクエストを確認したり、APIドキュメントを読んだりするだけで、人間の介入なしに攻撃を誘発する可能性があります。

このシナリオを考えてみましょう。 研究者がすでに証明した技術悪意のある攻撃者が、人気のオープンソースライブラリのドキュメント内のHTMLコメントに、目に見えない命令を埋め込みます。GitHub Copilot、Amazon CodeWhisperer、あるいはエンタープライズ向けコーディングアシスタントなど、このコードを分析するあらゆるAIアシスタントは、潜在的な認証情報収集ツールとなります。1つのライブラリが侵害されると、数千の開発環境が危険にさらされる可能性があります。

危険なのはLLMそのものではなく、私たちがLLMに与える権限です。これらのモデルをツールやAPIと統合し、データの取得、コードの実行、秘密へのアクセスを可能にした瞬間、私たちは役に立つアシスタントを完璧な攻撃ベクトルに変えてしまいました。リスクはモデルの知能ではなく、接続性によって増大するのです。

現在のアプローチが失敗する理由

業界は現在、モデルの「整合」と、より優れた迅速なファイアウォールの構築に熱心に取り組んでいます。OpenAIはガードレールを増強し、Anthropicは憲法に基づくAIに注力しています。誰もが騙されないモデルを作ろうとしています。

これは負け戦だ。

AIが役に立つほど賢いなら、騙されるほど賢いとも言える。私たちは、私が「サニタイゼーションの罠」と呼ぶものに陥っている。つまり、より優れた入力フィルタリングが私たちを救ってくれると思い込んでいるのだ。しかし、攻撃はHTMLコメント内の目に見えないテキストとして隠されていたり、ドキュメントの奥深くに埋め込まれていたり、あるいは私たちがまだ想像もできない方法でエンコードされていたりする。文脈的に理解できないものをサニタイズすることはできない。そして、文脈こそがLLMの強力な点なのだ。

業界は厳しい真実を受け入れる必要がある。迅速な注入は成功するだろう。問題は、それが成功した時に何が起こるかだ。

私たちに必要な建築の転換

現在、私たちは「パッチ適用フェーズ」にあり、入力フィルターと検証ルールを必死に追加しています。しかし、SQLインジェクションを防ぐには、文字列エスケープの改善ではなく、パラメータ化されたクエリが必要であることが最終的に判明したように、AIセキュリティにもアーキテクチャ的なソリューションが必要です。

答えは、単純に聞こえるものの、システムの構築方法を再考する必要がある原則にあります。それは、AI エージェントは、使用する秘密を決して所有してはならない、ということです。

これは、認証情報管理の改善や金庫ソリューションの改良といったことではありません。AIエージェントを、ユーザーにパスワードを要求するのではなく、一意かつ検証可能なIDとして認識することです。AIエージェントが保護されたリソースにアクセスする必要がある場合、以下の点に留意する必要があります。

1. 検証可能なID（保存された秘密ではない）を使用して認証する

2. 特定のタスクにのみ有効なジャストインタイムの資格情報を受け取る

3. 資格情報は数秒または数分以内に自動的に期限切れになります

4. 長期にわたる秘密を決して保存したり「見る」ことさえしないでください

いくつかのアプローチが登場しています。 サービスアカウントのAWS IAMロール, Google のワークロード アイデンティティ, HashiCorp Vaultのダイナミックな秘密、そしてAkeylessのゼロトラスト・プロビジョニングのような専用ソリューションはすべて、この秘密のない未来を指し示しています。実装の詳細は様々ですが、原則は変わりません。AIが盗む秘密を持っていない場合、迅速なインジェクションは脅威を大幅に軽減します。

2027年の開発環境

3年以内に、AIを活用した開発において.envファイルは消滅するでしょう。環境変数に保持された長寿命のAPIキーは、パスワードをプレーンテキストで表示するようになった今、目にすることになるのです。これは、よりナイーブな時代の恥ずかしい遺物と言えるでしょう。

代わりに、すべてのAIエージェントは厳格な権限分離の下で動作します。デフォルトでは読み取り専用アクセス、標準でアクションのホワイトリスト、コンプライアンス要件としてサンドボックス化された実行環境を備えています。AIの思考を制御することをやめ、AIが何をできるかを制御することに完全に注力します。

これは単なる技術的な進化ではなく、信頼モデルの根本的な転換です。「信頼しつつも検証する」から「決して信頼せず、常に検証し、妥協を前提とする」へと移行しつつあります。長年説かれながらも実践されることの少なかった最小権限の原則は、ジュニア開発者が毎日何千もの悪意のある可能性のある入力を処理するAIである場合、もはや譲れないものとなります。

私たちが直面する選択

ソフトウェア開発への AI の統合は不可避であり、大きなメリットをもたらします。 GitHubは、Copilotを使用する開発者はタスクを55%速く完了すると報告しています。生産性の向上は現実であり、競争力を維持したい組織はこれを無視することはできません。

しかし、私たちは岐路に立っています。ガードレールを追加し、より優れたフィルターを構築し、騙されないAIエージェントの開発を望みながら、現状の道を歩み続けるか、それとも脅威の根本的な性質を認識し、それに応じてセキュリティアーキテクチャを再構築するかです。

サムスンの事件は警告に過ぎませんでした。次の侵害は偶発的なものではなくなり、一つの企業に留まることもないでしょう。AIエージェントの能力が向上し、より多くのシステムにアクセスするようになるにつれて、潜在的な影響は飛躍的に増大します。

すべてのCISO、すべてのエンジニアリングリーダー、そしてすべての開発者にとっての疑問はシンプルです。プロンプトインジェクションがあなたの環境で成功した場合（そして必ず成功するでしょう）、攻撃者は何を見つけるでしょうか？ 長期にわたって有効な認証情報の宝庫を発見するのでしょうか？ それとも、侵害されているにもかかわらず、盗むべき秘密を持たないAIエージェントを見つけるのでしょうか？

今私たちが下す選択によって、AIがソフトウェア開発の最大の加速装置となるか、それともこれまで私たちが生み出した最大の脆弱性となるかが決まります。安全で秘密を守らないAIシステムを構築する技術は既に存在します。問題は、攻撃者に強制される前にそれを実装できるかどうかです。

OWASPはすでに迅速なインジェクションを第一のリスクとして特定している LLM アプリケーションのトップ 10 にランクインしています。 NISTはガイダンスを作成中 ゼロトラスト・アーキテクチャについて。フレームワークは存在する。唯一の問題は、実装のスピードと攻撃の進化の速さだ。

略歴：Refael Angelは、 キーレスで、同社の特許取得済みゼロトラスト暗号化技術を開発しました。暗号技術とクラウドセキュリティに関する深い専門知識を持つベテランソフトウェアエンジニアであるRefaelは、以前はイスラエルにあるIntuitのR&Dセンターでシニアソフトウェアエンジニアを務め、パブリッククラウド環境における暗号鍵管理システムの構築やマシン認証サービスの設計に携わりました。19歳の時にエルサレム工科大学でコンピュータサイエンスの理学士号を取得しました。