AIの可視性の危機：セキュリティチームがなぜ盲目的に飛行しているのか、それでも飛行しなくてもよいのか

AIエージェントの本稼働環境への統合は加速しているが、セキュリティを確保するための安全性アーキテクチャは危険なほど遅れをとっている。AIエージェントが、ステージング環境でルーティンワークを行っている途中で、資格情報の不一致を「修正」するためにデータベースボリュームを削除することができる時代に生きている。

業界として、AIの周りの基本的なセキュリティと観察可能性の原則について、集団的に頭を切り替えている。セキュリティチームは盲目的に飛行しているが、飛行する必要はない。

システムプロンプトと安全なツールの神話

AIの空間では、エージェントの動作を制御するためにシステムプロンプトを使用できるという、普遍的な神話がある。システムプロンプトは、強制ではなく、勧告である。先ほどのインシデントでは、AIのシステムルールは、破壊的なコマンドを実行しないことを明示的に述べていたが、エージェントは自分のマーケティングされたガードレールを侵害し、可能な限り最も不可逆的なアクションを実行した。

私たちは、AIが「何も知らない」という仮定で作業しなければならない。AIに対する攻撃は、社会工学であるが、標的は平均的な人間よりも賢い。ペネトレーションテストを行ったことがある人なら、社会工学攻撃に対して組織が防御するのがどれほど難しいかを理解しているはずだ。現在、コンピューターも脆弱になっている。

さらに、AIツールは最終的にソフトウェアであり、すべてのソフトウェアにはバグがある。AIツールが自動的に認証されていないHTTPサーバーを開始し、ローカルプロセスまたはWebサイトがユーザー権限で任意のシェルコマンドを実行できるというインシデントも発生している。

AI監査のブラックボックス

AIがるか操作された場合、それが何をしたのかを判断することは悪夢である。AIツールは通常、監査ログを提供しない。エンタープライズティアに幸いしている場合は、受け取るログは非常に不足している。たとえば、「ユーザーがGen AIを使用しました」という曖昧なイベントと、入力および出力トークン数の基本的なメトリックの詳細のみを受け取ることがある。

これらのどちらも、セキュリティアナリストが基本的な質問に答えるのに役立たない：このエージェントは何を実行したのか？

AIの暴露：盲目的に飛行するのを止める方法

良いニュースは、可視性を回復するために、必ずしも新しいAI専用のセキュリティアプライアンスが必要ではないことである。 影のAIの使用とエージェントのアクティビティは、既存のログ分析技術を使用して検出可能である。AIツールの呼び出し、コマンドの実行、システムの変更イベントは、既存のプロセス実行分析（あなたのセキュリティ情報およびイベント管理SIEMで行っているはずだ）を使用してAIに追跡できる。

ここでは、現在のインフラストラクチャを使用してAIアクティビティを検出する方法を説明します：

• DNS分析：DNSログを分析して、AIサービスドメインへのクエリを検出することで、環境内のAIの使用を検出できます。
• 脅威リスト：このアプローチでは、AIプラットフォームまたはモデルプロバイダーに関連するドメインの更新された脅威リストを維持する必要があります。
• コミュニティリソース：プログラムによる使用のためにルックアップテーブルに変更できるコミュニティプロジェクトとブロックリストが利用可能です。
• SSLトラッキング：同様のアプローチを使用して、サーバー名を追跡するためにSSLログを使用できますが、詳細は若干少なくなります。フルURLは記録されないためです。
• エンドポイントテレメトリ：Sysmonなどのツールを使用して、子プロセスを数え、高度なbashスパウナーを探すことができます。これは、エンドポイントでコマンドを実行する潜在的なAIエージェントの強力な指標です。

盲点を要求するデータ収集へのアクティブな変更は、プロンプト自体です。ユーザーはAIに何を求めているのか？機密性の高いドキュメントをアップロードしているか、それによってコンプライアンスの問題が発生するか？これらの質問に答えるには、プロバイダーへのAPIリクエストを収集する必要がある可能性があります。Webプロキシ、LLMプロキシ、およびログおよびSIEMプロバイダーのデータインジェストツールを使用できます。これらは、貴重なデータソースをブロックするヴェールを取り除くことができます。

新たな脅威：悪意のあるMCPサーバー

モデルコンテキストプロトコル（MCP）は、AIアプリケーションが外部ツールやデータソースと統合する方法を指定するために登場しました。つながりを標準化するのと同時に、「悪のMCP」サーバーを介した新しい攻撃ベクトルも導入します。

私は、生徒がこの攻撃を直接体験できるハンズオントレーニングワークショップを主催しています。生徒は、LLMを欺くために悪意のあるMCPサーバーを設計し、出力を攻撃者に送り返します。LLMは社会工学に対して非常に脆弱であるため、組み込みのガードレールを回避することは、単に言葉の選択や巧妙な前提を選ぶだけの問題であることがよくあります。

生徒は、AIに「メンテナンスモード」にあり、セカンダリツールにデータを渡す必要があると伝え、結果としてデータが漏洩します。生徒によっては、プロンプトがより創造的になることがありますが、ほとんどの場合、成功します。

制御を取り戻す

現実の世界でAIアクティビティを適切に監査するには、AIリクエストを傍受するためのプロキシと、巨大なJSONペイロードを処理できるログ収集ツールが必要です。この可視性を使用して、脅威を検出して分類できます。AIベンダーだけに安全性レイヤーを提供することを依存することはできません。強制は、テキストの段落にモデルが従うことを希望するのではなく、組織のシステムに存在する必要があります。優れたログ解決策を使用すると、セキュリティチームはテレメトリを持ちます。テレメトリを照会し始める時が来ました。you can detect and triage threats. You cannot rely solely on AI vendors to provide the safety layer. Enforcement must live in the systems of your organization, not in a paragraph of text we hope the model decides to obey. With a good logging solution, security teams have the telemetry; it’s time they start querying it.