AIセキュリティ標準が止まる場所 — そしてランタイム保護が始まる必要がある場所

AIのセキュリティリスクについて話し合う中で、見落とされている問題が1つあります。つまり、AIシステムは最も貴重な資産であるモデルとデータを公開することによってのみ機能するということです。

従来のソフトウェアとは異なり、AIは事前に定義されたロジックを単に実行するのではなく、継続的に独自のモデルと機密性の高い入力データを組み合わせて出力を生成します。しかも、保護対象となる計算処理が行われるインフラストラクチャではありません。

この点で、従来のセキュリティ対策は不十分です。データが保存されている場合やネットワークを介して送信されている場合には、暗号化は有効ですが、データが処理されている場合や操作されている場合にはそうではありません。特にAIの場合、モデルがデプロイされたときに危険が生じます。パラメータはメモリにロードされ、初期化され、大規模に実行されます — その時点で暗号化は終了し、潜在的な不正アクセスにさらされることになります。推論の際には、機密性の高いデータが同じ公開された空間を通過します。結果として、非常に脆弱なリスク面が生じます。AIシステムはセキュアに見えますが、実際には最も重要な瞬間に保護されていません。

NIST（National Institute of Standards and Technology）やENISA（European Union Agency for Cybersecurity）などの標準化団体、およびOWASP（Open Web Application Security Project）などの団体は、この領域を体系的に整理し始めています。彼らはリスクを記述し、脆弱性を特定し、ガバナンスの原則を概説しています。しかし、実行が開始された後に知的財産としてのモデルと機密性の高い資産としてのデータを保護する方法については触れていません。そのギャップを埋めるには、AIセキュリティをコンプライアンスの問題としてではなく、計算そのものの問題として再考する必要があります。ここで、使用中の暗号化（encryption-in-use）またはエンドツーエンド暗号化が役割を果たします。

モダンAIセキュリティの盲点

AIセキュリティに関する会話の多くは、まだ馴染みのある領域を周回しています。トレーニングデータのガバナンス、セキュリティ対策、APIモニタリング、および責任あるユーザーポリシーなどです。これらは必要なものですが、デプロイ後に何が起こるか、つまりモデルがリポジトリを離れて実行システムになったときについては触れていません。

デプロイ後、モデルのパラメータは抽象的なアーティファクトではありません。実行中のメモリ上の資産であり、推論中に継続的にアクセスされ、共有AIサービスを介して複数のテナントまたは顧客によって使用されることがよくあります。この公開は、推論リクエストが行われる前に発生し、機密性の高い入力と外部から観察可能な動作を導入することでリスクを増大させます。

モデル保護をデプロイ前の懸念事項として、推論セキュリティをランタイムの懸念事項として扱うと、問題を逃しています。実システムでは、これらのリスクは重なり合います。モデルとデータは、初期化、実行、出力のすべての段階で公開されます。ストレージコントロールだけに頼るセキュリティは、これらの公開に対処できません。

NISTが正しく理解していること — そしてどこで止まるか

NISTのAIリスク管理フレームワークは、AIリスクを管理しようとする組織にとって、基盤となりました。その構造 — ガバナンス、マッピング、測定、管理 — は、説明責任、コンテキスト、影響、緩和について体系的に考えるためのディシプリンを提供します。

NISTが特にうまく理解しているのは、AIリスクをシステム的なものとしてではなく、偶発的なものとして捉えることです。AIの失敗は、単一のポイントイベントではなく、モデル、データ、人、インフラストラクチャの相互作用から生じます。その枠組みは、非常に重要です。

しかし、フレームワークが短所を持っているのは、システムが実行されているときに、高価なAI資産を保護する方法を示していないことです。モデルパラメータは、設計時のアーティファクトとしてではなく、ランタイム資産として扱われます。実行環境は、信頼できるものとみなされます。

実際には、モデルパラメータは、組織が所有する最も価値の高い知的財産であることがよくあります。メモリにロードされ、ノード間でコピーされ、キャッシュされ、再利用されます。AIリスク管理がデプロイと実行中のモデル機密性を考慮しない場合、重要な資産がリスク境界の外側に残り、危険な状況になります。

ENISAとAI特有の脅威の現実

ENISAのAIサイバーセキュリティに関する取り組みは、会話をさらに進めています。マルチレイヤーフレームワークは、従来のインフラストラクチャセキュリティとAI特有のリスクを区別し、AIシステムは従来のソフトウェアとは異なり、異なった方法で動作し、異なった方法で故障することを認めています。

これはなぜ重要かというと、AIは、従来のコントロールにうまく収まらない脅威を導入するからです。モデル抽出、パラメータ漏洩、コテナンシーの公開、実行中の改ざんなどです。これらのリスクは、エキゾチックな攻撃者を必要としません。高価なモデルが共有または外部で管理された環境で実行されることによって自然に生じます。

ENISAのフレームワークは、暗黙のうちに、AIのセキュリティはコードだけではなく、動作を保護することであることを認識しています。しかし、ほとんどの標準と同様に、モデルが実行されているときに技術的にどのように保護するかについては触れていません。

OWASPと観察可能なインテリジェンスのコスト

OWASPのLarge Language ModelアプリケーションのTop 10は、AIシステムが現実世界でどのように壊れるかについて、より具体的な見方を提供しています。プロンプトインジェクション、機密情報漏洩、埋め込み漏洩、出力透明性の過剰などです。これらは理論的な懸念事項ではありません。強力なモデルを、制限なく公開することによる副産物です。

これらの問題は、アプリケーションレイヤーの問題としてしばしば説明されますが、その結果はより深刻です。モデル動作の繰り返し公開は、効果的なクローニングにつながる可能性があり、適切に分離されていない埋め込みは構造を明らかにし、推論の悪用はモデル複製への道となります。

OWASPの分類は、1つのことを明確に示しています。AIを保護することは、悪意のある入力を止めることだけではなく、モデルが内部的および外部的に公開することを制限することです。

共通の結論、未完の仕事

NIST、ENISA、OWASPを通して、基本的な点について広範な合意があります。

• AIリスクはライフサイクルを通して存在する
• AIシステムは新しい脅威カテゴリを導入する
• モデルとデータは高価な資産である
• ランタイム公開は避けられない

しかし、これらのフレームワークが欠けているのは、モデルがデプロイされ、計算が開始された後に機密性を強制するメカニズムです。その省略は欠陥ではありません。標準は意図と範囲を定義するものであり、実装は通常、システム設計者に任されます。

しかし、それは重要なギャップを残します — そして、そのギャップは、AIシステムが拡大するにつれてより広がります。

使用中の暗号化が方程式を変える

使用中の暗号化は、セキュリティモデルを変えます。データとモデルが有用であるために公開される必要があると仮定するのではなく、計算を保護できるものとして扱います。

実用的には、次のことを意味します。

• モデルはデプロイ、初期化、実行中でも暗号化されたままである
• 入力は、実行環境に対して平文で公開されることはない
• 中間状態は、検査または変更できない
• インフラストラクチャを暗黙的に信頼する必要はなくなった

これは、ガバナンスフレームワークやアプリケーションレイヤーのコントロールを置き換えるのではなく、それらを運用可能にします。リスク原則を、AIシステムが最も脆弱なときに、強制可能な保証に変換します。

言い換えると、使用中の暗号化は、AIポリシーとAI現実の間の欠けている層です。

ガバナンスが終了し、実行が開始される: AI計算のセキュリティ

AIセキュリティはランタイムで崩壊します。デプロイ後、AIモデルと機密性の高いデータは、機能するためにメモリに公開される必要があり、従来のコントロール — 保存中の暗号化、転送中の暗号化、ガバナンスフレームワーク — で保護できないリスク面が生じます。

NIST、ENISA、OWASPなどの標準化団体は、AIリスク、説明責任、誤用について重要な進歩を遂げてきました。しかし、そのガイダンスは、モデルを設計時のアーティファクトとして扱い、実行環境を信頼できるものとみなします。実際には、モデルパラメータと機密性の高い入力は、継続的にアクセスされ、再利用され、共有または外部で管理された環境で処理されることがよくあります。

このギャップを埋めるには、AIセキュリティを、コンプライアンスの問題としてではなく、計算そのものを保護する問題として再考する必要があります。モデルが実行中であるとき、データが使用中であるとき、公開が避けられないときです。使用中の暗号化は、AIモデルのセキュリティと機密性の高い入力を、AIライフサイクルのすべての段階で保護する実行可能な方法を提供します。