Madhu Shashanka, Co-Founder & Chief Scientist at Concentric AI

新しいセキュリティの脆弱性：企業が対処しなければならない急速なGenAIの採用

ジェネレーティブAI（GenAI）は、企業のテクノロジーの中核的な力となりました。テキスト、コード、画像、インサイトを必要に応じて生成する能力により、複雑さを切り抜け、生産性を高めることを熱望する従業員にとって、不可欠なツールとなりました。しかし、このイノベーションと効率性は、巨大なリスクへの暴露をもたらします。幹部やAIガバナンスのリーダーとの電話会議では、データセキュリティが企業の戦略の重要な懸念から焦点となり、AIの採用における決定的な課題となっていることが繰り返し出てきます。従来のソフトウェアや過去のマシンラーニングの波とは異なり、GenAIは企業内のデータを保護するプロセスを根本的に変更します。最近のMITの研究によると、企業のGenAIパイロットプロジェクトの95%が失敗しています。これは、テクノロジーが弱いからではありません。企業がGenAIを適切に、責任を持って運用するために必要なガバナンスとセキュリティフレームワークを持っていないからです。別のMITの研究では、企業のリーダーは、データセキュリティを、AIの採用を妨げる上でのビジネスリスクとセキュリティリスクのトップとして挙げました。また、「影のAI」と呼ばれる、従業員による公的ツールの未承認使用は、企業の管理外でデータリスクを高める要因として広く認識されています。最小特権アクセスは、セキュリティモデルであり、エンティティ（ユーザー、プログラム、プロセスなど）に、必要な機能を実行するために必要な最小限のアクセスと権限が与えられます。ただし、GenAIはこのパラダイムを覆します。最小特権自体が、システムが設計されている方法と矛盾する制約となります。これは、企業のGenAIツールが、より多くのビジネスデータとビジネスコンテキストにアクセスできる場合、生産性の向上をもたらすためです。GenAIの採用が進むにつれて、ユーザーは、新しいアプリケーションを発見し続けます。ほとんどの場合、これらは、上から下へのビジネス主導の計画ではなく、有機的な実験と好奇心から生まれます。エンティティがGenAIを使用するタスクや、必要なデータの種類を定義できない場合、最小特権アクセス権限を設定することは不可能になります。さらに、ユーザーがデータセットに適切なアクセス権を持っていて、GenAIツールにデータを入力する場合でも、データがツールに取り込まれると、ユーザーの元の権限に従わなくなる可能性があります。代わりに、データはモデルに吸収され、将来の出力に表示されたり、同じツールを使用する他のユーザーに公開される可能性があります。GenAIがデータのアクセス制御を必ずしも継承しないため、最小特権は実施不可能となります。GenAIの脆弱性を考慮するGenAIは、複雑な方法で、企業のデータガバナンスとセキュリティを複雑にします。これらには：入力漏洩 – GenAIは、テキスト、画像、オーディオ、ビデオ、構造化データなど、生のデータを取り込みます。エンドユーザーは、わずかな労力や専門知識で、GenAIツールを新しいデータセットに導くことができます。慎重にキュレーションされた、構造化されたテーブルや定義されたスキーマと関係を持つデータセットではなく、セールスキャルのレコーディング、CRMのメールノート、カスタマーサービスのトランスクリプトなどが含まれる可能性があります。実践では、従業員は、顧客のPII、知的財産、財務予測、さらにはソースコードなどの、高度に機密性の高いビジネス情報を含むプロンプトを提供しています。出力漏洩 – 生成モデルは、消費するだけでなく、合成も行います。プロンプトは、意図せずに複数のデータセットからインサイトを引き出し、適切なクリアランスなしにユーザーに公開する可能性があります。場合によっては、出力は、断片的な実在のトレーニング資料を含む、妥当なように見えるが「妄想」されたデータを生成する可能性もあります。GenAIツールは、タスクのコンテキストを持つことでより優れたパフォーマンスを発揮します。したがって、GenAIは既存の情報を取り込みだけでなく、ユーザーはビジネスコンテキスト、内部プロセス、その他の機密性の高い、またはビジネスクリティカルな情報を文書化する詳細なプロンプトを作成しています。監視なしのアクセス – 従来の企業システムでは、ベンダーのオンボーディングとITのプロビジョニングが必要でした。今日、GenAIは、Microsoft Officeスイート、ブラウザ、チャットツール、SaaSプラットフォームなど、どこにでも埋め込まれています。従業員は、ガバナンスをバイパスして瞬時に採用できます。これにより、「影のAI」が促進され、承認されていないGenAIの使用は、企業のガバナンスの境界外で、スケールで、不可視に、潜在的なデータ漏洩イベントとなります。2次的なサプライチェーンリスク – ベンダーはセキュアに見えるかもしれませんが、クラウドホスト、注釈サービス、またはサードパーティのAIラボなどのサブコントラクターに依存しています。各サブコントラクターは独自のEULA（エンドユーザーライセンス契約）とポリシーを持っています。機密性の高い企業データは、複数の不可視な手の間を伝わりますが、責任は企業に残ります。たとえば、企業には、以前オンボーディングプロセスを完了したベンダーが存在しますが、そのベンダーは、企業のデータをトレーニングデータとして使用できるGenAIツールを使用しています。これにより、下流に重大な影響が生じます。トレーニングデータのガバナンスギャップ – データがAIモデルに入ると、制御は実質的に終了します。企業は、情報がどのように使用されているかを容易に把握したり、管理したりすることはできません。独自の知識が残り、出力に表面化する可能性があります。GenAIツールがデータを取り込み、GDPR（一般データ保護規則）やCCPA（カリフォルニア州消費者プライバシー法）などのプライバシーレギュレーションに似たプロセスで情報を削除することを要求する機能を持つツールはまだ見つけておりません。規制が変化するまで、このようなプロセスの実装はありそうにありません。アプリケーションコードリスク – AIは、ビジネスシステムの基盤となるコードを書くことが増えています。Microsoft CopilotなどのGenAIツールを使用してコードを生成する開発者は、意図せずに不確実な依存関係を導入したり、脆弱性を伝播させたり、矛盾するオープンソースライセンスのコードを埋め込んだりする可能性があります。コードがデプロイされると、これらの弱点はソフトウェアサプライチェーンに埋め込まれることになります。GenAIリスクの対処GenAIはすでに企業のワークフローに組み込まれています。企業にとっての質問は、GenAIを採用するかどうかではなく、責任を持って採用する方法についてです。ガバナンスなしでGenAIを採用することは、高額なセキュリティ漏洩、規制による罰金、評判の損失につながります。しかし、GenAIをブロックするだけでは、従業員が承認されていないソリューションを使用することになります。進むべき道は、可視性と制御を伴う有効化のみです。GenAIのガバナンスには、企業が持っているデータ、データの保存場所、誰がアクセスできるかという可視性が必要です。また、GenAIの使用方法も可視化する必要があります。企業は、どのツールがアクセスされているか、どのようなプロンプトが入力されているか、機密性の高いデータが環境から出ていないかを確認する必要があります。その後、企業は、プロンプトと出力をリアルタイムで監視するための適切なコントロールを適用し、リスクの高いセッションや異常なデータフローをフラグ付け、承認されていないツールをブロックし、環境を出る前に機密性の高いプロンプトをフィルタリングし、プロンプトに入力される前に機密性の高いデータを匿名化し、AI駆動のインサイトにロールベースの制限を適用することができます。GenAIは、企業のリスクと機会の新しい層を表します。GenAIを管理するには、セキュリティがイノベーションのブレーキではなく、安全にする基盤であるという心構えが必要です。