Ofer Klein, RecoのCEO Ofer Klein RecoのCEO

シャドウAIの隠れたリスク

ほとんどの企業チームは、AIがワークフローを支配することを計画していませんでした。簡単なツールから始まり、より速い文章作成、スムーズな会議、より良い顧客洞察を約束しました。従業員はブラウザにAIアシスタントをインストールし、電子メールに接続し、ZoomとSlackに追加し、Google Workspaceを実験しました。しかし、それらの初期の試みは企業の管理を上回り、SaaSシステム全体に広がり、AIは日常の仕事に織り込まれるようになりました。まさにそのように、シャドウAI、現代の企業における最も軽視されたリスクの1つが登場しました。多くの組織の中で、リーダーがそれがどれほど機密データに深く結びついているかを認識するよりもずっと前に、それは内部で成長しました。シャドウAIとは、承認なし、可視性なし、そしてしばしばガードレールなしで組織内で動作するAIツールを指します。Salesforce 、Zoom、またはMicrosoft 365などのプラットフォームに直接統合すると、リーダーが安全であると想定している情報にアクセスすることができます。危険性はすでにコンプライアンスの失敗、監視されていないデータフロー、AIエージェントが予想外の行動をとった事件で現れています。私たちは、強力なセキュリティプログラムを持っていると信じていた企業と数年間協力してきました。しかし、SaaS環境を調査したとき、承認されていない数百のAI接続を発見しました。いくつかの接続は数ヶ月間アクティブでしたが、他の接続はすでに会社を退職した従業員に属していました。シャドウAIは、ガバナンスよりも速く、ほとんどの組織が検出するように設定されているよりも速く、静かに成長します。見えないデータパイプライン話はよく高尚な意図から始まります。より良い電子メールを書きたいセールス担当、重要な会議のトランスクリプトを欲しい顧客サクセスマネージャー、コードをより迅速にレビューしたいエンジニアなどです。AIツールは、これらのタスクを容易にします。従業員はそれらを迅速に採用します。しかし、採用は最初のステップにすぎません。これらのツールの多くは、OAuth、ブラウザ拡張機能、またはAPIキーを介して広範な権限を要求します。権限が付与されると、CRMレコード、顧客ノート、内部メッセージ、または機密ソースコードにアクセスすることができます。次に何が起こるかを見てきました。あるチームは、Salesforceに接続されたAIアシスタントが単一の週末に400以上のレポートを生成したことを発見しました。最初は、誰もシステムの故障であると想定しました。しかし、AIは広範なアクセスを獲得しました。人間のアナリストが決して試みないようなスケールでタスクを自動化し始めました。機密のセールス予測と顧客情報が、あり得ない場所に現れました。AIツールが行動を選択したからです。別の組織は、顧客向けチームを支援するためにAIトランスクリプションサービスを展開しました。すべての会議を記録し、価格、顧客の問題、計画、競合の洞察についての詳細を収集しました。すべての情報は、契約なし、データの保存方法や使用方法に関する可視性なしに、第三者のシステムに直接入力されました。このような状況は、AIツールが従来のソフトウェアと異なるように動作するため、より一般的になりつつあります。より多くのデータを読み取り、より迅速に動作し、明確な境界なしで動作します。AIの採用が進むにつれて、攻撃対象領域は拡大し続けます。特に、Model Context Protocolの台頭により、AIはエンタープライズデータと直接対話できるようになり、より強力になります。ただし、その便利さは、サプライチェーン攻撃や特権昇格の新たな扉を開くことにもなります。経営陣は、現代のAIが依然として会社が頼っている古いセキュリティモデルに適合しないことを理解する必要があります。AIツールはエッジではなくシステム内に存在し、検出と管理がより困難です。従来のセキュリティツールの限界ほとんどのセキュリティプログラムは、アプリケーションが企業ネットワーク内に存在し、ユーザーが予測可能なパターンで接続する世界のために構築されました。しかし、AIはそのモデルを壊しました。現代のツールは企業サーバーではなくSaaSプラットフォーム内に存在します。APIを介して通信し、ネットワークではありません。データを継続的に読み書きし、レガシーの監視システムが解釈できない方法で動作します。私たちの経験によると、組織は環境内のAIツールの数を頻繁に低く見積もっています。いくつかの統合がアクティブであるか、またはどれほどの期間権限が存在しているかを知らない場合があります。他の組織は、シングルサインオンまたはファイアウォールルールが十分であると想定しています。しかし、それらは十分ではありません。シャドウAIは、セキュリティチームがまれにレビューするアイデンティティシステム、権限レイヤー、第三者統合の中で繁栄します。見られない場所に隠れています。従業員がより迅速に動きたいツールをインストールする場所に隠れています。埋め込まれたAIへの移行により、この仕事はさらに困難になります。Microsoft 365、Google Workspace、Slack、Salesforceなどのプラットフォームは、組み込みのAI機能で出荷されます。いくつかはデフォルトで有効になっています。他の機能は、単一のクリックで有効にできます。組織は、AI機能がどのデータを消費するか、またはシステムが出力をどのように保存するかを認識せずに、すでにAI機能を使用している可能性があります。リスクは、従業員が追加するものだけではなく、ベンダーが導入するものからも生じます。管理の回復シャドウAIは従業員の失敗と見なされるべきではありません。むしろ、それは急速な技術的進歩の自然な結果であり、リーダーには可視性が必要であり、非難ではありません。最初のステップは、シャドウAIが存在することを前提として、AIが既に重要なシステムとどのように相互作用しているかをマッピングし始めることです。2番目のステップは、チームが安全に革新できるように、承認されたAIツールのセットを作成することです。AIをブロックすることは現実的ではなく、安全なオプションを提供することは、持続可能な道のみです。リアルタイムの監視も不可欠です。四半期ごとのレビューは、数時間でデータをエクスフィルタリングできるツールを追跡することはできません。組織は、どのAIエージェントがアクティブであるか、どのような権限を持っているか、そしてそれらの権限が最小限の権限アクセスと一致しているかを継続的に把握する必要があります。私たちが経営陣と協力するとき、直接的な質問をするよう奨励します。どのツールが顧客システムにアクセスするか。どのツールが生産環境に接続するか。どのツールがユーザーが退社した後もアクティブなまま残るか。私たちは、混乱を明確さに変える組織を見てきました。リーダーがシステム内でAIがどのように動作しているかを理解すると、適切な制限を設け、チームが安全に使用できるようにすることができます。そうすると、AIはリスクではなく、実際的な利点になります。シャドウAIは、将来に来るものではありません。すでにここにあります。しかし、シャドウAIを危機になる前に処理する組織は、AI時代を導くことになります。