Hallucination Control: Benefits and Risks of Deploying LLMs as Part of Security Processes

Large Language Models (LLMs) は、膨大な量のデータでトレーニングされたもので、セキュリティ運用チームをより賢くすることができます。LLMs は、インラインでの提案やガイダンス、監査、ポストゥア管理など、レスポンスに関するサジェストを行うことができます。ほとんどのセキュリティチームは、ワークフローでの手作業を減らすために、LLMs を実験したり使用したりしています。これは、退屈なタスクや複雑なタスクの両方で有効です。

例えば、LLM は、従業員にメールで問い合わせて、機密情報を共有することを意図していたかどうかを確認し、セキュリティ担当者向けの推奨事項とともに回答を処理することができます。LLM は、オープンソースモジュールのサプライチェーン攻撃を検索するように依頼されたり、特定の条件 (新しいコントリビューター、不正なコードパターンなど) に対してエージェントを起動したりすることもできます。

しかし、これらの強力な AI システムには、他のシステムとは異なる重大なリスクがあります。セキュリティ LLMs を動かすモデルは、プロンプトインジェクションやデータポイズニングによって損なわれる可能性があります。人間の指導が不足している継続的なフィードバックループや機械学習アルゴリズムにより、悪意のあるアクターがコントロールをプローブし、適切にターゲットにしないレスポンスを誘発する可能性があります。LLMs は、制限されたドメインでも、幻覚を見ることがあります。最も優れた LLMs も、答えを知らないときに、事実をでっち上げます。

LLMs の使用とワークフローに関するセキュリティプロセスと AI ポリシーは、サイバーセキュリティ運用と研究全体でこれらのシステムがより一般的になるにつれて、より重要になります。これらのプロセスが遵守され、ガバナンスシステムで測定および説明されることを確認することは、CISO が新しい義務 like Cybersecurity Framework 2.0 に対して十分な GRC (ガバナンス、リスク、コンプライアンス) カバレッジを提供できるようにするために、非常に重要です。

サイバーセキュリティにおける LLMs の巨大な約束

CISO と彼らのチームは、新しいサイバーアタックの増加する潮流に常に追いつこうと苦労しています。Qualys によると、2023 年に報告された CVE の数は 26,447 の新しいレコードに達しました。これは 2013 年から 5 倍以上増加しました。

この課題は、平均的な組織の攻撃面が毎年大きくなるにつれて、さらに困難になりました。AppSec チームは、多くのソフトウェアアプリケーションを保護および監視する必要があります。クラウドコンピューティング、API、多クラウドおよび仮想化技術は、追加の複雑さをもたらしました。モダンな CI/CD ツールやプロセスを使用すると、アプリケーションチームは、より多くのコードをより迅速に、より頻繁に配信できます。マイクロサービスは、モノリシックなアプリを多数の API に分割し、攻撃面を増やし、外部サービスまたは顧客デバイスとの通信のためにグローバルファイアウォールに多数の穴をあけました。

高度な LLMs は、サイバーセキュリティチームのワークロードを軽減し、機能を向上させるという巨大な約束を持ちます。AI パワードのコーディングツールは、ソフトウェア開発に広く浸透しています。Github の調査によると、92% の開発者はコードの提案や完了のために AI ツールを使用しています。ほとんどのこれらの「コパイロット」ツールには、セキュリティ機能があります。実際、プログラムの規律は、相対的に二項的な結果 (コードはユニットテストに合格または失敗する) を持つため、LLMs に適しています。コードスキャニング、ソフトウェア開発、CI/CD パイプラインのほかにも、AI はサイバーセキュリティチームにとって価値があります。

• 強化された分析: LLMs は、セキュリティデータ (ログ、警報、脅威インテリジェンス) の大量を処理して、人間には見えないパターンや相関関係を特定できます。これは、言語を超えて、24 時間、多次元で同時に実行できます。これにより、セキュリティチームに新しい機会が開けます。LLMs は、警報のスタックをほぼリアルタイムで処理し、最も深刻である可能性のあるものをフラグできます。強化学習を通じて、分析は時間の経過とともに改善されます。
• 自動化: LLMs は、通常、会話のやり取りが必要なセキュリティチームのタスクを自動化できます。たとえば、セキュリティチームが IoC を受け取り、エンドポイントの所有者に実際にデバイスにサインインしたか、または通常の作業ゾーンの外側にいるかどうかを尋ねる必要がある場合、LLM はこれらの単純な操作を実行し、必要に応じて質問やリンク、または指示をフォローアップできます。これは、従来、IT またはセキュリティチームのメンバーが自分で行う必要のあるやり取りでした。LLMs は、さらに高度な機能も提供できます。たとえば、Microsoft Copilot for Security は、インシデント分析レポートを生成し、複雑なマルウェアコードを自然言語の説明に翻訳できます。
• 継続的な学習と調整: 以前のセキュリティポリシーと理解のためのマシーンラーニングシステムとは異なり、LLMs は、人間の評価をインゲストすることによって、または内部ログファイルに含まれない新しいデータプールで調整することによって、飛行中で学習できます。実際、同じ基本的なモデルを使用して、サイバーセキュリティ LLMs は、さまざまなチームやワークフロー、または地域または業界特有のタスクに合わせて調整できます。これは、システム全体が瞬時にモデルと同じくらい賢くなり、変更がすべてのインターフェイスに迅速に伝播することを意味します。

サイバーセキュリティにおける LLMs のリスク

新しいテクノロジーであり、短い履歴を持つ LLMs には、重大なリスクがあります。さらに悪いことに、これらのリスクの全容を理解することは、LLMs の出力が 100%予測可能またはプログラム的ではないため、困難です。たとえば、LLMs は「幻覚」を見て、答えをでっち上げるか、または質問に誤った回答を返すことができます。サイバーセキュリティの使用例で LLMs を採用する前に、以下の潜在的なリスクを考慮する必要があります。

• プロンプトインジェクション: 攻撃者は、誤解を招いたり有害な出力を生み出すように、悪意のあるプロンプトを特に作成できます。このタイプの攻撃は、LLM が受け取ったプロンプトに基づいてコンテンツを生成する傾向を利用します。サイバーセキュリティの使用例では、プロンプトインジェクションは、インサイダー攻撃または、プロンプトを使用してシステムの出力を永続的に変更することによってモデルを操作するために使用される、認証されていないユーザーの攻撃として最もリスクがあります。これにより、他のシステムユーザーに対して不正確または無効な出力が生成されます。
• データポイズニング: LLMs が依存するトレーニングデータは、意図的に汚染され、決定を損なう可能性があります。サイバーセキュリティの設定では、組織はおそらく、特定の顧客や使用例に合わせて調整されたモデルをツールプロバイダーから使用しています。ここでのリスクは、トレーニングプロセスを損なうために、悪意のあるユーザーが悪いデータ (たとえば、汚染されたログファイル) を追加することです。認証されたユーザーも、これを偶然として行う可能性があります。結果として、悪いデータに基づいた LLMs の出力が生成されます。
• 幻覚: 以前にも触れたように、LLMs は、プロンプトまたは根本的なデータの欠陥の誤解のために、事実的に不正確、非論理的、または有害な回答を生成する可能性があります。サイバーセキュリティの使用例では、幻覚は、脅威インテリジェンス、脆弱性のトリアージと修復など、致命的なエラーを引き起こす可能性があります。サイバーセキュリティは、ミッションクリティカルな活動であるため、LLMs は、これらのコンテキストで幻覚を管理および防止するためのより高い標準を満たす必要があります。

AI システムがより優れたものになるにつれて、情報セキュリティの展開は急速に拡大しています。明確に言うと、多くのサイバーセキュリティ会社は、以前から、パターンマッチングと機械学習を使用して、動的なフィルタリングを行ってきました。新しいのは、ジェネレーティブ AI の時代に、既存のワークフローとデータプールの上に知能のレイヤーを提供する、対話型の LLMs です。これにより、サイバーセキュリティチームの効率と能力が向上します。つまり、GenAI は、セキュリティエンジニアが、同じリソースで、より少ない労力で、より優れたパフォーマンスと加速されたプロセスを実現できるように支援します。