Simon Edwards、SE LabsのCEO兼創設者 – インタビューシリーズ

Simon Edwardsは、SE LabsのCEO兼創設者で、セキュリティ研究、製品評価、テクニカルジャーナリズム、業界標準にわたる30年以上の経験を持つサイバーセキュリティテストの専門家です。2015年にSE Labsを設立する前、EdwardsはDennis Technology Labsを運営し、セキュリティテストの取り組みを主導していました。また、以前はテクノロジージャーナリスト兼編集者として長年勤務しました。彼はAnti-Malware Testing Standards Organization (AMTSO)でも会長、ディレクター、共同議長などの上級指導的役職を務めました。Edwardsは1990年代半ばからセキュリティ製品のテストを行っており、実際のインターネット経由の完全な攻撃に対してセキュリティ技術の性能を評価する、初期の実世界マルウェアテスト手法を先駆けて開発しました。

SE Labsは、現実的な攻撃に対するセキュリティ技術の性能を評価する独立系サイバーセキュリティテストおよびコンサルティング会社です。研究者は攻撃者の手法を攻撃チェーン全体で再現し、エンドポイント保護、Endpoint Detection and Response（EDR）、クラウドセキュリティサービス、ファイアウォール、メールセキュリティ、ネットワーク検知技術などの製品を評価します。公開比較テストに加えて、SE Labsは認証、先進的なセキュリティテスト、製品検証、企業およびサイバーセキュリティベンダー向けのアドバイザリーサービスを提供しています。同社はテスト手法と脅威エミュレーションフレームワークを公開しており、ITセキュリティ製品テストの提供に関してISO/IEC 27001:2022およびBS EN ISO 9001:2015の認証を取得しています。

あなたのキャリアは、テクノロジージャーナリズム、セキュリティコンサルティング、独立テスト、そしてAnti-Malware Testing Standards Organization (AMTSO)でのリーダーシップ役割にわたり、30年以上にわたります。この経験は、AI搭載サイバーセキュリティにおける真の進歩と、主にマーケティング目的で「AI」と位置付けられる技術をどのように区別するかにどのように影響していますか？

ジャーナリズムは私に主張を疑問視することを教え、独立テストは唯一信頼できる答えは証拠から得られることを教えてくれました。サイバーセキュリティ企業は長年にわたり機械学習と自動意思決定を利用してきたため、製品名に「AI」を付加することが必ずしも技術的な進歩を意味するわけではありません。

考慮すべき基本的な3点は次のとおりです。AIは実際に何をしているのか？どのような測定可能なセキュリティ成果を向上させるのか？そして、独立したテスターがその改善を再現できるか？

もし答えが単に製品が大量のデータを分析する、または既存のプロセスを自動化するというだけであれば、AIラベルは機能というよりもマーケティング的な位置付けにすぎない可能性があります。

真の進歩は、未知または新規の攻撃に対して高い性能を示し、保護や対応を向上させ、アナリストの負担を軽減し、かつ許容できないリスクを導入しません。これ以外は、改善がないか、むしろ機能低下です！

「AI駆動」はサイバーセキュリティ製品全般で一般的な主張となっています。組織がAI搭載のセキュリティプラットフォームがベンダーの約束通りに機能していると受け入れる前に、独立してテストすべき最も重要な機能は何でしょうか？

製品にAIが含まれているかどうかをテストすることから始めるべきではありません。その製品に対して行われているセキュリティ主張をテストすることから始めます。製品の仕組みはどうであれ、機能すれば構いません。これが現在業界で大きな注目を集めているPIVOTテストプログラムの正確な目的です。

このようにテストするということは、製品を完全な攻撃にさらし、その応答を測定することを意味します。まず活動を検知し、その後攻撃の進行を防止するかどうかを確認すべきです。これは製品の構築・設定方法、そしてベンダーが行うマーケティング主張に依存します。

また、顧客に提示される調査ストーリーも検証する必要があります。システムは何が起きたかを理解し、関連するイベントを結び付け、対処すべき人物に証拠を可視化できましたか？

テストには未知のバリエーション、実際的な顧客設定、通常の業務活動を含めるべきです。また、誤検知、リソース要求、潜在的に安全でないとみなされる操作も測定する必要があります。システムが自律的である場合、いつ作動するか、なぜ作動するか、どの権限を使用するか、そしてその決定が取り消せるかを把握しなければなりません。

ニュースでは、AIセキュリティが暴走し、限界や法を超える事例がいくつか報じられています。重要な問いは、プラットフォームが知的に見えるかどうかではなく、継続的により優れた、かつ安全なセキュリティ成果を生み出すかどうかです。

自律的なAIエージェントは、偵察、侵入、横移動、その他の攻撃段階を人間の攻撃者よりはるかに高速で実行できる可能性があります。攻撃が機械速度で行われ始めたとき、サイバーセキュリティテストはどのように変わる必要があるでしょうか？

テストの単位は、個々の技術から時間的プレッシャー下で実行される完全なキャンペーンへと変える必要があります。つまり、朝や一週間にわたってさまざまな攻撃手法を試すのではなく、特定のセキュリティ対策のテストは迅速に行うべきだということです。そうでなければ現実的ではなく、現実性は非常に重要です。

従来のテストでは、各段階の間に便利なギャップが残され、各イベントを個別に検証できるようになっています。自律的な攻撃者は、偵察、侵入、横方向移動をはるかに短い期間に圧縮することができます。これにより、テレメトリの遅延、システムの過負荷、攻撃が目的を達成した後にしか到達しない防御行動など、遅いテストでは見えにくい弱点が露呈する可能性があります。

極めて単純な例を挙げると、Mac に侵入し、すべてのファイルをダウンロードしてアカウントのパスワードを盗んだとしても、ウイルス対策ソフトが翌日に悪い結果を通知しただけではほとんど意味がありません。

AI 攻撃者に対するセキュリティ対応のテストには、高解像度の計測と検知・応答遅延の正確な測定が必要です。活動量と速度が増大した際に性能が低下するか、また防御が人間の判断を待たずに攻撃を遮断できるかを検証すべきです。

攻撃は発見した情報に応じて適応することもあります。テストは、真実性・証拠・再現性を保ちつつそれを反映しなければなりません。機械の速度が制御された手法を放棄する理由にはなりません。評価対象システムと同等の速度でイベントを実行・測定できる制御テストの設計を継続する必要があります。

SE Labs は、Scattered Spider などの脅威グループの戦術と技術に基づく現実的な攻撃シナリオを使用しています。実際の攻撃が展開する様子を反映し、単なるチェックリストに対するテストに留まらないよう、どのようにしてこれらの敵対者を制御された環境で再現していますか？

我々は、敵対者の目的、既知の行動、そして考えられる意思決定プロセスから出発し、技術を買い物リストのように扱いません。

テストは、偵察、初期アクセス、実行、権限昇格、侵害後の活動、横方向移動という現実的な攻撃チェーンに沿って進行します。重要なのは、テスターが偵察と攻撃の過程で実際に発見した情報だけを使用できることです。実際のエンゲージメントで得られない知識を攻撃者に与えることはありません。

シナリオは範囲が限定され、慎重に管理されていますが、単なる事前設定されたボタン操作の連続ではありません。あるルートが遮断された場合、攻撃者はテストのルール内で信頼できる代替手段を追求できます。これにより、セキュリティ製品がシナリオの展開に影響を与えることが可能になります。

同時に、すべての重要な行動と結果が記録されるため、結果を説明し、製品を公平に比較できます。『制御された』は必ずしも硬直したスクリプト化を意味するわけではなく、安全で観測可能、かつ証拠に裏付けられたことを意味すべきです。

サイバーセキュリティ製品は従来、脅威検知能力の評価が中心でした。AI 主導のセキュリティシステムを評価する際、組織はなぜ保護、封じ込め、インシデント対応にも注目すべきなのでしょうか？

検知は防御と同義ではありません。プラットフォームが正確なアラートを生成しても、攻撃者が目的を達成できてしまうことがあります。これが、PIVOT テストプログラムが検知と保護の両方を、全体テストの共同かつ別個の要素として組み込んでいる理由です。

サイバーセキュリティの検知は CCTV カメラに例えることができます。侵入を感知し、何が起きたかの手がかりを提供しますが、侵入者を物理的に止めることはできません。サイバーセキュリティの保護ははるかに能動的で、攻撃者を排除したり無力化したりして被害を防止します。

組織は、製品が初期活動を防止したか、攻撃チェーンを中断したか、横方向移動を制限したか、重要資産を保護したか、復旧を支援したかを知る必要があります。攻撃が成功した場合、次に問われるのはどれだけ速く封じ込められたか、顧客が十分に信頼できる情報を受け取り、効果的に対応できたかです。

AI 主導のシステムでは、非常に説得力のある事象要約が生成されても、納得的な説明が保護の代わりになるわけではありません。説明は証拠に裏付けられ、適切な行動につながる必要があります。

したがって、検知と保護は別々に測定します。また、主張された検知が実際に顧客にとって可視化され有用であったかも検証します。最終的に、セキュリティシステムの価値は攻撃結果を変えることにあり、単に観測するだけではありません。

セキュリティプラットフォームがアラートを調査し、修復アクションを実行できる自律エージェントを導入する中で、独立系ラボは検知技術単体ではなく、人間と AI の全ワークフロー全体をどのようにテストすべきでしょうか？

テストは、最初の悪意ある活動から最終的なセキュリティ結果（攻撃が完全に阻止されるか、成功するか、あるいはその中間）までの全プロセスを追跡すべきです。

エージェントが何を観測し、何と結論付け、何を推奨または実行したか、人間のオペレーターに何が示され、オペレーターがどのように応答したか（あるいはどのような選択肢が提示されたか）を検証する必要があります。これには証拠の質、引き継ぎの明瞭さ、要した時間、介入回数、そして人間がエージェントの決定を理解・挑戦・逆転できるかどうかが含まれます。

異なる運用モードも重要です。承認のためにアクションを推奨するエージェントは、システムを自動的に隔離したり、アカウントを無効化したり、セキュリティ制御を変更したりできるエージェントとは異なるリスクをもたらします。

基礎となる検知器が攻撃を特定しただけでシステムが成功したとは言えません。もし不可解なキューを作り出したり、重要な証拠を隠したり、誤った対応を推奨したり、破壊的なアクションを取ったりすれば、全体のワークフローは失敗です。独立したテストは、技術そのもの、自治コンポーネント、そしてそれらを使用することが期待される人々の総合的なパフォーマンスを測定すべきです。

標準化されたセキュリティベンチマークのリスクの一つは、ベンダーがテスト向けに製品を最適化できてしまうことです。独立テストは、再現性と公平性を保ちつつ、製品が未知の攻撃に対してどのように機能するかを明らかにするために十分な予測不可能性をどのように導入できるでしょうか？

再現性は、参加者に試験問題を事前に渡すことを必要としません。

信頼できるテストは、手法、環境、スコアリング原則、製品設定、証拠要件を公開すべきです。ベンダーはルールを理解し、製品が正しく動作していることを検証する公平な機会を持つ必要があります。ただし、正確な攻撃キャンペーン、ペイロード、および一部の攻撃パスは、テストが実施されるまで非公開のままにすべきです。

例えば、PIVOT ではテストが完了するまで、どの攻撃グループを再現するかは開示しません。実際のターゲットは、攻撃が始まる前に事前通知を受けることはありません！

時間を通じた比較を可能にする標準コアに、未知のバリエーションを組み合わせて一般的な能力をテストできます。ベースラインと隠された静かな期間を設けることで、攻撃前の製品の挙動を把握できます。その後、設定を管理し、ログを保存し、すべての主張をテスター自身の証拠と照合すべきです。

公平性とは、すべての参加者に同じルールと証拠基準を適用することです。ベンダーがベンチマークではなく脅威を認識できるように、攻撃を予測可能すぎる形で繰り返すことを意味しません。

さらに、徹底的な透明性はベンダーが攻撃を再現できるようにし、問題が発生した際に修正できるようになるため重要です。SE Labs は、クライアントが問題に直面したときに実質的にトレーニングを提供しています。

自律型セキュリティエージェントは、誤った判断が不要な、あるいは破壊的な修復アクションを引き起こす可能性があるため、別のリスクカテゴリを導入します。テストは、従来の検知精度と並行して、偽陽性、誤った推論、潜在的に有害な自律アクションをどのように測定すべきでしょうか？

従来の偽陽性テストは第一段階に過ぎません。自律エージェントの場合、偽アラート、根拠のない結論、誤ったアクションを区別する必要があります。これらはそれぞれ異なる影響を持ちます。

テストは、悪意ある行動に似た正当な活動や、不完全・曖昧・誤解を招く証拠にもシステムをさらすべきです。エージェントが信頼できないコンテンツを取り込む場合、そのコンテンツが判断に不適切に影響を与えるかどうかも検証すべきです。

推論は、結論が利用可能な証拠に裏付けられているかどうかで評価すべきであり、説明がどれだけ説得的または自信に満ちているかでは判断しません。自律的なアクションについては、範囲、比例性、権限の使用、承認コントロール、監査可能性、可逆性を測定すべきです。

スコアは結果を反映しなければなりません。不要なアラートは不便ですが、重要なアカウントを無効化したり重要システムを隔離したりすると組織に支障をきたす可能性があります。したがって、有用な安全策はエラーの頻度と各エラーがもたらす被害の両方を考慮すべきです。

とはいえ、時には顧客が問題を引き起こすポリシーを選択することがあります。これは必ずしもセキュリティベンダーの過失とは限りません。

生成AIとますます高度化するオープンソースモデルは、攻撃プロセスの一部を自動化するハードルを下げています。AIがサイバー攻撃を根本的により高度にすると思いますか？それとも、攻撃者が圧倒的に大規模かつ高速に活動できるようになることが最大の危険だと考えますか？

私の予想では、より差し迫った危険は規模、速度、そしてコストの低減です。

AIは攻撃者が情報を収集したり、ソーシャルエンジニアリングを個別化したり、コードを改変したり、キャンペーンの一部を調整したりするのに役立ちます。その結果、特にAIが既存の手法を結びつけたり特定のターゲットに適応させたりする場合、いくつかの攻撃はより高度になるでしょう。しかし、AIはアクセス権や認証情報、 exploitable な脆弱性、あるいは防御側のミスの必要性を取り除くものではありません。

AIは信頼性の高いエクスプロイトを生成するのが得意ではなく、熟練した人間でも達成が難しい作業です。したがって、根本的により高度な攻撃が増える可能性は、私の強い見解では低いです。

より大きな変化は、以前は時間やスキル、あるいはチームが必要だった活動が、より速く、はるかに多くのターゲットに対して試みられるようになることです。AIは比較的普通の攻撃者の能力を引き上げると同時に、熟練した攻撃者が同時に多数の作戦を実行できるようにします。

たとえ根本的な攻撃手法が革命的でなくても、これは重要です。危険は必ずしも全く新しいサイバー攻撃形態というわけではありません。既存の攻撃がより高速に、低コストで、よりパーソナライズされ、はるかに多数になることです。

防御的および攻撃的なAIエージェントがより自律的になるにつれて、信頼できるサイバーセキュリティテスト環境はどのような姿を取るべきでしょうか？最終的に、セキュリティ製品が主に定期的なセキュリティテストで評価されるのではなく、適応的AIの敵対者によって継続的に挑戦される必要がある点に達する可能性はありますか？

信頼できる環境は、孤立したターゲットの集合ではなく、生きた組織に似ている必要があります。エンドポイント、アイデンティティシステム、メール、ネットワーク、クラウドサービス、実際のユーザー、通常の業務活動を含めるべきです。また、すべての意思決定と結果を再構築できるよう、完全な計測機能を提供しなければなりません。

適応的な敵対者には目的と制限を与え、彼らが発見したことや防御製品の応答に基づいてルートを選択させることができます。テストは依然として制御された開始条件、実際に何が起こったかの信頼できる記述、重要なイベントを再現する能力を必要とします。これらがなければ、適応的テストは見た目は印象的でも、科学的には弱いものとなります。

製品やモデル、ポリシーが頻繁に変わる場合、テストはより継続的になると予想しています。しかし、継続的な挑戦は定期的な比較テストを排除すべきではなく、補完すべきです。組織は両方必要です。PIVOT のような管理責任と比較を支援する制御されたベンチマークと、脅威や製品自体の変化に応じてシステムの挙動を明らかにする継続的な適応評価です。

私は、次世代のサイバー攻撃技術を生み出すロボットよりも、比較的スキルの低い人間がシステムやネットワークに侵入できる事実の方を懸念すべきだと考えています。

素晴らしいインタビューありがとうございました。詳しく知りたい読者はSE Labsをご覧ください。