レポート
ハック・ザ・ボックス・ベンチマーク：AI強化チームが人間のサイバーセキュリティ・アナリストを上回る
ハック・ザ・ボックス社の新しい研究「AI強化サイバーセキュリティ対人専用チームのパフォーマンス・ベンチマーク・レポート」によると、AI強化サイバーセキュリティチームは、人間専用チームを大幅に上回ることができ、エリートチームはタスクを最大4.1倍の速度で完了することができるという。調査結果は、NeuroGrid Capture the Flag (CTF) コンペティションからのパフォーマンスデータに基づいており、これは、エージェントAI支援チームと従来の人間チームがサイバーセキュリティタスクを実行することを比較した、最大の実世界ベンチマークの1つである。
ベンチマークは、NeuroGrid Capture the Flag (CTF) コンペティションからのデータを分析し、1,337の人間専用チームと156のAIエージェントチームが登録され、958の人間チームと120のAIチームが36のサイバーセキュリティ・チャレンジに参加し、9つの技術ドメインと4つの難易度レベルにわたるチャレンジに積極的に取り組んだ。
調査結果は、AI強化サイバーセキュリティ・オペレーションの生産性向上と、自動化がセキュリティチームの運用方法を再定義するにつれて組織が直面する可能性のある新しいワークフォース・チャレンジを強調している。
AI強化チームが計測可能なパフォーマンス向上をもたらす
ベンチマークは、AIエージェントをサイバーセキュリティ・ワークフローに統合することで出力が劇的に増加することを実証しており、特に経験豊富な人間のオペレーターとペアになると顕著である。
主な調査結果は以下のとおりである。
- エリートAI強化チームは、人間専用チームよりも最大4.1倍の出力を達成
- すべてのチームで、同じ時間枠内で1.4倍の生産性向上
- AI強化チームは、チャレンジを解決する率が70%高かった
- AIチームの解決率は27%で、人間専用チームのトップチームは16%であった
- すべての参加チームで、3.2倍高い解決率の比率
ハック・ザ・ボックスのCEO兼創設者であるハリス・ピラリノスによると、調査結果は、AIが運用速度を大幅に高めることができるが、人間の監視が必要であることを示している。
「AIはサイバーセキュリティのパフォーマンスを高めることができるが、人間の専門知識の必要性を排除するものではない」とピラリノス氏は述べた。「組織は、AIに精通したチームと人間が関与するワークフローを開発して、これらの利点を安全に解放する必要がある」
合成ベンチマークは、AI評価にしばしば使用されるが、このコンペティションでは、プロフェッショナルグレードのサイバーセキュリティ・チャレンジを、現実のコンペティションの圧力の下で使用し、AI支援チームと人間チームの間でより運用的にリアルな比較を提供した。
人間とAIのハイブリッドモデルが勝利する戦略として浮上する
AIが大幅にパフォーマンスを向上させたものの、調査結果は、AIエージェントと人間のオペレーターを組み合わせたハイブリッドチームが、全体的な結果で最も強力な結果をもたらしたことを示している。
コンペティションでは:
- AI強化チームの73.3%が少なくとも1つのチャレンジを完了したのに対し、人間専用チームは46%であった
- AIエージェントは、基礎的な生産性を向上させたものの、複雑なタスクに直面したときには、人間の検証と戦略的指導が必要であった
CISOとセキュリティ・リーダーにとって、レポートは、AIは、サイバーセキュリティ・プロフェッショナルを置き換えるのではなく、倍増力として見なされるべきであることを強調している。
AIの影響は、スキル・レベルによって劇的に異なる
レポートから得られる最も重要な洞察の1つは、AIがサイバーセキュリティ・プラクティショナーに与える影響は、経験レベルによって大きく異なるということである。
初期キャリア：生産性のイリュージョン
エントリーレベルのオペレーターにとって、AIは、苦手なチャレンジを解決するのに役立つ、コンペテンシーのブリッジとなることができる。しかし、レポートは、ジュニア・アナリストがAIの出力を検証したり、エージェントのワークフローを効果的に導くための専門知識が不足している場合、AIは生産性のイリュージョンを生み出す可能性があることを警告している。
一部の低パフォーマンスのAI強化チームは、実際には12.5%遅かったことがあり、オペレーターが十分な監視スキルを欠く場合、非効率的なループに陥ることがあった。
中期キャリア：AIのスイート・スポット
最大の生産性向上は、中期キャリアのアナリストの中で発生し、特に中程度の複雑さのタスクに取り組む際に顕著であった。
このカテゴリでは:
- AIの利点は、中程度の難易度の問題で3.89倍のパフォーマンス向上に達した
- ミッド・ティアのチームは、人間専用のチームと比較して、40〜70%高速のタスク完了を経験した
これは、企業がAIシステムをミッドレベルのアナリストと組み合わせることで、最も即時的な投資収益率を得る可能性があることを示唆している。
エリート・オペレーター：スピードの優位性、能力の代替ではない
トップ・パフォーマーの中では、AI強化チームと人間のエキスパートの間のギャップは大幅に狭まった。
例えば:
- ベスト・ヒューマン・チームは36のチャレンジすべてを解決したのに対し、ベストのAI強化チームは36のうち32を解決した
- トップ5%のパフォーマンス・ティアでは、解決率の優位性は1.69倍に縮小した
しかし、AIは依然としてスピードで大きな優位性をもたらした。エリートAI強化チームは、チャレンジを3〜4倍の速度で解決した。
「難易度のパラドックス」が、AIが苦手とする場所を明らかにする
調査結果は、AIのパフォーマンスに「難易度のパラドックス」が存在することも示している。
AIの優位性は、タスクの複雑さとともに増加するが、ある程度までである:
- 非常に簡単なチャレンジ：約2.4倍のAIチームの優位性
- 中程度のチャレンジ：3.89倍の優位性、ピークパフォーマンス・ゾーン
- 難しいチャレンジ：優位性は2.97倍に低下し、AIの推論力の限界を明らかにする
特に、コーディングやリバース・エンジニアリングなどの創造的なドメインでは、エリート・ヒューマンとAIシステムの間でほぼパリティが見られた。これは、人間の直感と新しい推論が依然として重要であることを強調している。
ドメイン全体で、AIのパフォーマンスは幅広く変動し、セキュア・コーディング・タスクでは5.15倍の優位性から、デジタル・フォレンジックでは1.68倍の優位性まで及んだ。
潜在的な人材パイプライン・クライシス
生産性向上のほか、レポートは、長期的なワークフォースに関する懸念も提起している。AIは、将来のサイバーセキュリティ・エキスパートを生み出すトレーニング・パイプラインを混乱させる可能性がある。
エントリーレベルのセキュリティ・タスクは、従来、ジュニア・アナリストのトレーニングに使用されてきたが、AIチームは、人間のチームよりも、最も簡単なチャレンジ・ティアで大幅に優勢であった。これは、AIが自動化することによって、将来のシニア・セキュリティ・エキスパートになるために必要なスキルを身に付けないアナリストが増える可能性があることを示唆している。
組織が初期キャリア・ワークを自動化しすぎると、レポートは、「ミッシング・ミドル」が生じる可能性があることを警告しており、ここでは、アナリストがシニア・セキュリティ・エキスパートになるために必要なスキルを身に付けないことになる。
セキュリティ・リーダーへの影響
CISOとエンタープライズ・セキュリティ・リーダーにとって、調査結果は、AIツールの採用がもはや選択ではなく、必須であることを示唆している。
組織がセキュリティ・オペレーションにAIを統合しない場合、攻撃者はすでにAIを利用して攻撃を加速し、脆弱性をより速く悪用する可能性があるため、組織は対処できない可能性がある。
レポートは、AIの統合のための3段階の戦略を推奨している:
- エントリーレベルの役割を、AIのガバナンスと検証に焦点を当てるように再トレーニングする
- 生産性向上が最大になるミッドキャリアのアナリストと最初にAIを導入する
- エリート・タレントを維持し、インシデント・レスポンスと高度な脅威分析を加速するためにAIのコ・パイロットとペアにする
最終的に、レポートは、サイバーセキュリティの将来は、AIと人間の対決ではなく、AI強化された人間がマシンのスピードで動作するものになることを示唆している。
