ハック・ザ・ボックス ベンチマーク: AI 拡張チームが人間のサイバーセキュリティ・アナリストを上回る

ハック・ザ・ボックス からの新しい研究「AI 拡張 vs 人間のみのサイバーセキュリティ パフォーマンス ベンチマーク レポート」によると、AI 拡張サイバーセキュリティ チームは、エリート チームがタスクを最大 4.1 倍 の速度で完了できることを示している。調査結果は、NeuroGrid Capture the Flag (CTF) コンペティションからのパフォーマンス データに基づいており、これは、エージェント AI アシスト チームと従来の人間チームがサイバーセキュリティ タスクを実行することを比較する最大の実世界ベンチマークの 1 つである。

このベンチマークでは、NeuroGrid Capture the Flag (CTF) コンペティションからのデータを分析し、1,337 の人間のみのチームと 156 の AI エージェント チームが登録され、958 の人間チームと 120 の AI チームが 36 のサイバーセキュリティ チャレンジ全体で活発にチャレンジに取り組んだ。チャレンジは 9 つの技術ドメインと 4 つの難易度レベルにわたっていた。

結果は、AI 拡張サイバーセキュリティ オペレーションの生産性向上と、自動化がセキュリティ チームの運用方法を再定義することで組織が直面する可能性のある新たなワークフォースの課題を強調している。

AI 拡張チームは計測可能なパフォーマンス向上をもたらす

ベンチマークでは、AI エージェントをサイバーセキュリティ ワークフローに統合することで出力が劇的に増加することを示しており、特に経験豊富な人間のオペレーターとペアになると顕著である。

主な調査結果は以下の通りである：

• エリート AI 拡張チームは、人間のみのチームと比較して最大 4.1 倍 の出力を達成
• すべてのチームで 1.4 倍の生産性の改善が見られた
• AI 拡張チームはチャレンジを解決する率が 70% 高かった
• AI チームの解決率は 27% で、対してトップの人間のみのチームは 16% であった
• 全参加チームを通じて、3.2 倍高い解決率比率

ハリス・ピラリノス ハック・ザ・ボックス CEO兼創設者によると、結果は AI が運用の速度を劇的に向上させることができるものの、人間の管理が必要であることを示している。

「AI はサイバーセキュリティ パフォーマンスの水準を引き上げることができるが、人間の専門知識の必要性を排除するものではない」と ピラリノス は述べた。「組織は、AI フルーンテッド チームとヒューマン・イン・ザ・ループ ワークフローを開発して、これらの利点を安全に解放する必要がある」。

合成ベンチマークが AI 評価に頻繁に使用されるのとは異なり、このコンペティションでは、プロフェッショナル グレードのサイバーセキュリティ チャレンジを、現実的な競争圧力の下で使用し、AI アシスト チームと人間チームの間でより運用的に現実的な比較を提供した。

ヒューマン AI ハイブリッド モデルが勝利戦略として浮上する

AI がパフォーマンスを大幅に加速させたものの、調査では、AI エージェントと人間のオペレーターを組み合わせたハイブリッド チームが、全体的に最も強力な結果をもたらした。

コンペティションでは：

• AI 拡張チームの 73.3% が少なくとも 1 つのチャレンジを完了したのに対し、人間のみのチームは 46% であった
• AI エージェントは、基礎となる生産性を改善したものの、複雑なタスクに直面したときには、人間の検証と戦略的指導が必要であった

CISO とセキュリティ リーダーにとって、レポートは、AI をサイバーセキュリティの専門家の代替ではなく、力の乗算子 として見なす必要があることを強調している。

AI の影響はスキル レベルによって劇的に異なる

レポートから得られる最も重要な洞察の 1 つは、AI がサイバーセキュリティの実践者に与える影響が、経験レベルによって異なるということである。

初期キャリア: 「生産性の幻覚」

エントリーレベルのオペレーターにとって、AI は、通常苦労するチャレンジを解決するのに役立つ、コンピタンス ブリッジとして機能する可能性がある。しかし、レポートは、ジュニア アナリストが AI 出力を検証したり、エージェントのワークフローを効果的に導くための専門知識が不足している場合、このことが 生産性の幻覚 を生み出す可能性があることを警告している。

一部のケースでは、低パフォーマンスの AI 拡張チームは実際に 12.5% 遅く、オペレーターが十分なオーバーサイト スキルを欠く場合、非効率的なループに陥ることが多かった。

中期キャリア: AI の甘い所

最大の生産性向上は、特に中程度の複雑さのタスクに取り組む 中期キャリアのアナリスト の間で見られた。

このカテゴリでは：

• AI の利点は、中程度の難易度の問題で 3.89 倍 のパフォーマンス改善に達した
• ミッドティア チームは、人間のみのチームと比較して 40〜70% のタスク完了が速かった

これは、企業が AI システムをミッドレベルのアナリストと共に最初に展開することで、最も即時の ROI を見込める可能性があることを示唆している。

エリート オペレーター: 速度の優位性、能力の代替ではない

トップ パフォーマーの中では、AI 拡張チームと人間のエキスパートの間のギャップは大きく狭まった。

例えば：

• 最も優れた人間チームはすべての 36 のチャレンジを解決したのに対し、最も優れた AI 拡張チームは 36 のうち 32 を解決した
• トップ 5% のパフォーマンス ティアでは、解決率の優位性は 1.69 倍 に縮小した

ただし、AI は依然として大きな速度の優位性をもたらした。エリート AI 拡張チームは、チャレンジを 3 倍から 4 倍の速度で解決した。

「難易度のパラドックス」が AI の苦手な点を明らかにする

調査では、AI のパフォーマンスにおける 「難易度のパラドックス」 が見つかった。

AI の優位性はタスクの複雑さとともに増加するが、ある点までである：

• 非常に簡単なチャレンジ: AI チームの約 2.4 倍 の優位性
• 中程度のチャレンジ: 3.89 倍 の優位性、パフォーマンスのピークゾーン
• 難しいチャレンジ: 優位性は 2.97 倍 に低下し、AI の推論における限界を明らかにする

特定の創造的なドメイン、たとえばコーディングとリバース エンジニアリングでは、エリート人間と AI システムの間でほぼ平等性が見られた。これは、人間の直感と新しい推論が依然として重要である領域を強調している。

ドメイン全体で、AI のパフォーマンスは広範囲にわたって変動し、5.15 倍の優位性 を示すセキュア コーディング タスクから、1.68 倍 のデジタル フォレンジックまで及んだ。

潜在的な人材パイプラインの危機

生産性の向上に加えて、レポートは、長期的なワークフォースの懸念を提起している。AI は、将来のサイバーセキュリティの専門家を生み出すトレーニング パイプラインを妨げる可能性がある。

エントリーレベルのセキュリティ タスク、伝統的にジュニア アナリストのトレーニングに使用されるものは、増加して自動化可能となっている。AI チームは、人間のチームよりも、最も簡単なチャレンジ レベルで大幅に優越していた。これは、歴史的に新しいアナリストのトレーニングに使用されてきた作業が、将来的には自動化によって処理される可能性があることを示唆している。

組織が初期キャリア ワークを自動化しすぎると、レポートは、「ミッシング ミドル」 がタレント パイプラインに生じる可能性があることを警告している。ここでは、アナリストがシニア セキュリティ エキスパートになるために必要なスキルを身に付ける機会が減少する。

セキュリティ リーダーへの影響

CISO とエンタープライズ セキュリティ リーダーにとって、調査結果は、AI ツールの採用がもう選択肢ではないことを示唆している。

AI をセキュリティ オペレーションに統合しない組織は、すでに AI を活用して攻撃を加速し、従来のチームが対応するよりも迅速に脆弱性を突いた攻撃を行う可能性のある攻撃者と対峙することになる。

レポートでは、AI 統合のための 3 つの階層戦略 を推奨している：

• エントリーレベルの役割を、手動タスクではなく AI ガバナンスと検証に焦点を当てるように再トレーニングする
• 生産性の向上が最大であるミッドキャリアのアナリストと共に、AI を最初に展開する
• エリート タレントを維持し、インシデント対応と高度な脅威分析を加速させるために AI コパイロットとペアにする

最終的に、レポート は、サイバーセキュリティの未来は、AI 対人間ではなく、マシンの速度で動作する AI 拡張人間 であることを示唆している。