Simbian Launches Cyber Defense Benchmark, Reveals Major Gap in AI Security Capabilities

Simbianがリリースした新しいベンチマークは、人工知能における最も広く受け入れられている仮定の1つに挑戦している：脆弱性を発見できるモデルはそれらを防御することもできるという仮定。同社の新しく導入されたSimbianのCyber Defense Benchmarkは、Simbian Research Labによって開発され、主要な大規模言語モデル（LLM）がリアルなサイバー防御シナリオでどれだけのパフォーマンスを発揮するかを評価する。結果は明白である。現代のAIシステムは、弱点を発見して悪用することがますます効果的になっているが、活発な攻撃を特定して停止するように依頼されたときに、重大な困難に直面する。

フロンティアモデルは防御の最低基準を満たさない

ベンチマークは、Claude Opus 4.6、GPT-5、Gemini 3.1 Proなどの主要モデルをシミュレートされたエンタープライズ環境でテストした。

どのモデルも合格点を獲得できなかった。
Claude Opus 4.6は、テストで最も強力なパフォーマーであり、MITRE ATT&CK戦術全体で一部の攻撃証拠を検出したが、多くのモデルは悪意のあるアクティビティの全カテゴリを検出できなかった。独立した学術研究は、これらの結果と一致しており、トップモデルはオープンエンドの脅威ハンティングに苦労しており、現実的なシナリオでは悪意のあるイベントのわずかな割合しか検出できないことを示している。

このギャップは、重大な制限を強調している。今日のAIシステムは、構造化された質問に答えたり、包含された問題を解決したりするには優れているかもしれないが、ガイダンスなしに複雑で進化する攻撃チェーンを調査することが求められたときに、失敗する。

現実的でエージェントベースの評価へのシフト

このベンチマークが際立っているのは、その設計である。

以前のサイバーセキュリティテストとは異なり、Simbianのアプローチは、実際のテレメトリデータを使用し、モデルをエージェントベースの調査ループに配置する。モデルは、ログを調査し、仮説を形成し、脅威を独立して特定する必要がある。

これは、人間のセキュリティアナリストが実際のセキュリティオペレーションセンターでどのように作業するかを反映している。

ベンチマークには、複数のステージにわたる数十の攻撃技術が含まれており、モデルは時間とシステム全体でシグナルを接続する必要がある。また、決定的なスコアリングを適用することで、モデルが単にパターンを記憶するリスクを軽減する。

この現実性へのシフトは重要である。AIの開発において、現実世界の複雑さを正確に反映したベンチマークを作成することは、問題自体を解決するための最初のステップであることが多い。

オフенсивとディフェンシブAIの間の拡大するギャップ

調査結果は、業界全体で出現しているより広いトレンドを強化している。

AIは、オフенсивサイバータスクで急速に改善している。 最近の研究は、フロンティアモデルがシミュレートされた環境でマルチステップ攻撃を実行できることを示しており、ツーリングの最小限でこれを行うことができる。

同時に、ディフェンシブ能力は後れをとっている。

この不均衡は、拡大する非対称性を生み出している。攻撃者は自動化とスケールを利用できるが、ディフェンダーは依然として人間の専門知識と断片化されたツーリングに大きく依存している。AIが脆弱性を検出したとしても、それの重大性を誤って解釈したり、適切に動作しなかったりする可能性があり、検出と理解の間のギャップを強調している。

「オフザシェルフ」AIが短所を露呈する理由

Simbianの結論は、AIがシステムを防御できないということではなく、AIが単独でそれを行うことができないということである。

ベンチマークは、LLMがセキュリティ環境で効果的に動作するには、同社が「洗練されたハーネス」と呼ぶものが必要であることを示唆している。これは、外部インテリジェンス、構造化されたワークフロー、システムレベルの統合の組み合わせである。

これは、ツール、メモリ、コンテキストを追加すると、サイバーセキュリティタスクにおけるAIのパフォーマンスが大幅に改善されることを示すより広範な研究と一致する。

実稼働環境では、Simbianは、これらの追加レイヤーとモデルを組み合わせることで、検出精度を大幅に高めたと主張している。含意は明らかである。生のモデル能力は、パズルの1つの部分にすぎない。

AIセキュリティの新しいベンチマークカテゴリ

Cyber Defense Benchmarkのリリースは、AIシステムが実世界で展開される方法を評価する上で重要なステップを表している。

質問に答えるのではなく、エビデンス駆動型の脅威ハンティングに焦点を当てることで、問題はインテリジェンスから実行に再定義される。また、コストを測定可能な要因として導入し、モデル全体でパフォーマンスと効率のトレードオフを強調する。

AIがサイバーセキュリティを再定義し続けるにつれて、このようなベンチマークは、モデルが何ができるかだけでなく、どこで失敗するか、およびその理由を理解するために不可欠なツールとなる可能性がある。

今のところ、結論は明確である。AIの急速な進歩にもかかわらず、完全に自動化されたサイバー防御はまだ届かない。次のイノベーションの段階は、より大きなモデルを構築することよりも、AIを構造化されたインテリジェンス、コンテキスト、人間の監視と組み合わせたシステムを設計することに依存する可能性が高い。