Hack The Box Benchmark: AI-Augmented Teams Outperform Human Cybersecurity Analysts

Bir yeni çalışma Hack The Box tarafından yayınlandı ve “AI-Augmented vs Human-Only Cybersecurity Performance Benchmark Report” başlıklı bir rapor bulundu. Bu raporda, AI-augmented güvenlik ekiplerinin insan-only ekipleri önemli ölçüde geride bıraktığı ve elit ekiplerin görevleri %4.1 daha hızlı tamamladığı belirtildi. Bu sonuçlar, NeuroGrid Capture the Flag (CTF) yarışması gibi büyük ölçekli gerçek dünya benchmark’larından elde edilen performans verilerine dayanmaktadır.

Bu benchmark, NeuroGrid Capture the Flag (CTF) yarışmasını analiz etti. Yarışmaya 1.337 insan-only takım ve 156 AI-ağ takım kaydoldu ve 958 insan takımı ile 120 AI takımı, 36 güvenlik zorluğu içeren dokuz teknik alan ve dört zorluk seviyesi boyunca aktif olarak zorluklara katıldı.

Sonuçlar, AI-augmented güvenlik operasyonlarının verimlilik kazanımlarını ve organizasyonların güvenlik ekiplerinin nasıl çalıştığını değiştiren otomasyon nedeniyle ortaya çıkabilecek yeni işgücü zorluklarını vurgulamaktadır.

AI-Augmented Takımlar Ölçülebilir Performans Kazançları Sağlar

Bu benchmark, AI ajentlerinin güvenlik iş akışlarına entegre edilmesinin çıktı açısından dramatik bir artış sağlayabileceğini, özellikle deneyimli insan operatörlerle birlikte kullanıldığında göstermektedir.

Ana bulgular şunları içerir:

• İnsan-only takımlarla karşılaştırıldığında elit AI-augmented takımlar için %4.1 daha fazla çıktı
• Tüm takımlar için aynı zaman penceresinde %1.4’lük verimlilik iyileştirilmesi
• AI-augmented takımlar için %70 daha yüksek zorluk çözme oranı
• AI takımları için %27 çözme oranı ve insan-only takımları için %16
• Tüm katılımcılar için %3.2 daha yüksek genel çözme oranı

Haris Pylarinos gibi Hack The Box CEO’su ve kurucusu, sonuçların AI’ın operasyonel hızı dramatik bir şekilde artırabileceğini ancak insan denetiminin hala gerekli olduğunu gösterdiğini belirtti.

“AI, güvenlik performansı standardını yükseltebilir, ancak insan uzmanlığının ihtiyacını ortadan kaldırmaz”, Pylarinos dedi. “Organizasyonların, bu faydaları güvenli bir şekilde kilitlemek için AI-fluent takımlar ve insan-çevrimiçi iş akışları geliştirmeleri gerekir.”

Sentezlenmiş benchmark’lar genellikle AI değerlendirmelerinde kullanılır, ancak bu yarışma gerçek bir yarışma baskısı altında profesyonel düzeyde güvenlik zorlukları kullanmıştır. Bu, AI destekli ve insan takımları arasında daha operasyonel olarak gerçekçi bir karşılaştırma sunmuştur.

İnsan-AI Hibritleştirme Modeli Kazanma Stratejisi Olarak Ortaya Çıktı

AI, performansı önemli ölçüde hızlandırdı, ancak çalışma, AI ajentleri ile insan operatörlerini birleştiren hibrit takımların genel olarak en güçlü sonuçları ürettiğini buldu.

Yarışmada:

• AI-augmented takımların %73.3’ü en az bir zorluğu tamamladı, insan-only takımların %46’sı
• AI ajentleri genellikle temel verimliliği iyileştirdi, ancak karmaşık görevlerle karşılaştıklarında hala insan doğrulaması ve stratejik yönetime ihtiyaç duydu

CISO’lar ve güvenlik liderleri için rapor, AI’ın esas olarak güç çarpanı olarak görülmesi gerektiğini, güvenlik profesyonellerinin yerini alması gerektiğini değil, vurgulamaktadır.

AI’nın Etkisi Beceri Düzeyine Göre Dramatik Bir Şekilde Değişir

Rapordan elde edilen en önemli bilgilerden biri, AI’ın güvenlik uygulamalarına göre farklı deneyim seviyelerine sahip kişiler üzerinde farklı bir etkiye sahip olduğudur.

Erken Kariyer: “Verimlilik Yanılsaması”

Giriş seviyesindeki operatörler için AI, çözemedikleri zorlukları çözmelerine yardımcı olan bir yetenek köprüsü olarak hareket edebilir. Ancak rapor, bu durumun junior analistlerin AI çıkışlarını doğrulamak veya ajent iş akışlarını etkili bir şekilde yönlendirmek için yeterli uzmanlığa sahip olmadıklarında yanıltıcı bir verimlilik yaratabileceğini uyarıyor.

Bazı durumlarda, daha düşük performanslı AI-augmented takımlar aslında %12.5 daha yavaş oldu ve operatörlerin yeterli denetim becerilerine sahip olmadıklarında verimsiz döngülere takıldılar.

Orta Kariyer: AI için “Altın Nokta”

En büyük verimlilik kazanımları, özellikle orta düzey zorluklu görevleri çözerken, orta kariyerli analistler arasında gerçekleşti.