Hack The Box Benchmark: AI-Artırılmış Takımlar İnsan Siber Güvenlik Uzmanlarından Daha İyi Performans Gösteriyor

Hack The Box’tan yapılan bir yeni çalışma, “AI-Artırılmış vs İnsan-Only Siber Güvenlik Performansı Benchmark Raporu” adlı bir raporda, AI-artırılmış siber güvenlik takımlarının insan-only takımlardan önemli ölçüde daha iyi performans gösterebileceğini ortaya koyuyor. Rapor, NeuroGrid Capture the Flag (CTF) yarışması performans verilerine dayanmaktadır. Bu yarışma, gerçek dünya uygulamalarında ajantik AI-destekli takımlarla geleneksel insan takımlarının karşılaştırılmasını sağlayan en büyük gerçek dünya benchmark’lerinden biridir.

Benchmark, NeuroGrid Capture the Flag (CTF) yarışmasından alınan verileri analiz etti. Yarışmaya 1.337 insan-only takım ve 156 AI-ağент takım kaydoldu ve 958 insan takımı ile 120 AI takımı, 36 siber güvenlik meydan okumalarının tamamında aktif olarak meydan okumalara katıldı.

Sonuçlar, AI-artırılmış siber güvenlik operasyonlarının verimlilik kazanımlarını ve organizasyonların karşı karşıya kalabileceği ortaya çıkan işgücü zorluklarını vurgulamaktadır.

AI-Artırılmış Takımlar Ölçülebilir Performans Kazançları Sağlar

Benchmark, AI ajanlarını siber güvenlik iş akışlarına entegre etmenin çıktı Dramatik bir şekilde artırabileceğini gösteriyor, özellikle deneyimli insan operatörlerle birlikte kullanıldığında.

Ana bulgular şunları içerir:

• İnsan-only takımlarla karşılaştırıldığında, üst düzey AI-artırılmış takımlar için 4.1 kat daha fazla çıktı
• Tüm takımlar için aynı zaman penceresinde %1.4’lük verimlilik iyileştirmesi
• AI-artırılmış takımlar için %70 daha yüksek zorluk çözme oranı
• AI takımları için %27 çözme oranı, insan-only takımların en iyileri için %16
• Tüm katılımcılar için 3.2 kat daha yüksek genel çözme oranı

Hack The Box CEO’su ve kurucusu Haris Pylarinos’a göre, sonuçlar AI’ın operasyonel hızı Dramatik bir şekilde artırabileceğini ancak hala insan denetimine ihtiyaç duyduğunu gösteriyor.

“AI, siber güvenlik performansını yükseltebilir, ancak insan uzmanlığının gerekliliğini ortadan kaldırmaz” Pylarinos dedi. “Organizasyonlar, bu faydaları güvenli bir şekilde açığa çıkarmak için AI-fluent takımlar ve insan-çevrimiçi iş akışları geliştirmelidir.”

Sentez benchmark’lerine kıyasla, yarışma profesyonel düzeyde siber güvenlik meydan okumalarını gerçek yarışma baskısı altında kullandı, bu da AI-destekli ve insan takımları arasında daha operasyonel olarak gerçekçi bir karşılaştırmaya olanak tanıdı.

İnsan-AI Hibrit Modeli Kazanma Stratejisi Olarak Ortaya Çıkıyor

AI performansı Dramatik bir şekilde hızlandırırken, çalışma AI-ağент takımlarla birlikte insan operatörlerin birleştirilmesiyle oluşan hibrit takımların genel olarak en güçlü sonuçları ürettiğini buldu.

Yarışmada:

• AI-artırılmış takımların %73.3’ü en az bir zorluğu tamamladı, insan-only takımların %46’sına kıyasla
• AI ajanları genellikle temel verimliliği iyileştirdi, ancak karmaşık görevlerle karşılaştıklarında insan doğrulaması ve stratejik yönetime ihtiyaç duydu

CISO’lar ve güvenlik liderleri için rapor, AI’ın öncelikle bir güç çarpanı olarak görülmesi gerektiğini, siber güvenlik profesyonellerinin yerini alması değil, vurgulamaktadır.

AI’ın Etkisi Beceriye Düzeyine Göre Dramatik Bir Şekilde Değişir

Raporun en önemli bulgularından biri, AI’ın siber güvenlik uygulayıcılarını deneyim seviyelerine bağlı olarak farklı şekilde etkilediğidir.

Erken Kariyer: “Verimlilik İllüzyonu”

Giriş seviyesi operatörler için AI, çözümü zorlukla karşılaştıkları zorlukları çözmelerine yardımcı olan bir yetenek köprüsü olarak hareket edebilir. Ancak rapor, bu durumun junior analistlerin AI çıktılarını doğrulamak veya ajan iş akışlarını etkili bir şekilde yönlendirmek için yeterli uzmanlığa sahip olmadıklarında yanlış bir verimlilik hissi yaratabileceğini uyarıyor.

Bazı durumlarda, daha düşük performanslı AI-artırılmış takımlar aslında %12.5 daha yavaş oldu, genellikle yeterli denetim becerilerine sahip olmayan operatörlerin verimsiz döngülere takıldığı durumlar.

Orta Kariyer: AI için Tatlı Nokta

En büyük verimlilik kazanımları, özellikle orta düzey zorlukta görevlerde orta kariyer analistlerinde gerçekleşti.

Bu kategoride:

• Orta zorlukta sorunlarda AI avantajı 3.89 kat performans iyileştirmesine ulaştı
• Orta düzey takımlar, insan-only karşıtlarına kıyasla görev tamamlama süresinde %40-70 daha hızlıydı

Bu, şirketlerin AI sistemlerini orta düzey analistlerle birlikte dağıtarak en hızlı geri dönüşü elde edebileceğini gösteriyor.

Üst Düzey Operatörler: Hız Avantajı, Yetenek Ikamesi Değil

En iyi performans gösterenlerde, AI-artırılmış takımlar ve insan uzmanları arasındaki fark önemli ölçüde daraldı.

Örneğin:

• En iyi insan takımı tüm 36 zorluğu çözdü, en iyi AI-artırılmış takım 36 zorluktan 32’sini çözdü
• En üst düzey %5 performans seviyesinde, çözme oranı avantajı 1.69 kata düştü

Ancak AI, hala hız avantajı sağladı, üst düzey AI-artırılmış takımların zorlukları üç ila dört kat daha hızlı çözdüğü görüldü.

“Zorluk Paradoksu” AI’ın Nerede Çabaladığını Açığa Çıkarıyor

Çalışma ayrıca AI performansı中的 bir “zorluk paradoksu”nu ortaya çıkardı.

AI avantajı, görev karmaşıklığıyla birlikte artar, ancak bir noktaya kadar:

• Çok kolay zorluklar: AI takımları için ~2.4 kat avantaj
• Orta zorluklar: 3.89 kat avantaj, zirve performans bölgesi
• Zor zorluklar: Avantaj 2.97 kata düşer, AI akıl yürütmesinin sınırlarını ortaya koyar

Bazı yaratıcı alanlar, örneğin kodlama ve ters mühendislik, üst düzey insanlar ve AI sistemleri arasında neredeyse eşitlik gösterdi, bu da insan sezgisinin ve yeni akıl yürütmenin kritik olduğu alanları vurguladı.

Tüm alanlarda AI performansı geniş bir şekilde değişti, güvenli kodlama görevlerinde 5.15 kat avantajdan dijital adli tıp için 1.68 kata kadar değişti.

Mümkün Bir Yetenek Boru Hattı Krizi

Üretkenlik kazanımlarının ötesinde, rapor uzun vadeli bir işgücü endişesi ortaya koyuyor: AI, gelecekteki siber güvenlik uzmanlarını yetiştiren eğitim boru hattını bozabilir.

Giriş seviyesi güvenlik görevleri – geleneksel olarak junior analistleri eğitmek için kullanılan – artık otomasyonla gerçekleştirilebilir. AI takımları, en kolay zorluk seviyelerinde insan takımlarından önemli ölçüde daha iyi performans gösterdi, bu da yeni analistlerin gerekli becerileri geliştirmek için yeterli fırsata sahip olmayabileceğini gösteriyor.

Eğer organizasyonlar erken kariyer işlerini çok fazla otomatikleştirirse, rapor “eksik orta” bir yetenek boru hattı riski uyarıyor, burada daha az analist senior güvenlik uzmanları olmak için gereken becerileri geliştiriyor.

Güvenlik Liderleri için Sonuçlar

CISO’lar ve şirket güvenlik liderleri için bulgular, AI araçlarını entegre etmenin artık isteğe bağlı olmadığını gösteriyor.

AI’ı güvenlik operasyonlarına entegre etmeyen organizasyonlar, already AI’ı saldırıları hızlandırmak ve geleneksel takımların yanıt vermesinden daha hızlı güvenlik açıklarını sömüren saldırganlarla karşı karşıya kalabilir.

Rapor, AI entegrasyonu için üç katmanlı bir strateji önermektedir:

• Giriş seviyesi rollerini, manuel görevlerden ziyade AI yönetimine ve doğrulamasına odaklamak için yeniden eğitin
• AI’ı öncelikle en yüksek verimlilik kazanımlarının olduğu orta kariyer analistleriyle birlikte dağıtın
• Üst düzey yeteneği koruyun ve onları AI kaptanlarıyla eşleştirin, böylece olay yanıtını ve gelişmiş tehdit analizini hızlandırın

Sonuç olarak, rapor siber güvenliğin geleceğinin AI karşıtı insanlar değil, AI-artırılmış insanlar olacağını, makine hızında çalışabileceğini öne sürüyor.