Benchmark Hack The Box: Tim AI yang Ditingkatkan Mengungguli Analis Keamanan Siber Manusia

Sebuah studi baru dari Hack The Box yang berjudul “Laporan Benchmark Kinerja Keamanan Siber yang Ditingkatkan AI vs Hanya Manusia” menemukan bahwa tim keamanan siber yang ditingkatkan AI dapat secara signifikan mengungguli tim hanya manusia, dengan tim elit menyelesaikan tugas hingga 4,1 kali lebih cepat. Temuan ini didasarkan pada data kinerja dari Kompetisi NeuroGrid Capture the Flag (CTF), salah satu benchmark dunia nyata terbesar yang membandingkan tim keamanan siber yang dibantu AI dan tim manusia yang melakukan tugas keamanan siber.

Benchmark ini menganalisis data dari kompetisi NeuroGrid Capture the Flag (CTF), yang mencakup 1.337 tim hanya manusia dan 156 tim agen AI yang terdaftar, dengan 958 tim manusia dan 120 tim AI yang secara aktif mencoba tantangan di 36 domain keamanan siber yang meliputi sembilan domain teknis dan empat tingkat kesulitan.

Hasilnya menyoroti baik keuntungan produktivitas operasi keamanan siber yang ditingkatkan AI maupun tantangan keamanan siber yang mungkin dihadapi organisasi ketika otomatisasi mengubah cara tim keamanan siber bekerja.

Tim yang Ditingkatkan AI Memberikan Keuntungan Kinerja yang Terukur

Benchmark ini menunjukkan bahwa integrasi agen AI ke dalam alur kerja keamanan siber dapat secara dramatis meningkatkan output, terutama ketika dipasangkan dengan operator manusia yang berpengalaman.

Temuan kunci termasuk:

• Hingga 4,1 kali lebih banyak output untuk tim elit yang ditingkatkan AI dibandingkan dengan tim hanya manusia
• Perbaikan produktivitas sebesar 1,4 kali di semua tim selama jendela waktu yang sama
• Tingkat penyelesaian tantangan yang 70% lebih tinggi untuk tim yang ditingkatkan AI
• Tingkat penyelesaian sebesar 27% untuk tim AI dibandingkan dengan 16% untuk tim manusia terbaik
• Rasio penyelesaian keseluruhan yang 3,2 kali lebih tinggi di semua peserta

Menurut CEO dan pendiri Hack The Box Haris Pylarinos, hasilnya menunjukkan bahwa AI dapat secara dramatis meningkatkan kecepatan operasional tetapi masih harus dipasangkan dengan pengawasan manusia.

“AI dapat meningkatkan batas kinerja keamanan siber, tetapi tidak menghilangkan kebutuhan akan keahlian manusia,” kata Pylarinos. “Organisasi harus mengembangkan tim yang mampu menggunakan AI dan alur kerja yang aman untuk membuka kunci manfaat ini.”

Tidak seperti benchmark sintetis yang sering digunakan dalam evaluasi AI, kompetisi ini menggunakan tantangan keamanan siber profesional di bawah tekanan kompetisi yang nyata, menawarkan perbandingan yang lebih realistis antara tim yang dibantu AI dan tim manusia.

Model Hibrida Manusia-AI Muncul sebagai Strategi yang Menang

Sementara AI secara signifikan mempercepat kinerja, studi ini menemukan bahwa tim hibrida yang menggabungkan agen AI dengan operator manusia menghasilkan hasil terkuat secara keseluruhan.

Dalam kompetisi:

• 73,3% tim yang ditingkatkan AI menyelesaikan setidaknya satu tantangan, dibandingkan dengan 46% tim hanya manusia
• Agen AI sering meningkatkan produktivitas dasar tetapi masih memerlukan validasi dan arahan strategis manusia ketika menghadapi tugas yang kompleks

Bagi CISO dan pemimpin keamanan, laporan ini menekankan bahwa AI harus dipandang terutama sebagai pengganda kekuatan, bukan pengganti ahli keamanan siber.

Dampak AI Bervariasi Secara Dramatis Menurut Tingkat Keahlian

Salah satu wawasan paling penting dari laporan ini adalah bahwa AI memengaruhi praktisi keamanan siber dengan cara yang berbeda-beda tergantung pada tingkat pengalaman mereka.

Awal Karir: “Ilusi Produktivitas”

Bagi operator pemula, AI dapat bertindak sebagai jembatan kompetensi, membantu mereka menyelesaikan tantangan yang mungkin mereka hadapi. Namun, laporan ini memperingatkan bahwa ini dapat menciptakan ilusi produktivitas jika analis junior kekurangan keahlian untuk memverifikasi output AI atau mengarahkan alur kerja agen dengan efektif.

Dalam beberapa kasus, tim yang ditingkatkan AI dengan kinerja lebih rendah sebenarnya 12,5% lebih lambat, sering terjebak dalam loop yang tidak efisien ketika operator kekurangan keterampilan pengawasan yang memadai.

Karir Menengah: Titik Manis untuk AI

Keuntungan produktivitas terbesar terjadi di antara analisis menengah, terutama ketika menangani tugas dengan kompleksitas sedang.

Dalam kategori ini:

• Keuntungan AI puncak pada peningkatan kinerja sebesar 3,89 kali pada masalah dengan kesulitan sedang
• Tim menengah mengalami penyelesaian tugas 40-70% lebih cepat dibandingkan dengan tim hanya manusia

Hal ini menunjukkan bahwa perusahaan mungkin melihat pengembalian investasi AI yang paling langsung dengan menggunakannya bersama analis menengah.

Operator Elite: Keuntungan Kecepatan, Bukan Penggantian Kemampuan

Di antara penampil terbaik, kesenjangan antara tim yang ditingkatkan AI dan ahli manusia menyempit secara signifikan.

Contohnya:

• Tim manusia terbaik menyelesaikan semua 36 tantangan, sementara tim yang ditingkatkan AI terbaik menyelesaikan 32 dari 36
• Pada tingkat kinerja 5% teratas, keuntungan penyelesaian menyempit menjadi 1,69 kali

Namun, AI masih memberikan keuntungan besar dalam kecepatan, dengan tim elit yang ditingkatkan AI menyelesaikan tantangan tiga hingga empat kali lebih cepat.

“Paradoks Kesulitan” Mengungkapkan Di Mana AI Mengalami Kesulitan

Studi ini juga mengidentifikasi apa yang disebut “paradoks kesulitan” dalam kinerja AI.

Keuntungan AI meningkat dengan kompleksitas tugas—hingga titik tertentu:

• Tantangan sangat mudah: ~2,4 kali keuntungan untuk tim AI
• Tantangan sedang: 3,89 kali keuntungan, zona kinerja puncak
• Tantangan sulit: keuntungan turun menjadi 2,97 kali, mengungkapkan keterbatasan dalam penalaran AI

Domain kreatif tertentu—seperti pengkodean dan reverse engineering—menunjukkan kesetaraan yang hampir sama antara manusia elit dan sistem AI, menyoroti area di mana intuisi manusia dan penalaran baru tetap kritis.

Di seluruh domain, kinerja AI bervariasi secara luas, mulai dari keuntungan 5,15 kali dalam tugas pengkodean yang aman hingga 1,68 kali dalam forensik digital.

Potensi Krisis Pipa Bakat

Di luar keuntungan produktivitas, laporan ini mengangkat kekhawatiran tentang pipa bakat jangka panjang: AI mungkin mengganggu pipa pelatihan yang menghasilkan ahli keamanan siber di masa depan.

Tugas keamanan siber tingkat awal—tradisional digunakan untuk melatih analis junior—semakin dapat diotomatisasi. Tim AI secara signifikan mengungguli tim manusia pada tingkat tantangan termudah, menunjukkan bahwa pekerjaan yang secara historis digunakan untuk melatih analis baru mungkin semakin banyak ditangani oleh otomatisasi.

Jika organisasi mengotomatisasi terlalu banyak pekerjaan awal, laporan ini memperingatkan bahwa mereka berisiko menciptakan “kesenjangan tengah” dalam pipa bakat, di mana fewer analis mengembangkan keterampilan yang diperlukan untuk menjadi ahli keamanan siber senior.

Implikasi untuk Pemimpin Keamanan

Bagi CISO dan pemimpin keamanan perusahaan, temuan ini menunjukkan bahwa mengadopsi alat AI tidak lagi opsional.

Organisasi yang gagal mengintegrasikan AI ke dalam operasi keamanan mereka mungkin menghadapi lawan yang sudah menggunakan AI untuk mempercepat serangan dan mengeksploitasi kerentanan lebih cepat dari tim tradisional dapat merespons.

Laporan ini merekomendasikan strategi tiga tingkat untuk integrasi AI:

• Melatih kembali peran awal untuk fokus pada tata kelola AI dan validasi daripada tugas manual
• Menggunakan AI bersama analis menengah terlebih dahulu, di mana keuntungan produktivitas tertinggi
• Mempertahankan bakat elit dan memasangkannya dengan kopilot AI untuk mempercepat respon insiden dan analisis ancaman lanjutan

Akhirnya, laporan ini menunjukkan bahwa masa depan keamanan siber tidak akan menjadi AI versus manusia—tetapi manusia yang ditingkatkan AI yang beroperasi pada kecepatan mesin.