Benchmark Hack The Box: Tim yang Diperkuat AI Mengungguli Analis Keamanan Siber Manusia

Sebuah studi baru dari Hack The Box yang berjudul “Laporan Benchmark Kinerja Keamanan Siber yang Ditingkatkan AI vs Hanya Manusia” menemukan bahwa tim keamanan siber yang ditingkatkan AI dapat secara signifikan mengungguli tim hanya manusia, dengan tim elit menyelesaikan tugas hingga 4,1 kali lebih cepat. Temuan ini didasarkan pada data kinerja dari Kompetisi NeuroGrid Capture the Flag (CTF), salah satu benchmark dunia nyata terbesar yang membandingkan tim yang dibantu AI agentik dan tim manusia tradisional yang melakukan tugas keamanan siber.

Benchmark ini menganalisis data dari kompetisi NeuroGrid Capture the Flag (CTF), yang mencakup 1.337 tim hanya manusia dan 156 tim agen AI yang terdaftar, dengan 958 tim manusia dan 120 tim AI yang secara aktif mencoba menyelesaikan 36 tantangan keamanan siber yang mencakup sembilan domain teknis dan empat tingkat kesulitan.

Hasilnya menyoroti baik keuntungan produktivitas operasi keamanan siber yang ditingkatkan AI maupun tantangan ketenagakerjaan yang mulai muncul dan mungkin dihadapi organisasi ketika otomatisasi mengubah cara tim keamanan siber bekerja.

Tim yang Ditingkatkan AI Memberikan Keuntungan Kinerja yang Terukur

Benchmark ini menunjukkan bahwa integrasi agen AI ke dalam alur kerja keamanan siber dapat secara dramatis meningkatkan output, terutama ketika dipasangkan dengan operator manusia yang berpengalaman.

Temuan kunci termasuk:

• Hingga 4,1 kali lebih banyak output untuk tim elit yang ditingkatkan AI dibandingkan dengan tim hanya manusia
• Perbaikan produktivitas sebesar 1,4 kali di semua tim selama jendela waktu yang sama
• Tingkat penyelesaian tantangan yang 70% lebih tinggi untuk tim yang ditingkatkan AI
• Tingkat penyelesaian sebesar 27% untuk tim AI dibandingkan dengan 16% untuk tim manusia terbaik
• Rasio penyelesaian keseluruhan yang 3,2 kali lebih tinggi di semua peserta

Menurut CEO dan pendiri Hack The Box Haris Pylarinos, hasilnya menunjukkan bahwa AI dapat secara dramatis meningkatkan kecepatan operasional tetapi masih harus dipasangkan dengan pengawasan manusia.

“AI dapat meningkatkan batas kinerja keamanan siber, tetapi tidak menghilangkan kebutuhan akan keahlian manusia,” kata Pylarinos. “Organisasi harus mengembangkan tim yang mahir menggunakan AI dan alur kerja yang melibatkan manusia dalam pengawasan agar manfaat ini dapat diperoleh dengan aman.”

Tidak seperti benchmark sintetis yang sering digunakan dalam evaluasi AI, kompetisi ini menggunakan tantangan keamanan siber profesional di bawah tekanan kompetisi yang nyata, menawarkan perbandingan yang lebih realistis antara tim yang dibantu AI dan tim manusia.

Model Hibrida Manusia-AI Muncul sebagai Strategi yang Menang

Sementara AI secara signifikan mempercepat kinerja, studi ini menemukan bahwa tim hibrida yang menggabungkan agen AI dengan operator manusia menghasilkan hasil terkuat secara keseluruhan.

Dalam kompetisi:

• 73,3% tim yang ditingkatkan AI menyelesaikan setidaknya satu tantangan, dibandingkan dengan 46% tim hanya manusia
• Agen AI sering meningkatkan produktivitas dasar tetapi masih memerlukan validasi dan arahan strategis manusia ketika menghadapi tugas yang kompleks

Bagi CISO dan pemimpin keamanan, laporan ini menekankan bahwa AI harus dipandang terutama sebagai pengganda kekuatan, bukan pengganti ahli keamanan siber.

Dampak AI Bervariasi Secara Dramatis Menurut Tingkat Keahlian

Salah satu wawasan paling penting dari laporan ini adalah bahwa AI memengaruhi praktisi keamanan siber dengan cara yang berbeda-beda tergantung pada tingkat pengalaman mereka.

Awal Karir: “Ilusi Produktivitas”

Bagi operator pemula, AI dapat bertindak sebagai jembatan kompetensi, membantu mereka menyelesaikan tantangan yang mungkin sulit mereka selesaikan tanpa bantuan AI. Namun, laporan ini memperingatkan bahwa ini dapat menciptakan ilusi produktivitas jika analis junior kekurangan keahlian untuk memverifikasi output AI atau mengarahkan alur kerja agen dengan efektif.

Dalam beberapa kasus, tim yang ditingkatkan AI dengan kinerja lebih rendah sebenarnya 12,5% lebih lambat, sering terjebak dalam loop yang tidak efisien ketika operator kekurangan keterampilan pengawasan yang memadai.

Karir Menengah: Titik Optimal untuk AI

Keuntungan produktivitas terbesar terjadi di antara analis pada pertengahan karier, terutama ketika menangani tugas dengan kompleksitas sedang.

Dalam kategori ini:

• Keunggulan AI mencapai puncaknya pada peningkatan kinerja sebesar 3,89 kali pada masalah dengan kesulitan sedang
• Tim menengah mengalami penyelesaian tugas 40-70% lebih cepat dibandingkan dengan tim hanya manusia

Hal ini menunjukkan bahwa perusahaan mungkin melihat pengembalian investasi AI yang paling langsung dengan menerapkan sistem agentik bersama analis pada pertengahan karier.

Operator Elite: Keuntungan Kecepatan, Bukan Penggantian Kemampuan

Di antara penampil terbaik, kesenjangan antara tim yang ditingkatkan AI dan ahli manusia menyempit secara signifikan.

Contohnya:

• Tim manusia terbaik menyelesaikan semua 36 tantangan, sementara tim yang ditingkatkan AI terbaik menyelesaikan 32 dari 36
• Pada tingkat kinerja 5% teratas, keuntungan penyelesaian menyempit menjadi 1,69 kali

Namun, AI masih memberikan keuntungan besar dalam kecepatan, dengan tim elit yang ditingkatkan AI menyelesaikan tantangan tiga hingga empat kali lebih cepat.

“Paradoks Kesulitan” Mengungkapkan Di Mana AI Mengalami Kesulitan

Studi ini juga mengidentifikasi apa yang disebut “paradoks kesulitan” dalam kinerja AI.

Keuntungan AI meningkat dengan kompleksitas tugas—hingga titik tertentu:

• Tantangan sangat mudah: ~2,4 kali keuntungan untuk tim AI
• Tantangan sedang: 3,89 kali keuntungan, zona kinerja puncak
• Tantangan sulit: keuntungan turun menjadi 2,97 kali, mengungkapkan keterbatasan dalam penalaran AI

Domain kreatif tertentu—seperti pengkodean dan reverse engineering—menunjukkan kesetaraan yang hampir sama antara manusia elit dan sistem AI, menyoroti area di mana intuisi manusia dan penalaran baru tetap kritis.

Di seluruh domain, kinerja AI bervariasi secara luas, mulai dari keuntungan 5,15 kali dalam tugas pengkodean yang aman hingga 1,68 kali dalam forensik digital.

Potensi Krisis Jalur Pengembangan Talenta

Di luar keuntungan produktivitas, laporan ini mengangkat kekhawatiran jangka panjang tentang tenaga kerja: AI mungkin mengganggu jalur pelatihan yang menghasilkan ahli keamanan siber di masa depan.

Tugas keamanan siber tingkat awal—yang secara tradisional digunakan untuk melatih analis junior—semakin dapat diotomatisasi. Tim AI secara signifikan mengungguli tim manusia pada tingkat tantangan termudah, menunjukkan bahwa pekerjaan yang secara historis digunakan untuk melatih analis baru mungkin semakin banyak ditangani oleh otomatisasi.

Jika organisasi mengotomatisasi terlalu banyak pekerjaan awal, laporan ini memperingatkan bahwa mereka berisiko menciptakan “kesenjangan tengah” dalam jalur pengembangan talenta, sehingga lebih sedikit analis mengembangkan keterampilan yang diperlukan untuk menjadi ahli keamanan siber senior.

Implikasi untuk Pemimpin Keamanan

Bagi CISO dan pemimpin keamanan perusahaan, temuan ini menunjukkan bahwa mengadopsi alat AI tidak lagi opsional.

Organisasi yang gagal mengintegrasikan AI ke dalam operasi keamanan mereka mungkin menghadapi lawan yang sudah menggunakan AI untuk mempercepat serangan dan mengeksploitasi kerentanan lebih cepat dari tim tradisional dapat merespons.

Laporan ini merekomendasikan strategi tiga tingkat untuk integrasi AI:

• Melatih kembali peran awal untuk fokus pada tata kelola AI dan validasi daripada tugas manual
• Menggunakan AI bersama analis menengah terlebih dahulu, di mana keuntungan produktivitas tertinggi
• Mempertahankan bakat elit dan memasangkannya dengan kopilot AI untuk mempercepat respon insiden dan analisis ancaman lanjutan

Akhirnya, laporan ini menunjukkan bahwa masa depan keamanan siber tidak akan menjadi AI versus manusia—tetapi manusia yang ditingkatkan AI yang beroperasi pada kecepatan mesin.