Simbian Meluncurkan Benchmark Pertahanan Siber, Mengungkap Celah Besar dalam Kemampuan Keamanan AI

Sebuah benchmark baru yang dirilis oleh Simbian mempertanyakan salah satu asumsi yang paling luas diterima dalam kecerdasan buatan: bahwa model yang sama yang dapat menemukan kerentanan juga dapat membela terhadapnya.

Perusahaan ini baru-baru ini memperkenalkan Cyber Defense Benchmark, yang dikembangkan oleh Simbian Research Lab, mengevaluasi seberapa baik model bahasa besar (LLM) memperforma dalam skenario pertahanan siber dunia nyata. Hasilnya sangat mencolok. Sementara sistem AI modern semakin efektif dalam menemukan dan mengeksploitasi kelemahan, mereka bergelut secara signifikan ketika diminta untuk mengidentifikasi dan menghentikan serangan aktif.

Model Frontier Gagal Memenuhi Batas Minimum untuk Pertahanan

Benchmark ini menguji model terkemuka termasuk Claude Opus 4.6, GPT-5, Gemini 3.1 Pro, dan lain-lain dalam lingkungan perusahaan yang disimulasikan.

Tidak ada model yang mencapai skor lulus.

Claude Opus 4.6, performer terkuat dalam tes, hanya mendeteksi sebagian bukti serangan di seluruh MITRE ATT&CK taktik, sementara banyak model gagal mengidentifikasi kategori seluruh aktivitas berbahaya. Penelitian akademis independen yang sejalan dengan temuan ini, menunjukkan bahwa bahkan model teratas bergelut dengan pemburuan ancaman terbuka, mendeteksi hanya sebagian kecil dari peristiwa berbahaya dalam skenario realistis.

Celah ini menyoroti keterbatasan kritis. Sistem AI saat ini mungkin unggul dalam menjawab pertanyaan terstruktur atau memecahkan masalah yang terkandung, tetapi mereka gagal ketika diminta untuk menyelidiki rantai serangan kompleks dan berkembang tanpa bimbingan.

Pergeseran Menuju Evaluasi Berbasis Agen yang Realistis

Apa yang membedakan benchmark ini adalah desainnya.

Tidak seperti tes keamanan siber sebelumnya yang bergantung pada pertanyaan pilihan ganda atau dataset statis, pendekatan Simbian menggunakan data telemetri nyata dan menempatkan model dalam loop investigasi agen. Alih-alih diberitahu apa yang harus dicari, AI harus menjelajahi log, membentuk hipotesis, dan mengidentifikasi ancaman secara mandiri.

Ini mencerminkan bagaimana analis keamanan manusia beroperasi di Pusat Operasi Keamanan yang sebenarnya.

Benchmark ini mencakup puluhan teknik serangan di seluruh tahap, memaksa model untuk menghubungkan sinyal di seluruh waktu dan sistem. Dengan memutasi konteks dan menerapkan skor deterministik, itu juga mengurangi risiko model hanya mengingat pola.

Perubahan ini menuju realisme sangat signifikan. Dalam pengembangan AI, menciptakan benchmark yang secara akurat mencerminkan kompleksitas dunia nyata sering kali menjadi langkah pertama untuk memecahkan masalah itu sendiri.

Perbedaan yang Semakin Besar Antara AI Ofensif dan Defensif

Temuan ini memperkuat tren yang lebih luas yang muncul di seluruh industri.

AI dengan cepat meningkatkan kemampuan dalam tugas siber ofensif. Studi terbaru menunjukkan bahwa model frontier dapat mengeksekusi serangan multi-langkah dalam lingkungan yang disimulasikan dan semakin melakukannya dengan tooling minimal. Pada saat yang sama, kemampuan defensif tertinggal.

Keseimbangan ini menciptakan asimetri yang semakin melebar. Penyerang dapat memanfaatkan otomatisasi dan skala, sementara pembela masih sangat bergantung pada keahlian manusia dan tooling yang terfragmentasi. Bahkan ketika AI mengidentifikasi kerentanan, itu mungkin salah menafsirkan tingkat keparahannya atau gagal bertindak secara tepat, menyoroti celah antara deteksi dan pemahaman.

Mengapa “Out-of-the-Box” AI Gagal

Kesimpulan Simbian bukanlah bahwa AI tidak dapat membela sistem, tetapi bahwa AI tidak dapat melakukannya sendiri.

Benchmark ini menunjukkan bahwa LLM memerlukan apa yang disebut perusahaan sebagai “harness yang canggih” – kombinasi intelijen eksternal, alur kerja terstruktur, dan integrasi sistem – untuk beroperasi secara efektif dalam lingkungan keamanan.

Ini sejalan dengan penelitian yang lebih luas yang menunjukkan bahwa menambahkan alat, memori, dan konteks secara signifikan meningkatkan kinerja AI dalam tugas keamanan siber.

Dalam lingkungan produksi, Simbian mengklaim telah mencapai akurasi deteksi yang jauh lebih tinggi dengan menggabungkan model dengan lapisan tambahan ini. Implikasinya jelas: kemampuan model mentah hanya satu bagian dari teka-teki.

Kategori Baru Benchmark untuk Keamanan AI

Peluncuran Cyber Defense Benchmark menandai langkah penting dalam evaluasi sistem AI untuk penerapan dunia nyata.

Dengan fokus pada pemburuan ancaman berbasis bukti daripada menjawab pertanyaan, ini mengubah masalah dari intelijen ke eksekusi. Ini juga memperkenalkan biaya sebagai faktor yang dapat diukur, menyoroti trade-off antara kinerja dan efisiensi di seluruh model.

Ketika AI terus membentuk kembali keamanan siber, benchmark seperti ini mungkin menjadi alat penting untuk memahami tidak hanya apa yang dapat dilakukan model, tetapi di mana mereka gagal—dan mengapa.

Untuk saat ini, kesimpulan sangat jelas. Meskipun kemajuan pesat dalam AI, pertahanan siber yang sepenuhnya otonom masih belum tercapai. Fase inovasi berikutnya kemungkinan akan bergantung lebih sedikit pada membangun model yang lebih besar, dan lebih pada merancang sistem yang menggabungkan AI dengan intelijen terstruktur, konteks, dan pengawasan manusia.