Simon Edwards, CEO dan Pendiri SE Labs – Seri Wawancara

Simon Edwards, CEO dan Pendiri SE Labs, adalah seorang pakar pengujian keamanan siber dengan pengalaman lebih dari tiga dekade yang mencakup riset keamanan, evaluasi produk, jurnalisme teknis, dan standar industri. Sebelum mendirikan SE Labs pada tahun 2015, Edwards memimpin Dennis Technology Labs, di mana ia memimpin inisiatif pengujian keamanan, dan sebelumnya menghabiskan bertahun‑tahun sebagai jurnalis teknologi dan editor. Ia juga pernah memegang posisi kepemimpinan senior di Anti-Malware Testing Standards Organization (AMTSO), termasuk sebagai Ketua, Direktur, dan Co‑Chair. Edwards telah menguji produk keamanan sejak pertengahan 1990‑an dan menjadi pelopor pendekatan pengujian anti‑malware dunia nyata awal yang dirancang untuk mengevaluasi bagaimana teknologi keamanan berperforma melawan serangan lengkap yang dikirim melalui internet, bukan hanya sampel malware terisolasi.

SE Labs adalah perusahaan independen yang melakukan pengujian keamanan siber dan konsultasi yang mengevaluasi bagaimana teknologi keamanan berperforma melawan serangan realistis. Penelitinya meniru teknik penyerang di seluruh rangkaian serangan untuk menilai produk termasuk perlindungan endpoint, Endpoint Detection and Response (EDR), layanan keamanan cloud, firewall, keamanan email, dan teknologi deteksi jaringan. Selain pengujian perbandingan publik, SE Labs menyediakan sertifikasi, pengujian keamanan lanjutan, validasi produk, dan layanan konsultasi untuk perusahaan dan vendor keamanan siber. Perusahaan ini menerbitkan metodologi pengujiannya serta kerangka kerja emulasi ancaman dan telah bersertifikasi ISO/IEC 27001:2022 serta BS EN ISO 9001:2015 untuk penyediaan pengujian produk keamanan TI.

Karier Anda mencakup lebih dari tiga dekade dalam jurnalisme teknologi, konsultasi keamanan, pengujian independen, dan peran kepemimpinan di Anti-Malware Testing Standards Organization (AMTSO). Bagaimana pengalaman tersebut membentuk cara Anda memisahkan kemajuan sejati dalam keamanan siber berbasis AI dari teknologi yang terutama diposisikan sebagai “AI” untuk tujuan pemasaran?

Jurnalisme mengajarkan saya untuk mempertanyakan klaim, sementara pengujian independen mengajarkan saya bahwa satu‑satunya jawaban yang dapat diandalkan berasal dari bukti. Perusahaan keamanan siber telah menggunakan pembelajaran mesin dan pengambilan keputusan otomatis selama bertahun‑tahun, sehingga menambahkan “AI” pada nama produk tidak selalu mewakili kemajuan teknis.

Tiga hal dasar yang perlu dipertimbangkan: Apa yang sebenarnya dilakukan AI? Hasil keamanan terukur apa yang ditingkatkannya? Dan dapatkah penguji independen mereproduksi peningkatan tersebut?

Jika jawabannya hanya bahwa produk menganalisis sejumlah besar data atau mengotomatiskan proses yang ada, label AI mungkin lebih berkaitan dengan pemasaran daripada kemampuan.

Sebuah kemajuan sejati tampil baik melawan serangan yang tidak dikenal atau baru, meningkatkan perlindungan atau respons, mengurangi beban analis, dan melakukannya tanpa menimbulkan risiko yang tidak dapat diterima. Hal lain selain itu merupakan tidak adanya perbaikan atau bahkan penurunan!

“AI-driven” telah menjadi klaim umum di seluruh produk keamanan siber. Apa kemampuan terpenting yang harus diuji secara independen sebelum sebuah organisasi menerima bahwa platform keamanan berbasis AI benar‑benar memberikan apa yang dijanjikan vendor?

Saya tidak akan memulai dengan menguji apakah sebuah produk mengandung AI. Saya akan memulai dengan menguji klaim keamanan yang dibuat untuknya. Saya tidak terlalu peduli bagaimana produk itu bekerja, selama ia berfungsi. Inilah tujuan tepat dari program pengujian PIVOT, yang saat ini sedang mendapatkan banyak perhatian di industri.

Menguji dengan cara ini berarti mengekspos produk pada serangan lengkap dan mengukur bagaimana responsnya. Produk seharusnya dapat mendeteksi aktivitas tersebut dan kemudian mungkin mencegah serangan berlanjut. Hal ini tergantung pada bagaimana produk dibangun dan dikonfigurasi, serta klaim pemasaran yang dibuat oleh vendornya.

Kita juga perlu meninjau narasi investigasi yang disajikan kepada pelanggan. Apakah sistem memahami apa yang terjadi, menghubungkan peristiwa terkait, dan membuat bukti terlihat bagi orang yang harus menindaklanjutinya?

Pengujian harus mencakup variasi yang tidak dikenal, konfigurasi pelanggan yang realistis, dan aktivitas bisnis normal. Pengujian juga harus mengukur positif palsu, permintaan sumber daya, serta tindakan yang dapat dianggap berpotensi tidak aman. Jika sistem bersifat otonom, kita perlu mengetahui kapan ia beraksi, mengapa ia beraksi, izin apa yang digunakannya, dan apakah keputusannya dapat dibatalkan.

Kami telah melihat beberapa cerita di berita tentang keamanan AI yang menjadi liar dan melampaui batasnya serta berpotensi melanggar hukum. Pertanyaan pentingnya bukan apakah platform tampak cerdas, melainkan apakah ia secara konsisten menghasilkan hasil keamanan yang lebih baik dan lebih aman.

Agent AI otonom berpotensi melakukan rekonsiliasi, eksploitasi, pergerakan lateral, dan tahapan serangan lainnya jauh lebih cepat daripada penyerang manusia. Bagaimana pengujian keamanan siber harus berubah ketika serangan mulai beroperasi pada kecepatan mesin?

Unit pengujian perlu beralih dari teknik individual ke kampanye lengkap yang beroperasi di bawah tekanan waktu. Dengan kata lain, alih-alih mencoba berbagai cara serangan selama satu pagi atau seminggu, pengujian terhadap langkah‑langkah keamanan tertentu harus dilakukan dengan cepat. Jika tidak, tidak realistis, dan realisme sangat penting.

Tes tradisional dapat meninggalkan celah yang nyaman antar tahap sehingga setiap peristiwa dapat diperiksa secara terpisah. Penyerang otonom dapat memadatkan pengintaian, eksploitasi, dan pergerakan lateral menjadi periode yang jauh lebih singkat. Hal itu dapat mengungkap kelemahan yang tidak terlihat pada tes yang lebih lambat, termasuk penundaan dalam telemetri, sistem yang kelebihan beban, dan tindakan pertahanan yang muncul hanya setelah serangan mencapai tujuannya.

Sebagai contoh yang sangat sederhana, jika kami meretas sebuah Mac, mengunduh semua file‑nya, dan mencuri kata sandi akun, hal itu tidak terlalu berguna jika antivirus muncul satu hari kemudian dengan kabar buruk.

Menguji respons keamanan terhadap penyerang AI oleh karena itu memerlukan instrumentasi beresolusi tinggi dan pengukuran yang tepat terhadap latensi deteksi dan respons. Pengujian harus memeriksa apakah kinerja menurun seiring peningkatan volume dan kecepatan aktivitas, serta apakah pertahanan dapat memutus serangan tanpa menunggu keputusan manusia pada setiap tahap.

Serangan juga dapat beradaptasi dengan apa yang ditemukannya. Pengujian harus mencerminkan hal itu sambil mempertahankan kebenaran dasar, bukti, dan kemampuan untuk diputar ulang. Kecepatan mesin tidak boleh berarti meninggalkan metodologi terkontrol. Kita perlu terus merancang pengujian terkontrol yang dapat beroperasi dan mengukur peristiwa pada kecepatan yang sama dengan sistem yang dievaluasi.

SE Labs menggunakan skenario serangan realistis berdasarkan taktik dan teknik kelompok ancaman seperti Scattered Spider. Bagaimana Anda mereplikasi lawan ini dalam lingkungan terkontrol sambil memastikan pengujian mencerminkan cara serangan nyata berkembang, bukan sekadar menguji berdasarkan daftar periksa yang telah ditentukan?

Kami memulai dengan tujuan lawan, perilaku yang diketahui, dan kemungkinan pengambilan keputusan, bukan memperlakukan tekniknya sebagai daftar belanja.

Pengujian mengikuti rangkaian serangan realistis melalui pengintaian, akses awal, eksekusi, eskalasi hak istimewa, aktivitas pasca‑kompromi, dan pergerakan lateral. Pentingnya, penguji hanya dapat menggunakan informasi yang benar‑benar ditemukan selama pengintaian dan serangan. Kami tidak memberikan pengetahuan kepada penyerang yang tidak akan tersedia dalam keterlibatan nyata.

Skenario dibatasi dan dikontrol dengan cermat, namun bukan sekadar rangkaian penekanan tombol yang telah ditentukan. Jika satu jalur terhalang, penyerang dapat mengejar alternatif yang kredibel dalam batas aturan pengujian. Hal ini memungkinkan produk keamanan memengaruhi cara skenario berkembang.

Pada saat yang sama, setiap tindakan dan hasil penting direkam agar kami dapat menjelaskan hasilnya dan membandingkan produk secara adil. Terkontrol tidak harus berarti skrip yang kaku. Itu harus berarti aman, dapat diamati, dan didukung oleh bukti.

Produk keamanan siber secara tradisional dievaluasi secara intensif berdasarkan kemampuan mereka mendeteksi ancaman. Mengapa organisasi semakin harus memperhatikan perlindungan, penahanan, dan respons insiden saat mengevaluasi sistem keamanan berbasis AI?

Deteksi bukanlah hal yang sama dengan pertahanan. Sebuah platform dapat menghasilkan peringatan yang akurat namun tetap memungkinkan penyerang mencapai tujuan. Inilah mengapa program pengujian PIVOT mencakup deteksi dan perlindungan sebagai bagian yang bersatu maupun terpisah dari keseluruhan pengujian.

Anda dapat membandingkan deteksi keamanan siber dengan kamera CCTV. Kamera harus memperhatikan penyusupan dan memberi Anda petunjuk tentang apa yang terjadi, namun tidak akan menghentikan penyusup secara fisik. Perlindungan keamanan siber jauh lebih aktif. Ia dapat mengusir atau menetralkan penyerang, mencegah kerusakan.

Organisasi perlu mengetahui apakah produk mencegah aktivitas awal, memutus rantai serangan, membatasi pergerakan lateral, melindungi aset penting, dan mendukung pemulihan. Jika serangan berhasil, pertanyaan selanjutnya adalah seberapa cepat serangan tersebut ditahan dan apakah pelanggan menerima informasi yang cukup andal untuk merespons secara efektif.

Hal ini menjadi sangat penting pada sistem berbasis AI karena, meskipun mereka dapat menghasilkan ringkasan yang sangat meyakinkan tentang apa yang terjadi, penjelasan yang persuasif bukanlah pengganti perlindungan. Penjelasan harus didukung oleh bukti dan mengarah pada tindakan yang tepat.

Oleh karena itu kami mengukur deteksi dan perlindungan secara terpisah. Kami juga memeriksa apakah deteksi yang diklaim benar‑benar terlihat dan berguna bagi pelanggan. Pada akhirnya, nilai sebuah sistem keamanan terletak pada mengubah hasil serangan, bukan sekadar mengamatinya.

Saat platform keamanan memperkenalkan agen otonom yang mampu menyelidiki peringatan dan mengambil tindakan perbaikan, bagaimana laboratorium independen seharusnya menguji seluruh alur kerja manusia‑dan‑AI daripada mengevaluasi teknologi deteksi yang mendasarinya secara terpisah?

Pengujian harus mengikuti seluruh proses dari aktivitas berbahaya pertama hingga hasil keamanan akhir, yang dapat berupa serangan yang dihentikan atau berhasil sepenuhnya – atau berada di antara keduanya.

Kami perlu memeriksa apa yang diamati agen, apa kesimpulannya, apa yang direkomendasikan atau dilakukan, apa yang ditampilkan kepada operator manusia, dan bagaimana operator merespons (atau opsi apa yang diberikan). Hal itu mencakup kualitas bukti, kejelasan serah terima, waktu yang dibutuhkan, jumlah intervensi, serta apakah manusia dapat memahami, menantang, atau membalik keputusan agen.

Berbagai mode operasi juga penting. Agen yang merekomendasikan tindakan untuk persetujuan menimbulkan risiko yang berbeda dibandingkan dengan yang dapat secara otomatis mengisolasi sistem, menonaktifkan akun, atau mengubah kontrol keamanan.

Suatu sistem tidak berhasil hanya karena detektor dasarnya mengidentifikasi serangan. Jika sistem tersebut menciptakan antrean yang tidak dapat dipahami, menyembunyikan bukti penting, merekomendasikan respons yang salah, atau mengambil tindakan yang mengganggu, alur kerja secara keseluruhan telah gagal. Pengujian independen harus mengukur kinerja gabungan teknologi, komponen otonomnya, dan orang-orang yang diharapkan menggunakannya.

Satu risiko dengan standar benchmark keamanan adalah bahwa vendor dapat mengoptimalkan produk secara khusus untuk tes. Bagaimana pengujian independen dapat tetap dapat direproduksi dan adil sekaligus memperkenalkan cukup ketidakpastian untuk mengungkap bagaimana produk berperforma terhadap serangan yang tidak dikenal?

Reproduksibilitas tidak memerlukan pemberian pertanyaan ujian kepada peserta sebelumnya.

Tes yang kredibel harus memublikasikan metodologinya, lingkungan, prinsip penilaian, konfigurasi produk, dan persyaratan bukti. Vendor harus memahami aturan dan memiliki kesempatan yang adil untuk memverifikasi bahwa produk mereka beroperasi dengan benar. Namun, kampanye serangan yang tepat, muatan, dan beberapa jalur serangan harus tetap tidak diketahui hingga tes dilaksanakan.

Sebagai contoh, dalam PIVOT kami tidak mengungkapkan kelompok serangan mana yang akan kami tiru sampai setelah pengujian selesai. Target nyata tidak mendapatkan peringatan sebelum serangan dimulai!

Kami dapat menggabungkan inti standar, yang mendukung perbandingan seiring waktu, dengan variasi yang tidak familiar yang menguji kemampuan umum. Penetapan baseline dan periode tenang tersembunyi dapat menunjukkan bagaimana produk berperilaku sebelum serangan. Konfigurasi kemudian harus dikendalikan, log dipertahankan, dan setiap klaim diperiksa terhadap bukti milik penguji.

Keadilan berarti menerapkan aturan dan standar bukti yang sama kepada setiap peserta. Itu tidak berarti mengulang serangan secara terlalu dapat diprediksi sehingga vendor dapat mengenali benchmark alih-alih mengenali ancaman.

Selain itu, transparansi radikal membantu vendor mereproduksi serangan, yang penting jika mereka ingin memperbaiki masalah yang ditemui, seperti kegagalan mendeteksi atau melindungi terhadap ancaman. SE Labs pada dasarnya melatih kliennya ketika mereka menghadapi masalah.

Agen keamanan otonom memperkenalkan kategori risiko yang berbeda karena keputusan yang keliru dapat memicu tindakan remediasi yang tidak perlu atau bahkan mengganggu. Bagaimana pengujian harus mengukur false positive, penalaran yang salah, dan tindakan otonom yang berpotensi berbahaya bersamaan dengan akurasi deteksi tradisional?

Pengujian false positive tradisional hanyalah lapisan pertama. Dengan agen otonom, kita perlu membedakan antara peringatan palsu, kesimpulan yang tidak didukung, dan tindakan yang salah. Masing‑masing memiliki dampak potensial yang berbeda.

Tes harus mengekspos sistem pada aktivitas sah yang menyerupai perilaku berbahaya, serta bukti yang tidak lengkap, ambigu, atau menyesatkan. Jika agen mengonsumsi konten yang tidak terpercaya, pengujian juga harus memeriksa apakah konten tersebut dapat memengaruhi keputusannya secara tidak semestinya.

Penalaran harus dinilai berdasarkan apakah kesimpulan didukung oleh bukti yang tersedia, bukan seberapa masuk akal atau yakin penjelasannya terdengar. Untuk tindakan otonom, kita harus mengukur ruang lingkup, proporsionalitas, penggunaan izin, kontrol persetujuan, auditabilitas, dan kemampuan untuk dibalik.

Skor harus mencerminkan konsekuensi. Peringatan yang tidak perlu memang mengganggu; menonaktifkan akun penting atau mengisolasi sistem kritis dapat mengganggu organisasi. Oleh karena itu, ukuran keamanan yang berguna perlu mempertimbangkan baik frekuensi kesalahan maupun kerusakan yang dapat ditimbulkan masing‑masing kesalahan.

Meskipun demikian, terkadang pelanggan memilih kebijakan yang menimbulkan masalah. Ini tidak selalu merupakan kesalahan vendor keamanan.

AI generatif dan model sumber terbuka yang semakin canggih menurunkan hambatan untuk mengotomatisasi bagian proses serangan. Apakah Anda memperkirakan AI akan membuat serangan siber secara fundamental lebih canggih, atau bahaya yang lebih besar justru bahwa penyerang akan dapat beroperasi pada skala dan kecepatan yang jauh lebih besar?

Harapan saya adalah bahaya yang lebih mendesak adalah skala, kecepatan, dan penurunan biaya.

AI dapat membantu penyerang mengumpulkan informasi, mempersonalisasi rekayasa sosial, memodifikasi kode, dan mengoordinasikan bagian-bagian kampanye. Beberapa serangan akan menjadi lebih canggih sebagai hasilnya, terutama ketika AI membantu menghubungkan teknik yang ada atau menyesuaikannya dengan target tertentu. Namun AI tidak menghilangkan kebutuhan akan akses, kredensial, kelemahan yang dapat dieksploitasi, atau kesalahan dari pihak pertahanan.

AI juga tidak terlalu baik dalam menghasilkan exploit yang dapat diandalkan, yang sudah cukup sulit bagi manusia terampil untuk dicapai. Jadi hal itu mengurangi kemungkinan terjadinya serangan yang secara fundamental lebih canggih, menurut pendapat kuat saya.

Perubahan yang lebih besar adalah bahwa aktivitas yang sebelumnya memerlukan waktu, keahlian, atau tim orang dapat dicoba lebih cepat dan pada banyak target lebih banyak. AI dapat meningkatkan kompetensi penyerang yang relatif biasa sekaligus memungkinkan penyerang yang lebih mampu menjalankan lebih banyak operasi secara bersamaan.

Itu signifikan bahkan jika teknik serangan yang mendasarinya tidak revolusioner. Bahayanya tidak serta‑merta merupakan bentuk serangan siber yang sepenuhnya baru. Ini adalah serangan yang sudah dikenal menjadi lebih cepat, lebih murah, lebih dipersonalisasi, dan jauh lebih banyak.

Seiring agen AI defensif dan ofensif menjadi lebih otonom, seperti apa lingkungan pengujian keamanan siber yang kredibel perlu terlihat untuk mengikuti kecepatan tersebut? Mungkinkah kita pada akhirnya mencapai titik di mana produk keamanan harus terus‑menerus ditantang oleh lawan AI adaptif daripada dievaluasi terutama melalui pengujian keamanan berkala?

Lingkungan yang kredibel harus menyerupai sebuah organisasi yang hidup, bukan sekumpulan target terisolasi. Itu harus mencakup endpoint, sistem identitas, email, jaringan, layanan cloud, pengguna yang realistis, dan aktivitas bisnis normal. Selain itu, harus menyediakan instrumentasi lengkap sehingga setiap keputusan dan konsekuensi dapat direkonstruksi.

Lawannya yang adaptif dapat diberikan tujuan dan batasan, kemudian diizinkan memilih jalur berdasarkan apa yang mereka temukan dan bagaimana produk pertahanan merespons. Pengujian tetap memerlukan kondisi awal yang terkontrol, deskripsi yang dapat diandalkan tentang apa yang sebenarnya terjadi, serta kemampuan untuk memutar kembali peristiwa penting. Tanpa hal‑hal tersebut, pengujian adaptif dapat tampak mengesankan namun secara ilmiah lemah.

Saya memang mengharapkan pengujian menjadi lebih berkelanjutan, terutama ketika produk, model, dan kebijakan dapat berubah dengan cepat. Namun, tantangan berkelanjutan harus melengkapi, bukan menggantikan, pengujian komparatif berkala. Organisasi membutuhkan keduanya: tolok ukur terkontrol seperti PIVOT yang mendukung akuntabilitas dan perbandingan, serta evaluasi adaptif yang berkelanjutan yang mengungkap bagaimana sistem berperilaku seiring ancaman dan produk itu sendiri berubah.

Saya pikir kita seharusnya lebih khawatir tentang fakta bahwa manusia yang relatif tidak terampil dapat menembus sistem dan jaringan, daripada robot yang menciptakan generasi berikutnya teknologi serangan siber.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin belajar lebih lanjut harus mengunjungi SE Labs.