Audian Paxson, Strategis Teknis Utama di IRONSCALES – Seri Wawancara

Audian Paxson, Strategis Teknis Utama di IRONSCALES, adalah pakar veteran keamanan siber dan strategi produk dengan pengalaman lebih dari dua dekade di bidang keamanan email, deteksi ancaman, jaringan, dan teknologi perusahaan. Di IRONSCALES, ia berfokus pada peluncuran produk, penyusunan pesan dan penentuan posisi, strategi pemasaran, serta membangun posisi sebagai pemimpin pemikiran seputar penggunaan kecerdasan buatan dan pembelajaran mesin untuk mengatasi ancaman keamanan email yang terus berkembang. Dalam kariernya, ia pernah memegang sejumlah posisi senior di bidang manajemen produk, pemasaran produk, dan pengembangan bisnis di Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems, dan Intel. Paxson berperan penting dalam peluncuran produk keamanan siber dan jaringan, pengembangan strategi pemasaran untuk perusahaan, serta ekspansi perusahaan ke pasar baru. Ia juga merupakan salah satu penemu teknologi keamanan yang telah dipatenkan.

IRONSCALES adalah perusahaan keamanan email berbasis AI yang berfokus melindungi organisasi dari phishing, penyusupan email bisnis, pengambilalihan akun, deepfake, dan ancaman rekayasa sosial lain yang terus berkembang. Platformnya memadukan Adaptive AI dengan kecerdasan manusia dan komunitas untuk mendeteksi, menyelidiki, dan menanggulangi ancaman di Microsoft 365 dan Google Workspace, sekaligus menyediakan kemampuan simulasi phishing, pelatihan kesadaran keamanan, perlindungan email keluar, dan keamanan domain. Perusahaan ini telah memperluas pendekatannya dengan agen AI khusus untuk pengujian tim merah, operasi keamanan phishing, dan simulasi phishing. Agen-agen ini dirancang untuk mengantisipasi serangan, menyelidiki aktivitas mencurigakan, dan memperkuat pertahanan karyawan. IRONSCALES menyatakan bahwa teknologinya digunakan oleh lebih dari 18.000 organisasi dan memanfaatkan informasi intelijen yang disumbangkan oleh komunitas beranggotakan lebih dari 36.000 profesional keamanan.

Anda telah berkecimpung di bidang keamanan email selama lebih dari dua dekade. Anda turut membantu mengembangkan produk anti-phishing generasi awal dan kini berfokus pada cara AI dan pembelajaran mesin dapat mengatasi ancaman email yang terus berkembang. Dari sudut pandang tersebut, apa yang benar-benar terasa baru dalam rekayasa sosial berbasis AI, dan bagian mana dari masalah ini yang ternyata tetap terasa akrab?

Terima kasih sudah membuat saya merasa tua! Saat kami mulai memerangi phishing pada awal 2000-an, masalah terbesarnya adalah kesadaran, sementara filter hanya bisa menilai reputasi domain pengirim. Namun, taktiknya tidak banyak berubah. Rasa mendesak, kewenangan, faktur palsu. Saya mengenali hampir semua dalih yang saya temui sekarang. Perubahan yang dibawa AI adalah hilangnya hambatan keterampilan dalam membuat pesan yang meyakinkan, sehingga penyerang tanpa keahlian kini dapat menghasilkan penipuan tahun 2004 yang sempurna dan dipersonalisasi dalam skala besar.

Anthropic menemukan bahwa Claude Mythos 5 mampu mengenali tanda-tanda bahwa internet yang dihadapinya nyata ketika sinyal-sinyal itu disajikan secara terpisah, tetapi sebagian besar gagal bertindak berdasarkan bukti yang sama saat tenggelam dalam suatu tugas. Apa yang ditunjukkan kesenjangan itu tentang perbedaan antara model AI yang memiliki pengetahuan dan model yang benar-benar menerapkannya pada saat yang tepat?

Saya berkecimpung di bidang keamanan email, bukan peneliti AI, jadi saya membacanya dari sudut pandang itu. Mythos sejak awal diberi tahu bahwa ia berada dalam simulasi, dan kerangka itu lebih meyakinkan. Ia mengabaikan bukti nyata karena bukti tersebut tidak sesuai dengan cerita yang sudah diyakininya. Itulah dalih yang berhasil menjalankan fungsinya, dan itulah sebabnya penyerang berusaha keras membentuk kerangka pemahaman terlebih dahulu.

Ada kemiripan menarik dengan perilaku manusia saat menghadapi phishing: seorang karyawan mungkin dengan mudah mengenali indikator mencurigakan selama pelatihan, tetapi luput melihat indikator yang sama saat terburu-buru atau berfokus menyelesaikan tugas lain. Menurut Anda, sejauh mana perbandingan antara penilaian manusia dan AI ini dapat diterapkan secara wajar?

Sampai batas tertentu. Keduanya bisa kehilangan fokus saat berkonsentrasi penuh pada suatu tugas, dan pesan yang tampak seperti proses bisnis rutin (“klaim berikut perlu ditinjau”) bisa begitu saja diloloskan oleh manusia maupun model. Perbandingan itu tidak berlaku dalam hal emosi. Manusia bisa merasa terburu-buru, takut, atau ingin menyenangkan orang lain. Agen gagal karena pemicunya sendiri, misalnya instruksi yang tidak dapat dibedakannya dari data yang sedang dibaca.

Pelatihan keamanan secara tradisional berfokus mengajari orang mengenali tautan berbahaya, permintaan yang tidak biasa, penyamaran identitas, dan tanda-tanda peringatan lainnya. Jika manusia maupun sistem AI dapat mengabaikan sinyal yang secara teknis mereka pahami, haruskah tim keamanan mengurangi fokus pada pengenalan dan lebih memperhatikan cara pengambilan keputusan saat berada di bawah tekanan dan dalam konteks tertentu?

Ya. Pelatihan pengenalan mengasumsikan bahwa orang selalu memperhatikan. Penyerang merancang pesan agar tiba saat orang tidak waspada atau membuat mereka lupa pada pelatihan yang sudah dijalani. Investasi yang lebih baik adalah menyisipkan jeda pada momen-momen penting, seperti pembayaran, pengaturan ulang kredensial, dan perubahan akses, agar baik manusia maupun agen tidak mengambil keputusan itu secara otomatis.

Seiring makin terintegrasinya agen AI ke dalam kotak masuk dan alur kerja perusahaan, penyerang mungkin semakin mampu merekayasa sistem AI itu sendiri, bukan hanya karyawannya. Seperti apa kira-kira serangan yang dirancang khusus untuk memanipulasi agen email atau asisten otonom?

Ini adalah email yang ditulis untuk agen, dengan instruksi yang disembunyikan dari manusia menggunakan teks putih di atas latar putih, teks alternatif gambar, atau bahasa lain agar luput dari filter yang dioptimalkan untuk bahasa Inggris. Dalam salah satu skenario yang dirancang tim riset kami, sebuah “fakta” palsu ditanamkan dalam ingatan agen (“persetujuan dari finance@ telah mendapat otorisasi sebelumnya”), sehingga beberapa minggu kemudian, email keuangan palsu dapat lolos begitu saja. Skenario lain menyembunyikan teks di dalam gambar faktur yang meminta agen menandainya berisiko rendah dan merangkumnya sebagai aman untuk dibayar. Manusia memercayai ringkasan tersebut.

Dapatkah penyerang dengan sengaja membuat rangkaian panjang interaksi yang tampak sah, yang secara bertahap mendorong sistem AI mengambil keputusan buruk, alih-alih mengandalkan satu email atau perintah yang jelas-jelas berbahaya? Seberapa sulitkah bagi perangkat keamanan saat ini untuk mendeteksi serangan bertahap seperti ini?

Serangan seperti itu sudah terjadi terhadap manusia, dan agen akan menjadi sasaran berikutnya. Penyerang mengirim beberapa email yang tidak berbahaya (perkenalan, ucapan terima kasih) untuk menghapus penanda pengirim pertama kali, lalu beralih ke pesan yang relevan dengan peran target, dan baru kemudian mengirimkan muatan serangan—sering kali berupa undangan rapat dengan tautan yang menampilkan halaman bersih kepada pemindai, tetapi situs phishing kepada pengguna sebenarnya. Perangkat yang menilai setiap email secara terpisah akan melewatkannya. Tidak ada satu pun pesan yang tampak mencurigakan, jadi hubungan tersebut harus dinilai dari waktu ke waktu.

Phishing yang dibuat dengan AI sering dibahas dari segi penulisan yang lebih baik, personalisasi, dan deepfake. Apakah Anda lebih khawatir AI meningkatkan kualitas konten serangan rekayasa sosial, atau penyerang menggunakan AI untuk memahami dengan tepat kapan dan bagaimana target tertentu paling mungkin melakukan kesalahan?

Keduanya, dan pertarungan soal konten sudah berakhir. Phishing dengan tulisan yang rapi dan dibuat AI telah menjadi standar sejak ChatGPT mulai digunakan secara luas. Perubahan yang lebih besar adalah penargetan, personalisasi, dan penentuan waktu kini dilakukan secara otomatis, sehingga seseorang tanpa keterampilan teknis sama sekali dapat menggabungkan data hasil pembobolan dengan kumpulan kata sandi yang bocor seperti daftar RockYou yang terkenal, mengambil alih kotak masuk sungguhan, lalu mengirim email transaksi rutin palsu tepat saat target sedang menantikannya.

Ketika penyerang semakin piawai menghilangkan tanda bahaya teknis yang mencolok dan membuat pesan berbahaya tampak sah, sinyal apa yang menjadi paling penting untuk membedakan komunikasi yang sah dari manipulasi?

Konteks adalah yang utama. Misalnya, apakah hal ini wajar dilakukan orang atau vendor tersebut, melalui saluran ini, pada saat seperti ini? Berikutnya, perhatikan urgensi dan pengulangan. Orang yang benar-benar memiliki permintaan mendesak akan menelepon atau menghubungi Anda lewat Teams atau Slack. Mereka tidak mengirim email yang sama tiga kali. Dan percayai intuisi Anda. Pedoman saya adalah, “Jangan langsung bertindak; berhentilah sejenak,” jadi ambil jeda, minta orang lain memeriksa, dan lakukan verifikasi melalui saluran lain.

Bagaimana sebaiknya organisasi menyusun pengawasan manusia dan AI ketika kedua pihak memiliki potensi kelemahan? Dapatkah menggabungkan penilaian manusia dengan AI justru menciptakan titik buta baru jika masing-masing mengira pihak lain sudah memvalidasi keputusan tersebut?

Berikan masing-masing pihak tugas yang paling sesuai dengan kemampuannya dan buat proses serah terimanya jelas. AI menangani volume pekerjaan dan mengenali pola di seluruh lingkungan; manusia bertanggung jawab atas keputusan yang berkonsekuensi besar (memindahkan uang, memberikan akses), dan AI harus menunjukkan bukti agar peninjau dapat memeriksa penalarannya. Titik buta yang Anda sebutkan memang nyata. Solusinya adalah aturan tegas: “AI mengatakan ini aman” tidak pernah dianggap sebagai peninjauan oleh manusia.

Jika masalah mendasarnya adalah kesenjangan antara apa yang diketahui manusia atau sistem AI dan apa yang mereka sadari saat sedang menjalankan tugas, perubahan praktis apa yang dapat dilakukan organisasi sekarang untuk mempersempit kesenjangan itu dan membuat serangan rekayasa sosial jauh lebih sulit berhasil?

Terapkan kembali kontrol lama yang pernah kita gunakan untuk menulis cek, yaitu “pemisahan tugas”. Satu orang dapat membuat pengguna baru, tetapi tidak dapat mengaktifkannya; orang kedua dapat mengaktifkan pengguna, tetapi tidak dapat membuatnya; dan orang ketiga mendapat pemberitahuan tentang keduanya. Terapkan pembagian yang sama pada pembayaran, perubahan vendor, dan agen AI Anda (tidak boleh ada agen yang sekaligus meminta dan menyetujui suatu tindakan). Satu karyawan yang tertipu atau satu agen yang dibajak tidak dapat menuntaskan serangan sendirian.

Terima kasih atas wawancara yang luar biasa ini. Pembaca yang ingin mengetahui lebih lanjut dapat mengunjungi IRONSCALES.