Sandy Dunn, CISO di SPLX – Seri Wawancara

Sandy Dunn, CISO di SPLX adalah seorang veteran CISO dengan pengalaman lebih dari 20 tahun di bidang kesehatan dan startup, menyediakan konsultasi CISO melalui QuarkIQ. Ia memimpin OWASP Top 10 untuk LLM Applications Cybersecurity dan Governance Checklist dan berkontribusi pada OWASP AI Exchange, OWASP Top 10 untuk LLM, dan Cloud Security Alliance. Sebagai Profesor Sampingan di Boise State University, ia juga merupakan pembicara, penasihat, dan anggota dewan Boise State’s Institute for Pervasive Cybersecurity. Sandy memiliki gelar master di bidang manajemen keamanan informasi dari SANS dan berbagai sertifikasi, termasuk CISSP, multiple SANS GIAC credentials, Security+, ISTQB, dan FAIR.

SPLX adalah sebuah perusahaan keamanan siber yang menyediakan perlindungan end-to-end untuk sistem AI melalui red teaming otomatis, perlindungan runtime, tata kelola, perbaikan, inspeksi ancaman, dan keamanan model. Platformnya menjalankan ribuan simulasi adversarial dalam waktu kurang dari satu jam untuk mengidentifikasi kerentanan, menguatkan prompt sistem sebelum penerapan, dan termasuk Agentic Radar, sebuah alat sumber terbuka untuk memetakan dan menganalisis risiko di dalam alur kerja AI multi-agents.

Apa yang pertama kali menarik Anda ke persimpangan AI dan keamanan siber, dan bagaimana jalur itu membawa Anda ke peran Anda di SPLX dan keterlibatan dengan OWASP?

AI telah menjadi bagian dari percakapan keamanan siber selama bertahun-tahun sebelum ChatGPT, tetapi seringkali terasa seperti itu belum memenuhi harapan. Jadi, ketika itu diluncurkan, saya mengharapkan untuk merasa kecewa, tetapi sebaliknya, saya memiliki reaksi yang tepat. Ketika saya pertama kali menggunakan ChatGPT, saya terkesan dengan apa yang bisa dilakukan dan ketakutan dengan seberapa cepat itu bisa digunakan untuk serangan adversarial atau penyalahgunaan privasi. Saat itu memicu semangat. Saya menyelami LLMs secara mendalam dengan membaca setiap makalah penelitian yang bisa saya temukan, bergabung dengan setiap komunitas Slack dan Discord yang relevan, dan menjalankan eksperimen saya sendiri. Saya mengikuti saluran OWASP Top 10 untuk LLMs selama beberapa waktu, dan ketika daftar pertama dipublikasikan, saya tahu itu adalah sebuah tonggak penting. Tetapi sebagai CISO, saya merasa tim keamanan memerlukan informasi lebih lanjut. Kami telah menginformasikan orang-orang tentang apa yang perlu mereka khawatirkan, tetapi tidak tentang apa yang harus mereka lakukan. Saya mendekati Steve Wilson, pemimpin proyek, tentang membuat “LLM Security CISO Checklist.” Itu kemudian menjadi sub-proyek OWASP GenAI pertama, yang menginspirasi banyak sub-proyek tambahan.

Melalui pekerjaan itu, saya bertemu dengan Kristian Kamber dan Ante Gojsalic (pendiri SPLX), dan juga memberikan saran kepada sejumlah startup keamanan AI, beberapa dengan ide yang menjanjikan, beberapa kurang. Pada saat itu, saya adalah CISO di sebuah perusahaan chatbot B2B, membuat buku pedoman pengujian adversarial AI yang luas. Ketika saya melihat demo SPLX, saya segera mengenali bahwa mereka telah memecahkan masalah yang saya hadapi: bagaimana mengoperasikan pengujian adversarial. Ketika SPLX membutuhkan CISO, saya dengan senang hati menjadi bagian dari perusahaan luar biasa dengan orang-orang hebat yang memecahkan tantangan penting.

Sebagai CISO di SPLX, apa yang paling menarik teknik serangan baru yang Anda temukan, terutama terkait dengan AI agen?

Karena nuansa desain sistem GenAI, tidak mungkin untuk menghilangkan kerentanan dan serangan GenAI yang memanfaatkan otonomi dan kemampuan agen. Serangan Pemerkosaan Memori seperti MINJA adalah contoh terbaru dari ini. Dengan MINJA, penyerang dapat merusak bank memori agen melalui interaksi yang dibuat, memasukkan “memori” berbahaya yang menghasilkan perilaku menyesatkan atau berbahaya kemudian. Contoh lain adalah serangan Echo Chamber. Ini adalah di mana penyerang menciptakan loop percakapan dengan mengirimkan agen konteks berbahaya berulang kali. Peneliti berhasil melewati mekanisme keamanan dengan memperkuat instruksi berbahaya selama beberapa putaran.

Penyuntikan prompt tidak langsung dan cross-modal adalah contoh lain. Instruksi berbahaya disembunyikan dalam konten eksternal seperti gambar atau dokumen yang dikonsumsi agen. Instruksi ini dapat mengambil alih keputusan otonom tanpa input langsung dari pengguna.

Serangan ekosistem agen AI yang canggih seperti keracunan alat memerlukan tinjauan yang cermat terhadap seluruh rantai pasokan untuk penerapan agen AI. Penyerang menciptakan alat yang tampaknya sah untuk platform agen tetapi menyematkan instruksi berbahaya dalam deskripsi dan dokumentasi alat. Ketika agen memuat alat ini, instruksi yang disematkan menjadi bagian dari konteks agen, memungkinkan tindakan tidak sah seperti ekstraksi data atau kompromi sistem.

Bagaimana platform SPLX membantu organisasi mendeteksi dan menanggapi ancaman khusus LLM seperti injeksi prompt atau serangan jailbreak adversarial?

SPLX adalah platform keamanan end-to-end yang melindungi aplikasi dan sistem multi-agents yang ditenagai LLM di seluruh siklus hidup AI, dari pengembangan hingga penerapan hingga operasi waktu nyata. Perlindungan Runtime AI kami dirancang untuk menghentikan ancaman ini saat terjadi dengan terus memantau dan menyaring input dan output. Ini bertindak sebagai firewall waktu nyata untuk AI dan menerapkan batasan perilaku ketat pada AI. Mesin deteksi dinamis SPLX memflagkan aktivitas berbahaya dalam waktu nyata, memastikan sistem AI merespons dengan aman dan tetap dalam batas yang diinginkan.

OWASP’s updated GenAI Security Top 10 memperluas risiko kunci seperti kebocoran sistem-prompt dan kerentanan basis data vektor. Bagaimana ancaman baru ini mencerminkan lanskap adversarial yang berkembang?

Pembaruan OWASP Top 10 2025 mencerminkan pemahaman yang berkembang tentang bagaimana LLMs dan teknologi AI generatif digunakan dalam skenario dunia nyata. Penting untuk menunjukkan bahwa ada banyak lebih dari sepuluh ancaman LLM, tetapi tujuannya adalah untuk mengidentifikasi sepuluh teratas. Perubahan besar adalah LLM07 Desain Plugin Tidak Aman dimasukkan dalam Rantai Pasokan dan LLM010 Pencurian Model dimasukkan dalam Konsumsi Tak Terbatas untuk daftar 2025, yang menciptakan ruang untuk menambahkan:

1. Kebocoran Sistem-Prompt yang mengidentifikasi ancaman dari paparan prompt sistem yang dapat mengungkapkan penghalang, alur logika, atau bahkan rahasia yang disematkan dalam prompt LLM.

2. Kerentanan Basis Data Vektor yang menandai masalah keamanan potensial dalam sistem RAG seperti kebocoran data antar-penyewa, inversi penyematan, atau dokumen beracun yang kemudian muncul sebagai output berbahaya.

3. Pembaruan tersebut menunjukkan bahwa serangan AI yang difokuskan telah berkembang dari serangan prompt yang dibuat menjadi serangan yang lebih canggih yang menargetkan seluruh rantai pasokan AI. Serangan modern menunjukkan pemikiran strategis tentang keseluruhan sistem AI, fokus pada persistensi, skala, dan dampak sistemik daripada eksploitasi satu kali.

Pengembangan arsitektur agen mengakui perkembangan kritis lainnya. Ketika sistem AI mendapatkan otonomi dan kemampuan pengambilan keputusan yang lebih besar, konsekuensi keamanan yang gagal berkali lipat. Mengurangi pengawasan manusia, sambil memungkinkan aplikasi yang lebih kuat, memiliki efek yang berkali lipat yang memperkuat dampak serangan yang berhasil.

Apa yang paling sering diabaikan dalam kerentanan di perusahaan yang menerapkan AI agen saat ini?

Masalah yang paling sering diabaikan adalah prinsip hak akses terkecil. Kami masih berjuang dengan hak akses terkecil untuk pengguna manusia dan akun layanan, dan sekarang organisasi menghadapi tantangan baru dalam mengelola Identitas Non-Manusia (NIH). Orang-orang menerapkan agen sementara identitas dan akses agen belum sepenuhnya dipahami atau diselesaikan. Kami melihat agen diberi izin yang luas untuk membaca dokumen, mengakses API eksternal, dan bahkan memodifikasi sistem. Ini bukanlah kesalahan teknis dalam model itu sendiri, tetapi kesalahan arsitektur dasar. Sebuah agen yang dikompromikan dengan izin yang berlebihan dapat menyebabkan bencana, dari ekstraksi data besar hingga memicu transaksi keuangan.

Masalah lain yang sering diabaikan atau diabaikan adalah hubungan “kepercayaan” antara agen. Dalam sistem agen, agen sering dirancang untuk berkomunikasi dan bekerja sama satu sama lain. Kami melihat serangan baru di mana agen yang dikompromikan dapat menyamar sebagai agen yang sah, secara efektif menjadi “Agent-in-the-Middle.” Ini seperti kuda Troya tetapi pada tingkat arsitektur.

Bagaimana langkah-langkah yang dapat diambil tim keamanan perusahaan saat menerapkan alat AI agen di lingkungan produksi?

1. Mulai dengan rencana respons insiden. Bagaimana hari terburuk terlihat, lalu kerja mundur untuk memastikan kontrol keamanan dan visibilitas ada. Ketika pelanggaran AI terjadi, pusat operasi keamanan Anda memerlukan buku pedoman. Siapa yang diberitahu? Bagaimana Anda mengisolasi agen yang dikompromikan? Apa proses untuk mengembalikan ke keadaan yang diketahui baik? Memiliki rencana sebelum krisis terjadi sangat penting.

2. Inventarisasi permukaan serangan dan penilaian ancaman. Anda tidak bisa mengamankan apa yang tidak Anda ketahui Anda miliki. Langkah pertama adalah mendapatkan inventarisasi lengkap semua agen AI, alat yang digunakan, dan akses data. Data apa yang disentuh? Izin apa yang dimiliki? Apa dampak potensial jika dikompromikan? Prioritaskan pada ancaman dengan dampak tinggi dan kemungkinan terbesar. Lalu, lakukan percakapan yang terbuka dengan tim eksekutif tentang nafsu risiko. Manfaat dari kegiatan AI yang dipercepat adalah CISO, petugas risiko, tim hukum, dan tim eksekutif dipaksa untuk memiliki percakapan nyata tentang tujuan bisnis, nafsu risiko, dan anggaran keamanan. Sejarahnya, ada harapan tidak ada insiden dengan anggaran minimal. CISO telah (sebagian besar) berhasil menghindari insiden besar dengan menerapkan keamanan yang cukup untuk membuat organisasi mereka menjadi target yang kurang menarik daripada organisasi dengan keamanan yang lebih rendah. Musuh AI membuat strategi itu tidak realistis sekarang.

3. Terapkan penghalang, hak akses terkecil, dan alat pemantauan. Ruang lingkup penting untuk setiap penerapan agen. Tentukan tujuan agen, batasannya, dan izinnya. Jangan berikan agen akses ke perpustakaan SharePoint Anda jika hanya perlu satu folder. Terapkan kontrol yang membatasi API yang dapat dipanggil dan tindakan yang dapat diambil. Pikirkan ini seperti magang baru yang sangat pintar, tetapi tidak sepenuhnya tepercaya. Anda mengenali kemampuan luar biasa mereka, tetapi Anda tidak akan mempercayai mereka. Anda akan membatasi apa yang bisa mereka lakukan di dalam perusahaan, Anda tidak akan memberi mereka akses ke apa pun yang penting, Anda akan memantau apa yang mereka lakukan, dan Anda mungkin memiliki sistem peringatan jika mereka mencoba melakukan sesuatu yang tidak boleh mereka lakukan, seperti mengakses kantor CEO.

4. Terapkan tumpukan keamanan AI yang bergabung dengan tumpukan keamanan tradisional Anda. Alat keamanan tradisional tidak dirancang untuk sistem GenAI atau sistem agen. Anda perlu menerapkan alat yang dirancang untuk masalah unik GenAI seperti validasi prompt, sanitasi output, dan pemantauan kontinu perilaku agen. Alat ini perlu dapat mendeteksi serangan yang halus, berbasis semantik yang khas dari GenAI dan sistem agen.

5. Integrasi red teaming AI ke dalam pipa CI/CD. Anda perlu terus menguji agen Anda untuk kerentanan berdasarkan signifikansi perubahan dan nafsu risiko organisasi. Pembaruan GPT-5 baru-baru ini adalah contoh bagaimana perubahan yang mengganggu dapat memengaruhi alur kerja agen. Buat red teaming otomatis menjadi bagian inti dari siklus pengembangan Anda. Ini membantu Anda mengidentifikasi masalah saat Anda memperbarui dan mengubah agen Anda.

Bagaimana organisasi harus mengintegrasikan red teaming otomatis, CIAM, tata kelola RAG, dan pemantauan ke dalam strategi manajemen risiko GenAI mereka?

Kunci utamanya adalah integrasi daripada memperlakukan mereka sebagai inisiatif terpisah. Strategi manajemen risiko GenAI Anda perlu menjadi kerangka kerja koheren di mana setiap komponen saling mendukung.

Mulai dengan red teaming otomatis sebagai fondasi. Penting untuk memiliki pengujian adversarial terus-menerus yang berkembang dengan lanskap ancaman. Platform SPLX mensimulasikan ribuan skenario serangan di berbagai kategori risiko, menguji injeksi prompt, jailbreak, manipulasi konteks, dan keracunan alat. Aspek kritis adalah membuat ini menjadi bagian dari pipa CI/CD Anda sehingga setiap pembaruan agen divalidasi keamanannya sebelum penerapan.

CIAM untuk sistem AI memerlukan pemikiran ulang tentang model identitas tradisional. Agen AI memerlukan izin granular yang dapat disesuaikan secara dinamis berdasarkan konteks dan tingkat risiko. Terapkan kontrol akses berbasis atribut yang mempertimbangkan tidak hanya identitas agen, tetapi juga data yang diproses, alat yang diminta akses, dan konteks ancaman.

Tata kelola RAG khususnya sangat penting. Tetapkan pelacakan garis keturunan data untuk semua konten yang diserap ke toko vektor. Terapkan pipa validasi konten yang dapat mendeteksi contoh adversarial atau instruksi berbahaya yang disematkan dalam dokumen.

Untuk pemantauan, Anda memerlukan telemetri yang menangkap baik indikator teknis maupun perilaku. Pemantauan teknis termasuk analisis input/output, pola panggilan API, dan konsumsi sumber daya. Pemantauan perilaku fokus pada kualitas keputusan, pola penyelesaian tugas, dan konteks interaksi yang mungkin menunjukkan kompromi.

Integrasi sangat penting. Hasil red teaming harus mempengaruhi kebijakan CIAM, sistem pemantauan harus memberikan umpan balik ke proses tata kelola RAG, dan semua ini perlu dikoordinasikan melalui platform manajemen risiko perusahaan terpusat yang dapat mengorelasikan sinyal di seluruh domain ini.

Apa tren yang harus dipersiapkan pemimpin keamanan selama 12 hingga 18 bulan ke depan, mengingat pelanggaran keamanan yang terkait dengan AI masih dalam tahap awal tetapi siap tumbuh?

Saya mengharapkan untuk melihat eskalasi signifikan dalam serangan rantai pasokan yang menargetkan semua aspek, termasuk infrastruktur AI. Serangan rantai pasokan AI meracuni set data pelatihan, mengompromikan repositori model, atau menyuntikkan kode berbahaya ke dalam dependensi perangkat lunak untuk mendapatkan akses persisten ke sistem AI.

Sudah ada lonjakan dalam teknik rekayasa sosial otonom seperti insiden vishing deepfake, tetapi evolusi menuju generasi penuh otonom adalah yang paling mengkhawatirkan. Agen AI yang menangani kampanye rekayasa sosial lengkap di seluruh platform secara bersamaan, masing-masing disesuaikan dengan target dan konteks tertentu, menciptakan efek pengganda yang tradisional pertahanan tidak siap untuk itu.

Saya percaya kita akan melihat munculnya serangan asli AI yang beroperasi pada kecepatan mesin. Alat keamanan tradisional dan analis manusia tidak bisa mengikuti penyerang yang dapat menjalankan eksploitasi kompleks, multi-tahap dalam milidetik.

Bagaimana Anda memprediksi kerangka kerja regulasi dan kepatuhan akan berkembang dalam menanggapi risiko AI generatif?

Saya memprediksi perubahan besar dalam kerangka kerja regulasi, yang bertujuan untuk menyeimbangkan inovasi dengan fokus pada akuntabilitas, transparansi, praktik pengembangan yang aman, dan keamanan rantai pasokan.

Saya mengharapkan fokus pada provenance dan integritas data. Badan regulasi akan ingin tahu dari mana data yang digunakan untuk melatih dan meningkatkan model AI berasal. Mereka ingin melihat bukti bahwa data tersebut telah dibersihkan, bahwa tidak mengandung informasi sensitif, dan bahwa tidak telah diracuni.

Akhirnya, saya pikir kita akan melihat regulasi sektor-spesifik. Risiko untuk lembaga keuangan yang menggunakan agen AI untuk menangani transaksi berbeda dari risiko perusahaan kesehatan yang menggunakan satu untuk diagnosis.

Regulator akan mulai mendefinisikan standar spesifik untuk industri kritis, memerlukan hal-hal seperti red teaming otomatis, pengawasan manusia, dan auditing ketat untuk sistem AI yang bisa memiliki konsekuensi hidup atau mati.

Sebagai profesor sampingan dan anggota dewan di Boise State’s Institute for Pervasive Cybersecurity, bagaimana Anda mempersiapkan generasi berikutnya dari profesional keamanan AI, dan apa keterampilan yang Anda lihat sebagai paling kritis dalam lanskap yang berkembang saat ini?

Pemikiran kritis dan pemecahan masalah masih merupakan keterampilan paling penting yang mahasiswa butuhkan untuk karir yang baik di keamanan siber, tetapi keterampilan seperti psikologi manusia dan linguistik, yang sebelumnya hanya ditemukan dalam tim intelijen ancaman siber, adalah keterampilan yang akan mendukung berbagai peran keamanan siber di masa depan AI.

Keterampilan orang dan komunikasi juga penting. Keamanan siber bukan hanya tentang sistem IT, tetapi tentang orang, membantu bisnis mencapai tujuan bisnis mereka, dan dapat menerjemahkan dan mengkomunikasikan risiko teknis yang kompleks kepada pemangku kepentingan non-teknis sehingga mereka dapat membuat keputusan yang tepat untuk perusahaan. Masa depan keamanan siber akan bergantung pada profesional yang tidak hanya cerdas secara teknis tetapi juga terdidik dan terampil dalam berkomunikasi.

Akhirnya, lanskap keamanan AI berkembang sangat cepat, sehingga akan penting untuk dapat belajar dan beradaptasi dengan cepat.

Terima kasih atas wawancara yang luar biasa dan wawasan yang mendalam, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi SPLX.