Apakah agen AI cukup dapat dipercaya untuk bisnis saya?

Model bahasa besar (LLM) dan agen AI memiliki dampak signifikan di banyak bidang, termasuk keamanan siber. Potensi mereka seolah tidak terbatas. Namun, dalam praktiknya, ketika LLM diintegrasikan ke alur kerja inti tempat keputusan bisnis dibuat, banyak masalah, terutama seputar privasi dan akurasi data, telah muncul. Pertanyaannya pun muncul: Apakah agen AI cukup dapat dipercaya untuk bisnis saya?

Dalam konteks keamanan siber dan Pusat Operasi Keamanan (SOC), jawaban cepat, seperti yang kita dengar sepanjang karir kita, adalah: Ya, dengan kontrol dan mitigasi yang tepat di SOC, agen AI dapat diterapkan dengan sukses dan aman di lingkungan produksi di mana mereka menambah nilai signifikan dengan bekerja bersama analis SOC manusia.

Tantangan Keamanan Siber AI

LLM siap pakai yang digunakan sebagai satu-satunya solusi memiliki beberapa masalah inti, seperti halusinasi, pencemaran data, dan injeksi prompt. Masalah-masalah ini dapat menyebabkan masalah serius di SOC otonom, termasuk:

Data Terbatas yang Menyebabkan Putusan yang Tidak Akurat – Agen AI memerlukan semua informasi relevan dari lingkungan untuk melakukan pekerjaan mereka dengan baik – setidaknya sebanyak data yang dimiliki analis keamanan manusia, dan idealnya lebih banyak. Data yang tidak memadai menyebabkan agen AI membuat asumsi yang salah yang dapat bervariasi antara satu pelaksanaan investigasi dan yang lain. Jika Anda membatasi akses data karena kekhawatiran keamanan atau membatasi apa yang dapat dilakukan AI karena alasan anggaran, akurasi akan menurun.

Putusan yang Tidak Konsisten – Agen AI harus membuat keputusan dan melaksanakan tugas berdasarkan data yang mereka kumpulkan. Karena volume data keamanan yang besar dalam lingkungan pada umumnya, pendekatan pengambilan sampel lazim digunakan untuk menyeimbangkan akurasi dan anggaran. Ketika investigasi dijalankan beberapa kali, perbedaan mungkin muncul dalam putusan, tingkat keparahannya, dan tindakan yang disarankan. Ini normal selama perbedaan itu dalam batas toleransi, dan itu terjadi bahkan ketika dua analis keamanan manusia yang berbeda melihat peringatan yang sama.

Penalaran yang Tidak Transparan, atau Masalah “Black Box (BBOX.BO ) “ – Beberapa agen AI beroperasi sebagai sistem yang tidak transparan. Hasil SOC yang digerakkan AI ini dapat terlihat sangat mengesankan pada awalnya, tetapi untuk keputusan bisnis yang penting, Anda perlu memahami apa yang membuat SOC berbasis AI merekomendasikan tindakan tertentu. Ini, bagaimanapun, bukanlah keterbatasan inheren AI, karena beberapa agen AI melakukan upaya besar untuk menjadi transparan. Disarankan untuk memvalidasi agen AI secara menyeluruh dalam Proof of Value sebelum memutuskan untuk mengadopsinya.

Perkembangan AI dalam Keamanan Siber

Pendekatan keamanan siber yang digerakkan AI telah membuat kemajuan signifikan menuju perbaikan sejak pertama kali diperkenalkan. Pertimbangkan hal-hal berikut:

Konsensus dengan Sampling Mengurangi Inkonsistensi – Inkonsistensi dalam keputusan atau hasil dapat diatasi secara efektif dengan menggunakan beberapa agen AI dengan konfigurasi yang berbeda (misalnya, model berbeda dengan pengaturan temperatur berbeda) untuk menafsirkan data yang dikumpulkan oleh operasi agen sebelumnya.

Menggunakan sampling memungkinkan organisasi memahami di mana model-model yang berbeda sepakat dan di mana mereka berbeda. Sebagai hasilnya, mengandalkan informasi di mana semua model sepakat dan memberi bobot lebih rendah pada informasi yang mereka perdebatkan dapat secara substansial mengurangi inkonsistensi.

Penting untuk dicatat, bagaimanapun, bahwa informasi di mana agen sampel tidak sepakat juga berharga karena informasi itu menunjukkan ketidakpastian dan kebutuhan akan data atau input yang lebih baik. Informasi yang inkonsisten ini dapat membantu organisasi memprioritaskan akses ke data penting untuk pengambilan keputusan yang lebih baik.

Prosedur yang Konsisten dengan Buku Panduan Investigasi – Salah satu alasan utama beberapa proses investigasi SOC AI menghasilkan hasil yang tidak konsisten adalah variasi tidak hanya dalam data yang dikumpulkan, tetapi juga dalam hipotesis yang dibuat atau dimodifikasi selama investigasi agen AI. Menyusun panduan investigasi tingkat umum berdasarkan prosedur operasional standar (SOP) untuk kategori tertentu membantu agen membentuk hipotesis yang lebih konsisten dan meningkatkan konsistensi hasil secara keseluruhan. Ini bukanlah pendekatan baru – sebagian besar analis SOC manusia sudah mengandalkan SOP untuk memastikan investigasi yang efektif dan konsisten. Agen AI dapat menggunakan SOP dengan cara yang sama.

Bukti yang Dapat Dilacak Memperjelas Cara Kerja “Black Box” – Sebagai praktik terbaik, SOC AI harus dirancang dari awal dengan mempertimbangkan bukti pendukung. Setiap keputusan dan hipotesis yang dibuat agen harus didukung oleh informasi pendukung, termasuk jejak penalaran dan data log mentah yang membenarkan penalaran tersebut.

AI untuk Keamanan Siber yang Dapat Dipercaya

Agen AI dapat mempercepat deteksi, triase, dan respons ancaman dalam keamanan siber, tetapi mereka juga memperkenalkan risiko nyata – termasuk hasil yang tidak konsisten, keputusan yang tidak transparan, dan sensitivitas terhadap kualitas data. Kepercayaan untuk digunakan dalam lingkungan yang kritis memerlukan penalaran yang didukung bukti, termasuk jejak dan artefak mentah; SOP terstruktur untuk mengurangi variansi; sampling multi-agen untuk memisahkan konsensus dari ketidakpastian; dan pengamanan untuk integritas data, terhadap injeksi prompt, serta untuk batas jumlah langkah dan anggaran.

Semua perbaikan kritis ini dapat diatasi dengan pendekatan agen AI LLM yang maju yang dirancang untuk menangani kompleksitas operasi keamanan modern yang didukung AI. Misalnya, beberapa pendekatan LLM yang maju menggunakan sampling multi-agen yang maju untuk memungkinkan organisasi memanfaatkan kecerdasan kolektif dari model AI yang beragam yang bekerja sama untuk mencapai konsensus, meminimalkan inkonsistensi, dan menunjukkan area ketidakpastian. Panduan investigasi yang terstruktur dan jelas memastikan bahwa langkah analisis mengikuti praktik terbaik dan prosedur standar, mengarahkan konsistensi dan keandalan dalam setiap operasi.

Ketertelusuran keputusan dari awal hingga akhir memungkinkan setiap putusan, rekomendasi, dan tindakan otomatis diaudit serta dipahami. Hal ini memberikan transparansi penuh kepada tim keamanan sekaligus membangun kepercayaan para pemangku kepentingan. Dengan mengintegrasikan elemen-elemen kunci ini – dan menerapkan kontrol yang kuat atas kualitas data prompt, keselamatan, dan pengamanan operasional – pendekatan agen AI LLM yang maju memungkinkan SOC untuk mencapai hasil yang tidak hanya dapat diandalkan dan transparan, tetapi juga siap produksi untuk lingkungan dunia nyata dan aktivitas yang paling kritis.