Kontrol Hallusinasi: Manfaat dan Risiko Menggunakan LLM sebagai Bagian dari Proses Keamanan

Model Bahasa Besar (LLM) yang dilatih pada jumlah data yang besar dapat membuat tim operasi keamanan lebih cerdas. LLM menyediakan saran dan bimbingan secara langsung pada respon, audit, manajemen posisi, dan lain-lain. Sebagian besar tim keamanan bereksperimen dengan atau menggunakan LLM untuk mengurangi pekerjaan manual dalam alur kerja. Ini dapat dilakukan baik untuk tugas yang membosankan maupun kompleks. 

Misalnya, LLM dapat mengirimkan pertanyaan kepada karyawan melalui email jika mereka bermaksud untuk berbagi dokumen yang bersifat milik perusahaan dan memproses respons dengan rekomendasi untuk praktisi keamanan. LLM juga dapat diberi tugas untuk menerjemahkan permintaan untuk mencari serangan rantai pasokan pada modul sumber terbuka dan memulai agen yang fokus pada kondisi tertentu — kontributor baru pada perpustakaan yang banyak digunakan, pola kode yang tidak tepat — dengan setiap agen yang dipersiapkan untuk kondisi tertentu tersebut. 

Namun, sistem AI yang kuat ini membawa risiko yang signifikan yang tidak seperti risiko lain yang dihadapi tim keamanan. Model yang memuat keamanan LLM dapat dikompromikan melalui injeksi prompt atau pencemaran data. Umpan balik yang berkelanjutan dan algoritma pembelajaran mesin tanpa bimbingan manusia yang cukup dapat memungkinkan pelaku jahat untuk memprobes kontrol dan kemudian menginduksi respon yang tidak tepat. LLM rentan terhadap halusinasi, bahkan dalam domain yang terbatas. Bahkan LLM terbaik dapat membuat sesuatu yang tidak ada jawabannya. 

Proses keamanan dan kebijakan AI sekitar penggunaan LLM dan alur kerja akan menjadi lebih kritis ketika sistem ini menjadi lebih umum di seluruh operasi keamanan siber dan penelitian. Memastikan bahwa proses tersebut dipenuhi, diukur, dan diperhitungkan dalam sistem tata kelola akan terbukti sangat penting untuk memastikan bahwa CISO dapat menyediakan cakupan GRC (Tata Kelola, Risiko, dan Kepatuhan) yang memadai untuk memenuhi mandat baru seperti Kerangka Keamanan Siber 2.0. 

Janji Besar LLM dalam Keamanan Siber

CISO dan tim mereka terus-menerus berjuang untuk mengikuti gelombang baru serangan siber yang meningkat. Menurut Qualys, jumlah CVE yang dilaporkan pada 2023 mencapai rekor baru 26.447. Ini meningkat lebih dari 5 kali lipat dari 2013. 

Tantangan ini hanya menjadi lebih berat karena permukaan serangan rata-rata organisasi tumbuh lebih besar dengan setiap tahun. Tim AppSec harus mengamankan dan memantau banyak aplikasi perangkat lunak. Teknologi komputasi awan, API, multi-awan, dan virtualisasi telah menambah kompleksitas. Dengan alat dan proses CI/CD modern, tim aplikasi dapat mengirimkan lebih banyak kode, lebih cepat, dan lebih sering. Mikro layanan telah memecah aplikasi monolitik menjadi banyak API dan permukaan serangan, serta membuat banyak lubang di firewall global untuk berkomunikasi dengan layanan eksternal atau perangkat pelanggan.

LLM canggih memegang janji besar untuk mengurangi beban kerja tim keamanan siber dan meningkatkan kemampuan mereka. Alat coding yang ditenagai AI telah banyak digunakan dalam pengembangan perangkat lunak. Penelitian Github menemukan bahwa 92% pengembang menggunakan atau pernah menggunakan alat AI untuk saran kode dan penyelesaian. Sebagian besar dari “kopilot” ini memiliki kemampuan keamanan. Bahkan, disiplin programatis dengan hasil yang relatif biner seperti coding (kode akan lulus atau gagal tes unit) sangat cocok untuk LLM. Di luar pemindaian kode untuk pengembangan perangkat lunak dan dalam pipa CI/CD, AI dapat berharga bagi tim keamanan siber dalam beberapa cara lain:   

• Analisis Ditingkatkan: LLM dapat memproses jumlah besar data keamanan (log, peringatan, intelijen ancaman) untuk mengidentifikasi pola dan korelasi yang tidak terlihat oleh manusia. Mereka dapat melakukan ini di seluruh bahasa, sepanjang waktu, dan di banyak dimensi secara bersamaan. Ini membuka peluang baru bagi tim keamanan. LLM dapat mengurangi tumpukan peringatan hampir secara real-time, menandai yang paling mungkin parah. Melalui pembelajaran penguatan, analisis harus ditingkatkan seiring waktu. 
• Otomatisasi: LLM dapat mengotomatisasi tugas tim keamanan yang biasanya memerlukan interaksi konversasi. Misalnya, ketika tim keamanan menerima IoC dan perlu bertanya kepada pemilik endpoint apakah mereka benar-benar masuk ke perangkat atau apakah mereka berada di luar zona kerja normal mereka, LLM dapat melakukan operasi sederhana ini dan kemudian mengikuti dengan pertanyaan yang diperlukan dan tautan atau instruksi. Ini sebelumnya merupakan interaksi yang harus dilakukan oleh anggota tim IT atau keamanan. LLM juga dapat menyediakan fungsionalitas yang lebih maju. Misalnya, Microsoft Copilot untuk Keamanan dapat menghasilkan laporan analisis insiden dan menerjemahkan kode malware kompleks ke dalam deskripsi bahasa alami. 
• Pembelajaran dan Penyetelan Berkelanjutan: Tidak seperti sistem pembelajaran mesin sebelumnya untuk kebijakan keamanan dan pemahaman, LLM dapat belajar secara langsung dengan mengonsumsi peringkat manusia dari responsnya dan dengan menyetel ulang pada kumpulan data baru yang mungkin tidak terkandung dalam file log internal. Bahkan, menggunakan model fondasi yang sama, LLM keamanan siber dapat disesuaikan untuk tim yang berbeda dan kebutuhan, alur kerja, atau tugas regional atau vertikal yang spesifik. Ini juga berarti bahwa seluruh sistem dapat seketika menjadi cerdas seperti model, dengan perubahan yang cepat melintasi semua antarmuka. 

Risiko LLM untuk Keamanan Siber

Sebagai teknologi baru dengan catatan yang singkat, LLM memiliki risiko yang serius. Lebih parah lagi, memahami risiko tersebut sangat menantang karena output LLM tidak 100% dapat diprediksi atau programatis. Misalnya, LLM dapat “berhalusinasi” dan membuat jawaban atau menjawab pertanyaan secara tidak benar, berdasarkan data imajiner. Sebelum mengadopsi LLM untuk kasus penggunaan keamanan siber, perlu dipertimbangkan risiko potensial termasuk: 

• Injeksi Prompt: Penyerang dapat membuat prompt yang berbahaya secara khusus untuk menghasilkan output yang menyesatkan atau berbahaya. Jenis serangan ini dapat mengeksploitasi kecenderungan LLM untuk menghasilkan konten berdasarkan prompt yang diterima. Dalam kasus penggunaan keamanan siber, injeksi prompt mungkin paling berisiko sebagai bentuk serangan dari dalam atau serangan oleh pengguna yang tidak sah yang menggunakan prompt untuk mengubah secara permanen output sistem dengan menggeser perilaku model. Ini dapat menghasilkan output yang tidak akurat atau tidak valid untuk pengguna sistem lain. 
• Pencemaran Data: Data pelatihan yang digunakan LLM dapat dengan sengaja dicemari, mengompromikan kemampuan pengambilan keputusannya. Dalam pengaturan keamanan siber, di mana organisasi kemungkinan menggunakan model yang dilatih oleh penyedia alat, pencemaran data mungkin terjadi selama penyetelan model untuk pelanggan dan kasus penggunaan tertentu. Risiko di sini bisa berupa pengguna yang tidak sah menambahkan data buruk — misalnya, file log yang rusak — untuk mengganggu proses pelatihan. Pengguna yang sah juga bisa melakukan ini secara tidak sengaja. Hasilnya adalah output LLM yang didasarkan pada data yang buruk.
• Halusinasi: Seperti yang disebutkan sebelumnya, LLM mungkin menghasilkan respons yang tidak akurat, tidak masuk akal, atau bahkan berbahaya karena kesalahpahaman prompt atau kelemahan data yang mendasarinya. Dalam kasus penggunaan keamanan siber, halusinasi dapat mengakibatkan kesalahan kritis yang dapat melumpuhkan intelijen ancaman, triase kerentanan dan perbaikan, dan lain-lain. Karena keamanan siber adalah kegiatan yang sangat kritis, LLM harus memenuhi standar yang lebih tinggi dalam mengelola dan mencegah halusinasi dalam konteks ini. 

Ketika sistem AI menjadi lebih kuat, penerapan keamanan informasi mereka berkembang dengan cepat. Untuk menjelaskan, banyak perusahaan keamanan siber telah lama menggunakan pencocokan pola dan pembelajaran mesin untuk penyaringan dinamis. Apa yang baru dalam era AI generatif adalah LLM interaktif yang menyediakan lapisan kecerdasan di atas alur kerja dan kumpulan data yang ada, yang idealnya meningkatkan efisiensi dan meningkatkan kemampuan tim keamanan siber. Dengan kata lain, GenAI dapat membantu insinyur keamanan melakukan lebih banyak dengan usaha yang kurang dan sumber daya yang sama, menghasilkan kinerja yang lebih baik dan proses yang dipercepat.