Kontrol Hallusinasi: Manfaat dan Risiko Menggunakan LLM sebagai Bagian dari Proses Keamanan

Large Language Models (LLM) yang dilatih pada kuantitas data yang besar dapat membuat tim operasi keamanan lebih pintar. LLM menyediakan saran dan panduan secara langsung pada respon, audit, manajemen postur, dan lain-lain. Sebagian besar tim keamanan bereksperimen dengan atau menggunakan LLM untuk mengurangi pekerjaan manual dalam alur kerja. Ini dapat dilakukan baik untuk tugas-tugas yang membosankan maupun kompleks.

Misalnya, LLM dapat mengirimkan pertanyaan kepada karyawan melalui email jika mereka bermaksud untuk berbagi dokumen yang bersifat propietary dan memproses respon dengan rekomendasi untuk praktisi keamanan. LLM juga dapat diberi tugas untuk menerjemahkan permintaan untuk mencari serangan rantai pasokan pada modul sumber terbuka dan memutar agen yang fokus pada kondisi tertentu — kontributor baru pada perpustakaan yang banyak digunakan, pola kode yang tidak tepat — dengan setiap agen dipersiapkan untuk kondisi tersebut.

Namun, sistem AI yang kuat ini memiliki risiko yang signifikan yang tidak seperti risiko lain yang dihadapi tim keamanan. Model yang memuat keamanan LLM dapat dikompromikan melalui injeksi prompt atau pencemaran data. Umpan balik berkelanjutan dan algoritma pembelajaran mesin tanpa bimbingan manusia yang cukup dapat memungkinkan aktor jahat untuk menyelidiki kontrol dan kemudian menginduksi respon yang tidak tepat. LLM rentan terhadap halusinasi, bahkan dalam domain yang terbatas. Bahkan LLM terbaik dapat membuat sesuatu yang tidak ada ketika mereka tidak tahu jawabannya.

Proses keamanan dan kebijakan AI sekitar penggunaan LLM dan alur kerja akan menjadi lebih kritis karena sistem ini menjadi lebih umum di seluruh operasi keamanan siber dan penelitian. Memastikan bahwa proses-proses tersebut dipatuhi, dan diukur serta diperhitungkan dalam sistem tata kelola, akan terbukti sangat penting untuk memastikan bahwa CISO dapat menyediakan cakupan GRC (Tata Kelola, Risiko, dan Kepatuhan) yang memadai untuk memenuhi mandat baru seperti Kerangka Keamanan Siber 2.0.

Janji Besar LLM dalam Keamanan Siber

CISO dan tim mereka terus-menerus berjuang untuk mengikuti gelombang serangan siber yang meningkat. Menurut Qualys, jumlah CVE yang dilaporkan pada 2023 mencapai rekor baru 26.447. Ini meningkat lebih dari 5 kali lipat dari 2013.

Tantangan ini hanya menjadi lebih berat karena permukaan serangan rata-rata organisasi tumbuh lebih besar setiap tahun. Tim AppSec harus mengamankan dan memantau banyak aplikasi perangkat lunak. Komputasi awan, API, teknologi multi-awan dan virtualisasi telah menambah kompleksitas. Dengan perangkat dan proses CI/CD modern, tim aplikasi dapat mengirimkan lebih banyak kode, lebih cepat, dan lebih sering. Microservices telah memecah aplikasi monolitik menjadi banyak API dan permukaan serangan serta menembus banyak lubang di firewall global untuk berkomunikasi dengan layanan eksternal atau perangkat pelanggan.

LLM canggih menjanjikan untuk mengurangi beban kerja tim keamanan siber dan meningkatkan kemampuan mereka. Alat coding AI telah merambah pengembangan perangkat lunak. Penelitian Github menemukan bahwa 92% pengembang menggunakan atau pernah menggunakan alat AI untuk saran dan penyelesaian kode. Sebagian besar alat “copilot” ini memiliki kemampuan keamanan. Faktanya, disiplin programatik dengan hasil yang relatif biner seperti coding (kode akan lulus atau gagal tes unit) sangat cocok untuk LLM. Di luar pemindaian kode untuk pengembangan perangkat lunak dan dalam pipa CI/CD, AI dapat berharga bagi tim keamanan siber dengan beberapa cara:

• Analisis Ditingkatkan: LLM dapat memproses sejumlah besar data keamanan (log, peringatan, intelijen ancaman) untuk mengidentifikasi pola dan korelasi yang tidak terlihat oleh manusia. Mereka dapat melakukan ini melintasi bahasa, sepanjang waktu, dan melintasi banyak dimensi secara bersamaan. Ini membuka peluang baru bagi tim keamanan. LLM dapat mengurangi tumpukan peringatan hampir secara real-time, menandai yang paling mungkin parah. Melalui pembelajaran penguatan, analisis harus meningkat seiring waktu.
• Otomatisasi: LLM dapat mengotomatisasi tugas tim keamanan yang biasanya memerlukan percakapan bolak-balik. Misalnya, ketika tim keamanan menerima IoC dan perlu bertanya kepada pemilik endpoint apakah mereka benar-benar masuk ke perangkat atau jika mereka berada di luar zona kerja normal mereka, LLM dapat melakukan operasi sederhana ini dan kemudian mengikuti dengan pertanyaan seperti yang diperlukan dan tautan atau instruksi. Ini dulunya adalah interaksi yang harus dilakukan oleh anggota tim IT atau keamanan. LLM juga dapat menyediakan fungsi yang lebih maju. Misalnya, Microsoft Copilot untuk Keamanan dapat menghasilkan laporan analisis insiden dan menerjemahkan kode malware kompleks menjadi deskripsi bahasa alami.
• Pembelajaran dan Penyetelan Berkelanjutan: Tidak seperti sistem pembelajaran mesin sebelumnya untuk kebijakan dan pemahaman keamanan, LLM dapat belajar secara langsung dengan mengonsumsi peringkat manusia dari responnya dan dengan menyetel ulang pada kumpulan data baru yang mungkin tidak terkandung dalam file log internal. Faktanya, menggunakan model dasar yang sama, LLM keamanan siber dapat disesuaikan untuk tim yang berbeda dan kebutuhan, alur kerja, atau tugas regional atau vertikal khusus. Ini juga berarti bahwa sistem keseluruhan dapat seketika menjadi secerdas model, dengan perubahan yang cepat melintasi semua antarmuka.

Risiko LLM untuk Keamanan Siber

Sebagai teknologi baru dengan catatan yang singkat, LLM memiliki risiko yang serius. Lebih parah, memahami risiko tersebut secara penuh sangat menantang karena output LLM tidak 100% dapat diprediksi atau programatik. Misalnya, LLM dapat “berhalusinasi” dan membuat jawaban atau menjawab pertanyaan secara tidak benar, berdasarkan data imajiner. Sebelum mengadopsi LLM untuk kasus penggunaan keamanan siber, satu harus mempertimbangkan risiko potensial termasuk:

• Penyuntikan Prompt: Penyerang dapat membuat prompt berbahaya khusus untuk menghasilkan output yang menyesatkan atau berbahaya. Jenis serangan ini dapat memanfaatkan kecenderungan LLM untuk menghasilkan konten berdasarkan prompt yang diterimanya. Dalam kasus penggunaan keamanan siber, penyuntikan prompt mungkin paling berisiko sebagai bentuk serangan dari dalam atau serangan oleh pengguna tidak sah yang menggunakan prompt untuk mengubah perilaku model secara permanen dengan menggeser output sistem. Ini dapat menghasilkan output yang tidak akurat atau tidak valid untuk pengguna sistem lain.
• Pencemaran Data: Data pelatihan yang digunakan LLM dapat dengan sengaja dicemari, mengompromikan proses pengambilan keputusannya. Dalam pengaturan keamanan siber, di mana organisasi kemungkinan menggunakan model yang dilatih oleh penyedia alat, pencemaran data mungkin terjadi selama penyetelan model untuk pelanggan dan kasus penggunaan khusus. Risiko di sini bisa berupa pengguna tidak sah menambahkan data buruk — misalnya, file log yang rusak — untuk mengganggu proses pelatihan. Pengguna yang sah juga bisa melakukan ini secara tidak sengaja. Hasilnya akan berupa output LLM yang berdasarkan data buruk.
• Halusinasi: Seperti yang disebutkan sebelumnya, LLM mungkin menghasilkan respons yang tidak tepat, tidak masuk akal, atau bahkan berbahaya karena kesalahpahaman prompt atau kelemahan data. Dalam kasus penggunaan keamanan siber, halusinasi dapat menghasilkan kesalahan kritis yang melumpuhkan intelijen ancaman, triase kerentanan dan perbaikan, dan lain-lain. Karena keamanan siber adalah kegiatan yang sangat kritis, LLM harus memenuhi standar yang lebih tinggi dalam mengelola dan mencegah halusinasi dalam konteks ini.

Ketika sistem AI menjadi lebih kuat, penerapan keamanan informasi mereka berkembang pesat. Untuk jelas, banyak perusahaan keamanan siber telah lama menggunakan pencocokan pola dan pembelajaran mesin untuk penyaringan dinamis. Apa yang baru dalam era AI generatif adalah LLM interaktif yang menyediakan lapisan kecerdasan di atas alur kerja dan kumpulan data yang ada, idealnya meningkatkan efisiensi dan meningkatkan kemampuan tim keamanan siber. Dengan kata lain, GenAI dapat membantu insinyur keamanan melakukan lebih banyak dengan usaha yang sama dan sumber daya yang sama, menghasilkan kinerja yang lebih baik dan proses yang dipercepat.