Kerentanan Keamanan yang Kami Bangun: Agen AI dan Masalah Kepatuhan

Agen AI berbasis LLM memperkenalkan kelas kerentanan baru, tempat penyerang menyuntikkan instruksi berbahaya ke dalam data, mengubah sistem yang bermanfaat menjadi kaki tangan yang tidak disadari.

Microsoft Copilot tidak diretas dalam pengertian tradisional. Tidak ada malware, tidak ada tautan phishing, tidak ada kode berbahaya. Tidak ada yang mengklik apa pun atau menyebarkan eksploitasi apa pun.

Pelaku ancaman hanya bertanya. Microsoft 365 Copilot, melakukan persis seperti yang seharusnya dilakukan, mematuhinya. Dalam kebocoran gema zero click attack, agen AI dimanipulasi oleh perintah yang disamarkan sebagai data. Perintah itu patuh, bukan karena rusak, tetapi karena berfungsi sebagaimana mestinya.

Kerentanan ini tidak mengeksploitasi bug perangkat lunak. Ia mengeksploitasi bahasa. Dan itu menandai titik balik utama dalam keamanan siber, di mana permukaan serangan bukan lagi kode, melainkan percakapan.

Masalah Kepatuhan AI Baru

Agen AI dirancang untuk membantu. Tujuannya adalah untuk memahami maksud pengguna dan menindaklanjutinya secara efisien. Kegunaan tersebut mengandung risiko. Saat disematkan ke dalam sistem berkas, platform produktivitas, atau sistem operasi, agen ini mengikuti perintah bahasa alami dengan hambatan minimal.

Pelaku ancaman memanfaatkan sifat tersebut. Dengan suntikan cepat yang tampak tidak berbahaya, mereka dapat memicu tindakan yang sensitif. Dorongan ini dapat meliputi:

• Potongan kode multibahasa
• Format file yang tidak jelas dan instruksi yang tertanam
• Masukan bahasa non-Inggris
• Perintah multi-langkah tersembunyi dalam bahasa sehari-hari

Karena model bahasa besar (LLM) dilatih untuk memahami kompleksitas dan ambiguitas, perintah menjadi muatan.

Hantu Siri dan Alexa

Pola ini bukanlah hal baru. Pada awal kemunculan Siri dan Alexa, para peneliti menunjukkan bagaimana memainkan perintah suara seperti “Kirim semua foto saya ke email ini” dapat memicu tindakan tanpa verifikasi pengguna.

Kini ancamannya lebih besar. Agen AI seperti Microsoft Copilot terintegrasi jauh ke dalam Office 365, Outlook, dan OS. Mereka mengakses email, dokumen, kredensial, dan API. Penyerang hanya memerlukan perintah yang tepat untuk mengekstrak data penting, sambil menyamar sebagai pengguna yang sah.

Ketika Komputer Salah Mengartikan Instruksi untuk Data

Ini bukanlah prinsip baru dalam keamanan siber. Suntikan seperti serangan SQL berhasil karena sistem tidak dapat membedakan antara masukan dan instruksi. Saat ini, kelemahan yang sama masih ada, tetapi pada lapisan bahasa.

Agen AI memperlakukan bahasa alami sebagai masukan dan maksud. Objek JSON, pertanyaan, atau bahkan frasa dapat memulai suatu tindakan. Ketidakjelasan inilah yang dimanfaatkan oleh pelaku ancaman, dengan menyematkan perintah dalam konten yang tampak tidak berbahaya.

Kami telah menanamkan maksud ke dalam infrastruktur. Kini, pelaku ancaman telah mempelajari cara mengekstraknya untuk menjalankan perintah mereka.

Adopsi AI Melebihi Keamanan Siber

Saat perusahaan berlomba-lomba mengintegrasikan LLM, banyak yang mengabaikan pertanyaan penting: apa saja yang dapat diakses oleh AI?

Ketika Copilot dapat menyentuh OS, radius ledakan meluas jauh melampaui kotak masuk. Menurut Check Point Laporan Keamanan AI:

• 62 persen Chief Information Security Officer (CISO) global khawatir mereka dapat dimintai pertanggungjawaban pribadi atas pelanggaran terkait AI
• Hampir 40 persen organisasi melaporkan penggunaan AI internal yang tidak sah, seringkali tanpa pengawasan keamanan
• 20 persen kelompok penjahat dunia maya kini memasukkan AI ke dalam operasi mereka, termasuk untuk membuat phishing dan melakukan pengintaian

Ini bukan sekadar risiko yang baru muncul. Ini adalah risiko yang sudah ada dan telah menimbulkan kerusakan.

Mengapa Perlindungan yang Ada Tidak Cukup

Beberapa vendor menggunakan pengawas — model sekunder yang dilatih untuk menangkap perintah berbahaya atau perilaku mencurigakan. Filter ini dapat mendeteksi ancaman dasar tetapi rentan terhadap teknik penghindaran.

Aktor ancaman dapat:

• Filter kelebihan beban dengan noise
• Membagi maksud ke beberapa langkah
• Gunakan frasa yang tidak jelas untuk melewati deteksi

Dalam kasus Echoleak, pengamanan sudah ada—dan pengamanan itu diabaikan. Ini mencerminkan bukan hanya kegagalan kebijakan, tetapi juga kegagalan arsitektur. Ketika agen memiliki izin tingkat tinggi tetapi konteks tingkat rendah, bahkan pengamanan yang baik pun tidak akan berhasil.

Deteksi, Bukan Kesempurnaan

Mencegah setiap serangan mungkin tidak realistis. Sasarannya harus berupa deteksi cepat dan penanggulangan cepat.

Organisasi dapat memulai dengan:

• Memantau aktivitas agen AI secara real time dan memelihara log audit yang cepat
• Menerapkan akses hak istimewa paling rendah yang ketat pada alat AI, mencerminkan kontrol tingkat admin
• Menambah gesekan pada operasi yang sensitif, seperti memerlukan konfirmasi
• Menandai pola prompt yang tidak biasa atau bertentangan untuk ditinjau

Serangan berbasis bahasa tidak akan muncul dalam bahasa tradisional deteksi dan respons titik akhir (EDR). Mereka memerlukan model deteksi baru.

Apa yang Harus Dilakukan Organisasi Sekarang untuk Melindungi Diri Mereka Sendiri

Sebelum menerapkan agen AI, organisasi harus memahami cara kerja sistem ini dan risiko apa yang ditimbulkannya.

Rekomendasi utama meliputi:

1. Audit semua akses: Ketahui agen apa yang dapat menyentuh atau memicu
2. Batasi cakupan: Berikan izin minimum yang diperlukan
3. Lacak semua interaksi: Catat permintaan, respons, dan tindakan yang dihasilkan
4. Uji stres: Simulasikan masukan yang berlawanan secara internal dan sering
5. Rencana penghindaran: Asumsikan filter akan dilewati
6. Sejalan dengan keamanan: Pastikan sistem LLM mendukung, bukan mengorbankan, tujuan keamanan

Permukaan Serangan Baru

Echoleak adalah pratinjau dari apa yang akan datang. Seiring berkembangnya LLM, kegunaannya berubah menjadi sebuah kelemahan. Terintegrasi secara mendalam ke dalam sistem bisnis, mereka menawarkan cara baru bagi penyerang untuk masuk — melalui perintah yang sederhana dan dibuat dengan baik.

Ini bukan lagi sekadar tentang mengamankan kode. Ini tentang mengamankan bahasa, maksud, dan konteks. Buku pedoman harus diubah sekarang, sebelum terlambat.

Namun, ada beberapa berita baik. Ada kemajuan yang telah dicapai dalam memanfaatkan Agen AI untuk membela terhadap ancaman siber yang baru dan yang sedang berkembang. Jika dimanfaatkan dengan baik, agen AI otonom ini dapat merespons ancaman lebih cepat daripada manusia mana pun, berkolaborasi di berbagai lingkungan, dan secara proaktif mempertahankan diri dari risiko yang muncul dengan belajar dari satu upaya intrusi.

Agentic AI dapat belajar dari setiap serangan, beradaptasi secara real time, dan mencegah ancaman sebelum menyebar. AI berpotensi menciptakan era baru ketahanan siber, tetapi hanya jika kita memanfaatkan momen ini dan membentuk masa depan keamanan siber bersama-sama. Jika tidak, era baru ini dapat menjadi pertanda mimpi buruk keamanan siber dan privasi data bagi organisasi yang telah menerapkan AI (terkadang bahkan tanpa disadari dengan perangkat TI bayangan). Sekaranglah saatnya untuk mengambil tindakan guna memastikan Agen AI digunakan untuk keuntungan kita, bukan kehancuran kita.