Kerentanan Keamanan yang Kami Bangun: Agen AI dan Masalah Kepatuhan

LLM-based AI agents are introducing a new class of vulnerabilities, where attackers inject malicious instructions into data, turning helpful systems into unwitting accomplices.

Microsoft Copilot tidak di-hack dalam arti tradisional. Tidak ada malware, tidak ada phishing link, tidak ada kode berbahaya. Tidak ada yang mengklik apa pun atau mengirimkan eksploitasi.

Pelaku ancaman hanya meminta. Microsoft 365 Copilot, melakukan apa yang telah dibangun untuk dilakukan, mematuhi. Dalam serangan Echoleak zero click baru-baru ini, agen AI dimanipulasi oleh prompt yang menyamar sebagai data. Itu mematuhi, tidak karena itu rusak, tetapi karena itu berfungsi seperti yang dirancang.

Kerentanan ini tidak mengeksploitasi bug perangkat lunak. Itu mengeksploitasi bahasa. Dan itu menandai titik balik besar dalam keamanan siber, di mana permukaan serangan tidak lagi kode tetapi percakapan.

Masalah Kepatuhan AI Baru

AI agents dirancang untuk membantu. Tujuan mereka adalah memahami niat pengguna dan bertindak atasnya dengan efisien. Utilitas itu datang dengan risiko. Ketika tertanam dalam sistem file, platform produktivitas, atau sistem operasi, agen-agen ini mengikuti perintah bahasa alami dengan sedikit perlawanan.

Pelaku ancaman mengeksploitasi sifat itu. Dengan injeksi prompt yang tampak tidak berbahaya, mereka dapat memicu tindakan sensitif. Prompt tersebut mungkin termasuk:

• Potongan kode multibahasa
• Format file yang tidak jelas dan instruksi yang tertanam
• Input bahasa non-Inggris
• Perintah multistep yang tersembunyi dalam bahasa santai

Karena model bahasa besar (LLM) dilatih untuk memahami kompleksitas dan ketidakjelasan, prompt menjadi payload.

Hantu Siri dan Alexa

Polanya tidak baru. Di hari-hari awal Siri dan Alexa, peneliti menunjukkan bagaimana memutar perintah suara seperti “Kirim semua foto saya ke email ini” dapat memicu tindakan tanpa verifikasi pengguna.

Sekarang ancaman itu lebih besar. Agen AI seperti Microsoft Copilot terintegrasi dalam Office 365, Outlook, dan OS. Mereka mengakses email, dokumen, kredensial, dan API. Pelaku ancaman hanya perlu prompt yang tepat untuk mengekstrak data kritis, semuanya sambil berpura-pura sebagai pengguna yang sah.

Ketika Komputer Menganggap Instruksi sebagai Data

Ini bukan prinsip baru dalam keamanan siber. Injeksi seperti serangan SQL berhasil karena sistem tidak dapat membedakan antara input dan instruksi. Hari ini, kelemahan yang sama ada, tetapi di lapisan bahasa.

Agen AI menganggap bahasa alami sebagai input dan niat. Objek JSON, pertanyaan, atau bahkan frasa dapat memicu tindakan. Ketidakjelasan ini yang dieksploitasi oleh pelaku ancaman, dengan menyematkan perintah dalam konten yang tampak tidak berbahaya.

Kami telah menyematkan niat ke dalam infrastruktur. Sekarang, pelaku ancaman telah belajar bagaimana mengekstraknya untuk melakukan kehendak mereka.

Adopsi AI Melebihi Keamanan Siber

Ketika perusahaan berlomba untuk mengintegrasikan LLM, banyak yang mengabaikan pertanyaan kritis: apa yang dapat diakses oleh AI?

Ketika Copilot dapat menyentuh OS, radius ledakan melebar jauh melampaui inbox. Menurut Laporan Keamanan AI Check Point:

• 62 persen dari Chief Information Security Officers (CISOs) global khawatir mereka bisa dianggap bertanggung jawab secara pribadi atas pelanggaran yang terkait dengan AI
• Hampir 40 persen organisasi melaporkan penggunaan AI internal yang tidak disetujui, sering tanpa pengawasan keamanan
• 20 persen kelompok kejahatan siber sekarang mengincorporasi AI ke dalam operasi mereka, termasuk untuk membuat phishing dan melakukan pengintaian

Ini bukan hanya risiko yang muncul. Ini adalah risiko yang sudah ada dan sudah menyebabkan kerusakan.

Mengapa Pengamanan yang Ada Tidak Cukup

Beberapa vendor menggunakan watchdog — model sekunder yang dilatih untuk menangkap prompt berbahaya atau perilaku mencurigakan. Filter ini mungkin mendeteksi ancaman dasar tetapi rentan terhadap teknik penghindaran.