Kerentanan Keamanan yang Kami Bangun: Agen AI dan Masalah Kepatuhan

Agen AI berbasis LLM memperkenalkan kelas kerentanan baru, di mana penyerang menyuntikkan instruksi berbahaya ke dalam data, mengubah sistem yang berguna menjadi sekutu yang tidak sengaja.

Microsoft Copilot tidak di-hack dalam arti tradisional. Tidak ada malware, tidak ada tautan phishing, tidak ada kode berbahaya. Tidak ada yang mengklik apa pun atau menerapkan eksploitasi.

Pelaku ancaman hanya meminta. Microsoft 365 Copilot, melakukan tepat apa yang dibangun untuk dilakukan, mematuhi. Dalam serangan Echoleak zero click baru-baru ini, agen AI dimanipulasi oleh prompt yang menyamar sebagai data. Itu mematuhi, tidak karena itu rusak, tetapi karena itu berfungsi seperti yang dirancang.

Kerentanan ini tidak mengeksploitasi bug perangkat lunak. Itu mengeksploitasi bahasa. Dan itu menandai titik balik besar dalam keamanan siber, di mana permukaan serangan tidak lagi kode tetapi percakapan.

Masalah Kepatuhan AI Baru

Agen AI dirancang untuk membantu. Tujuan mereka adalah memahami niat pengguna dan bertindak atas itu dengan efisien. Utilitas itu datang dengan risiko. Ketika disematkan ke dalam sistem file, platform produktivitas, atau sistem operasi, agen-agen ini mengikuti perintah bahasa alami dengan sedikit perlawanan.

Pelaku ancaman mengeksploitasi sifat itu. Dengan injeksi prompt yang tampak tidak berbahaya, mereka dapat memicu tindakan sensitif. Prompt tersebut mungkin termasuk:

• Potongan kode multibahasa
• Format file yang tidak jelas dan instruksi yang disematkan
• Input bahasa non-Inggris
• Perintah multistep yang tersembunyi dalam bahasa santai

Karena model bahasa besar (LLM) dilatih untuk memahami kompleksitas dan ketidakjelasan, prompt menjadi payload.

Hantu Siri dan Alexa

Polanya tidak baru. Di hari-hari awal Siri dan Alexa, peneliti menunjukkan bagaimana memutar perintah suara seperti “Kirim semua foto saya ke email ini” dapat memicu tindakan tanpa verifikasi pengguna.

Sekarang ancaman itu lebih besar. Agen AI seperti Microsoft Copilot terintegrasi dalam Office 365, Outlook, dan OS. Mereka mengakses email, dokumen, kredensial, dan API. Penyerang hanya perlu prompt yang tepat untuk mengekstrak data kritis, semuanya sambil berpura-pura sebagai pengguna yang sah.

Ketika Komputer Menganggap Instruksi sebagai Data

Ini bukan prinsip baru dalam keamanan siber. Injeksi seperti serangan SQL berhasil karena sistem tidak dapat membedakan antara input dan instruksi. Hari ini, kelemahan yang sama ada, tetapi di lapisan bahasa.

Agen AI memperlakukan bahasa alami sebagai input dan niat. Objek JSON, pertanyaan, atau bahkan frasa dapat memicu tindakan. Ketidakjelasan ini adalah yang dieksploitasi oleh pelaku ancaman, menyematkan perintah dalam konten yang tampak tidak berbahaya.

Kami telah menyematkan niat ke dalam infrastruktur. Sekarang, pelaku ancaman telah belajar bagaimana mengekstraknya untuk melakukan kehendak mereka.

Adopsi AI Mengungguli Keamanan Siber

Ketika perusahaan bergegas untuk mengintegrasikan LLM, banyak yang mengabaikan pertanyaan kritis: apa yang diakses oleh AI?

Ketika Copilot dapat menyentuh OS, radius ledakan membesar jauh melampaui inbox. Menurut Laporan Keamanan AI Check Point AI Security Report:

• 62 persen dari Chief Information Security Officers (CISO) global khawatir mereka bisa dianggap bertanggung jawab secara pribadi atas pelanggaran yang terkait dengan AI
• Hampir 40 persen organisasi melaporkan penggunaan AI internal yang tidak disetujui, sering tanpa pengawasan keamanan
• 20 persen kelompok kejahatan siber sekarang mengincorporasi AI ke dalam operasi mereka, termasuk untuk membuat phishing dan melakukan pengintaian

Ini bukan hanya risiko yang muncul. Ini adalah risiko yang sudah ada dan sudah menyebabkan kerusakan.

Mengapa Pengamanan yang Ada Tidak Cukup

Beberapa vendor menggunakan watchdog — model sekunder yang dilatih untuk menangkap prompt berbahaya atau perilaku mencurigakan. Filter ini mungkin mendeteksi ancaman dasar tetapi rentan terhadap teknik penghindaran.

Pelaku ancaman dapat:

• Membebani filter dengan noise
• Membagi niat melintasi beberapa langkah
• Menggunakan frasa yang tidak jelas untuk menghindari deteksi

Dalam kasus Echoleak, pengamanan ada— dan itu dilanggar. Ini mencerminkan tidak hanya kegagalan kebijakan, tetapi kegagalan arsitektur. Ketika agen memiliki izin tingkat tinggi tetapi konteks rendah, bahkan pengamanan yang baik tidak cukup.

Deteksi, Bukan Kesempurnaan

Mencegah setiap serangan mungkin tidak realistis. Tujuan harus deteksi cepat dan penahanan cepat.

Organisasi dapat memulai dengan:

• Mengawasi aktivitas agen AI secara waktu nyata dan mempertahankan log prompt audit
• Menerapkan akses least-privilege yang ketat ke alat AI, mencerminkan kontrol tingkat admin
• Menambahkan gesekan ke operasi sensitif, seperti memerlukan konfirmasi
• Menandai pola prompt tidak biasa atau musuh untuk ditinjau

Serangan berbasis bahasa tidak akan muncul dalam alat deteksi dan respon titik akhir tradisional. Mereka memerlukan model deteksi baru.

Apa yang Organisasi Harus Lakukan Sekarang untuk Melindungi Diri

Sebelum menggelar agen AI, organisasi harus memahami bagaimana sistem ini beroperasi dan apa risiko yang mereka perkenalkan.

Rekomendasi kunci termasuk:

1. Audit semua akses: Ketahui apa yang dapat disentuh atau dipicu oleh agen
2. Batasi ruang lingkup: Berikan izin minimal yang diperlukan
3. Lacak semua interaksi: Log prompt, respons, dan tindakan yang dihasilkan
4. Stres-test: Simulasikan input musuh secara internal dan sering
5. Rencanakan untuk menghindari: Anggap filter akan dilanggar
6. Selaraskan dengan keamanan: Pastikan sistem LLM mendukung, bukan mengompromikan, tujuan keamanan

Permukaan Serangan Baru

Echoleak adalah pratayang dari apa yang akan datang. Ketika LLM berkembang, kegunaannya menjadi kewajiban. Terintegrasi dalam sistem bisnis, mereka menawarkan penyerang cara baru untuk masuk — melalui prompt sederhana yang dirancang dengan baik.

Ini tidak lagi hanya tentang mengamankan kode. Ini tentang mengamankan bahasa, niat, dan konteks. Buku petunjuk harus berubah sekarang, sebelum terlambat.

Dan masih, ada kabar baik. Ada kemajuan yang dilakukan dalam memanfaatkan agen AI untuk membela terhadap ancaman siber baru dan muncul. Ketika digunakan dengan benar, agen AI otonom ini dapat merespons ancaman lebih cepat daripada manusia, berkolaborasi di seluruh lingkungan, dan secara proaktif membela terhadap risiko yang muncul dengan belajar dari satu upaya infiltrasi.

AI Agentic dapat belajar dari setiap serangan, beradaptasi dalam waktu nyata, dan mencegah ancaman sebelum mereka menyebar. Ini memiliki potensi untuk membangun era baru ketahanan siber, tetapi hanya jika kita memanfaatkan momen ini dan membentuk masa depan keamanan siber bersama. Jika kita tidak, era baru ini bisa menandai mimpi buruk keamanan siber dan privasi data untuk organisasi yang sudah menerapkan AI (terkadang bahkan tanpa disadari dengan alat IT bayangan). Sekarang adalah waktu untuk mengambil tindakan untuk memastikan agen AI digunakan untuk keuntungan kita, bukan kehancuran kita.