Kerentanan Keamanan yang Kami Bangun: Agen AI dan Masalah Kepatuhan

Agen AI berbasis LLM memperkenalkan kelas kerentanan baru, di mana penyerang menyuntikkan instruksi berbahaya ke dalam data, mengubah sistem yang membantu menjadi rekan yang tidak sengaja.

Microsoft Copilot tidak diretas dalam arti tradisional. Tidak ada malware, tidak ada tautan phishing, tidak ada kode berbahaya. Tidak ada yang mengklik apa pun atau menerapkan eksploitasi.

Penyerang hanya meminta. Microsoft 365 Copilot, melakukan tepat apa yang dibangun untuk dilakukan, mematuhi. Dalam serangan Echoleak nol-klik baru-baru ini, agen AI dimanipulasi oleh prompt yang menyamar sebagai data. Ini mematuhi, bukan karena rusak, tetapi karena berfungsi sebagaimana dirancang.

Kerentanan ini tidak mengeksploitasi bug perangkat lunak. Ini mengeksploitasi bahasa. Dan itu menandai titik balik besar dalam keamanan siber, di mana permukaan serangan tidak lagi kode tetapi percakapan.

Masalah Kepatuhan AI Baru

Agen AI dirancang untuk membantu. Tujuan mereka adalah memahami niat pengguna dan bertindak dengan efisien. Utilitas itu datang dengan risiko. Ketika terintegrasi ke dalam sistem file, platform produktivitas, atau sistem operasi, agen-agen ini mengikuti perintah bahasa alami dengan sedikit perlawanan.

Penyerang mengeksploitasi sifat itu. Dengan injeksi prompt yang tampak tidak berbahaya, mereka dapat memicu tindakan sensitif. Prompt ini mungkin termasuk:

• Potongan kode multibahasa
• Format file yang tidak jelas dan instruksi yang disematkan
• Input bahasa non-Inggris
• Perintah multistep yang disembunyikan dalam bahasa santai

Karena model bahasa besar (LLM) dilatih untuk memahami kompleksitas dan ketidakjelasan, prompt menjadi payload.

Hantu Siri dan Alexa

Polanya tidak baru. Pada awal hari Siri dan Alexa, peneliti menunjukkan bagaimana memutar perintah suara seperti “Kirim semua foto saya ke email ini” dapat memicu tindakan tanpa verifikasi pengguna.

Sekarang ancaman itu lebih besar. Agen AI seperti Microsoft Copilot terintegrasi dalam Office 365, Outlook, dan OS. Mereka mengakses email, dokumen, kredensial, dan API. Penyerang hanya perlu prompt yang tepat untuk mengekstrak data kritis, semuanya sambil berpura-pura sebagai pengguna yang sah.

Ketika Komputer Menganggap Instruksi sebagai Data

Ini bukan prinsip baru dalam keamanan siber. Injeksi seperti serangan SQL berhasil karena sistem tidak dapat membedakan antara input dan instruksi. Hari ini, kelemahan yang sama ada, tetapi pada lapisan bahasa.

Agen AI menganggap bahasa alami sebagai input dan niat. Objek JSON, pertanyaan, atau bahkan frasa dapat memulai tindakan. Ketidakjelasan ini yang dieksploitasi oleh penyerang, menyematkan perintah dalam konten yang tampak tidak berbahaya.

Kami telah menyematkan niat ke dalam infrastruktur. Sekarang, penyerang telah belajar bagaimana mengekstraknya untuk melakukan kehendak mereka.

Adopsi AI Mengungguli Keamanan Siber

Ketika perusahaan berlomba untuk mengintegrasikan LLM, banyak yang mengabaikan pertanyaan kritis: apa yang diakses oleh AI?

Ketika Copilot dapat menyentuh OS, radius ledakan meluas jauh melampaui kotak masuk. Menurut Laporan Keamanan AI Check Point :

• 62 persen dari Chief Information Security Officers (CISO) global khawatir mereka dapat diminta pertanggungjawaban pribadi atas pelanggaran yang terkait AI
• Hampir 40 persen organisasi melaporkan penggunaan internal AI yang tidak disetujui, sering tanpa pengawasan keamanan
• 20 persen kelompok kejahatan siber sekarang mengintegrasikan AI ke dalam operasi mereka, termasuk untuk membuat phishing dan melakukan pengintaian

Ini bukan hanya risiko yang muncul. Ini adalah risiko yang sudah ada dan sudah menyebabkan kerusakan.

Mengapa Pengawasan yang Ada Tidak Cukup

Beberapa vendor menggunakan watchdog — model sekunder yang dilatih untuk menangkap prompt berbahaya atau perilaku mencurigakan. Filter ini mungkin mendeteksi ancaman dasar tetapi rentan terhadap teknik penghindaran.

Penyerang dapat:

• Membebani filter dengan noise
• Membagi niat melintasi beberapa langkah
• Menggunakan frasa yang tidak jelas untuk menghindari deteksi

Dalam kasus Echoleak, pengawasan ada — dan mereka dilanggar. Ini mencerminkan tidak hanya kegagalan kebijakan, tetapi kegagalan arsitektur. Ketika agen memiliki izin tingkat tinggi tetapi konteks rendah, bahkan pengawasan yang baik gagal.

Deteksi, Bukan Kesempurnaan

Mencegah setiap serangan mungkin tidak realistis. Tujuan harus menjadi deteksi cepat dan penahanan yang cepat.

Organisasi dapat memulai dengan:

• Mengawasi aktivitas agen AI secara real-time dan mempertahankan log prompt
• Menerapkan akses least-privilege yang ketat ke alat AI, mencerminkan kontrol tingkat admin
• Menambahkan gesekan ke operasi sensitif, seperti memerlukan konfirmasi
• Mengibarkan pola prompt yang tidak biasa atau musuh untuk ditinjau

Serangan berbasis bahasa tidak akan muncul dalam alat deteksi dan respon titik akhir tradisional. Mereka memerlukan model deteksi baru.

Apa yang Harus Dilakukan Organisasi Sekarang untuk Melindungi Diri

Sebelum menggelar agen AI, organisasi harus memahami bagaimana sistem ini beroperasi dan apa risiko yang mereka kenalkan.

Rekomendasi kunci termasuk:

1. Audit semua akses: Ketahui apa yang dapat disentuh atau dipicu oleh agen
2. Batasi ruang lingkup: Berikan izin minimum yang diperlukan
3. Lacak semua interaksi: Log prompt, respons, dan tindakan yang dihasilkan
4. Stres-test: Simulasikan input musuh secara internal dan sering
5. Rencanakan untuk penghindaran: Anggap filter akan dilanggar
6. Selaraskan dengan keamanan: Pastikan sistem LLM mendukung, bukan mengompromikan, tujuan keamanan

Permukaan Serangan Baru

Echoleak adalah pratayang dari apa yang akan datang. Ketika LLM berkembang, kegunaannya menjadi kerentanan. Terintegrasi dalam sistem bisnis, mereka menawarkan penyerang cara baru untuk masuk — melalui prompt sederhana yang dirancang dengan baik.

Ini tidak lagi hanya tentang mengamankan kode. Ini tentang mengamankan bahasa, niat, dan konteks. Buku petunjuk harus berubah sekarang, sebelum terlambat.

Namun, ada kabar baik. Ada kemajuan yang dibuat dalam menggunakan agen AI untuk membela diri terhadap ancaman siber baru dan muncul. Ketika digunakan dengan benar, agen AI otonom ini dapat merespons ancaman lebih cepat daripada manusia, berkolaborasi di seluruh lingkungan, dan proaktif membela diri terhadap risiko yang muncul dengan belajar dari satu upaya serangan.

Agen AI dapat belajar dari setiap serangan, beradaptasi dalam waktu nyata, dan mencegah ancaman sebelum mereka menyebar. Ini memiliki potensi untuk membangun era baru ketahanan siber, tetapi hanya jika kita memanfaatkan momen ini dan membentuk masa depan keamanan siber bersama. Jika tidak, era baru ini bisa menjadi mimpi buruk keamanan siber dan privasi data bagi organisasi yang telah mengimplementasikan AI (terkadang bahkan tanpa disadari dengan alat IT bayangan). Sekarang adalah waktu untuk bertindak untuk memastikan agen AI digunakan untuk keuntungan kita, bukan untuk kehancuran kita.