Agen AI Semakin Pintar dan Permukaan Serangannya Semakin Besar

Saat agen AI mulai melakukan pertemuan, menjalankan kode, dan browsing web atas nama Anda, percakapan keamanan siber bergeser. Tidak perlahan, tapi malah secara tiba-tiba.

Apa yang dulunya merupakan sistem perangkat lunak yang terkandung dan dapat diprediksi, menjadi sesuatu yang berpikir, merencanakan, dan mengambil tindakan di seluruh alat dan API yang hampir tidak ada sebelumnya setahun yang lalu.

Itu benar-benar menggembirakan, dan juga benar-benar menakutkan, karena permukaan serangan yang datang dengan otonomi itu sangat besar, dan sebagian besar organisasi baru saja mulai memahami apa yang dimaksud dengan membiarkan agen masuk ke infrastruktur mereka.

Dari Chatbot ke Operator

Janji asli AI sangat sederhana: tanyakan pertanyaan, dapatkan jawaban. Itu masih benar untuk sebagian besar interaksi konsumen, tapi itu tidak terjadi di penyebaran perusahaan lagi. Agen hari ini diberi kredential, kunci API, dan kemampuan untuk menghapus, membuat, dan menganotasi data, serta mengambil tindakan nyata di dalam sistem yang memiliki konsekuensi nyata.

Perubahan itu terjadi dengan cepat. Dalam waktu kurang dari dua tahun, agen AI berubah dari menjadi generator teks menjadi memungkinkan kita menjalankan setup multi-agensi yang lancar. Mereka membaca email, memicu alur kerja, mengquery database, dan dalam beberapa kasus mengelola agen lain di bawah mereka. Tingkat akses seperti itu dulunya memerlukan proses pengadaan yang panjang dan manusia di dalamnya. Sekarang itu hanya sebuah file konfigurasi dan beberapa panggilan API.

Lebih Banyak Akses Berarti Lebih Banyak Paparan

Serangan perangkat lunak tradisional memiliki profil yang cukup dapat diprediksi. Ada titik masuk yang diketahui, kerentanan yang diketahui, patch yang diketahui. Agen AI menghancurkan model itu karena mereka dinamis oleh desain. Mereka tidak mengikuti jalur kode statis. Mereka berpikir tentang apa yang harus dilakukan selanjutnya, yang berarti perilaku mereka lebih sulit diprediksi dan jauh lebih sulit diaudit setelahnya.

Ketidakpastian itu berguna untuk menyelesaikan pekerjaan. Itu juga merupakan keuntungan bagi siapa saja yang mencoba mengeksploitasi sistem. Ketika agen dapat memutuskan, di tengah tugas, untuk memanggil API eksternal atau menarik alat pihak ketiga, tidak ada perimeter yang jelas untuk dibela.

Tim keamanan terbiasa melindungi permukaan yang diketahui dan memantau biaya Kubernetes. Agen terus menemukan permukaan baru dan eksploitasi, dan tidak ada yang memetakan mereka secara real-time. Sebelum Anda menyadari, seseorang dapat mengambil alih kredential dan mengontrol seluruh “organisme” AI dengan satu gerakan.

Suntikan Prompt Adalah SQL Injection Baru

Jika ada satu vektor serangan yang peneliti keamanan terus kembali, itu adalah suntikan prompt. Ideanya sederhana: alih-alih mengeksploitasi kerentanan kode, penyerang memanipulasi instruksi yang diterima agen melalui inputnya. Instruksi berbahaya yang disematkan dalam halaman web, dokumen, atau bahkan email dapat mengalihkan apa yang dilakukan agen selanjutnya.

Apa yang membuat ini sangat tajam adalah bahwa agen sering melakukan tepat apa yang mereka diperintahkan. Mereka memproses konten dari web, dari pesan pengguna, dari alat pihak ketiga. Konten apa pun itu adalah permukaan suntikan potensial. Agen yang membaca dokumen yang dikompromikan dan kemudian membuat panggilan API berdasarkan isinya telah diambil alih, dan itu mungkin tidak akan mencatat apa pun yang membuat rantai penyebab menjadi jelas.

Pertahanan di sini nyata tapi tidak lengkap. Mengisolasi tindakan agen, membatasi alat yang dapat dipanggil agen dalam konteks tertentu, dan membangun titik periksa manusia ke dalam alur kerja yang berisiko tinggi semua mengurangi risiko. Mereka tidak menghilangkannya. Dan sebagian besar organisasi belum menerapkan dasar-dasar itu.

Masalah Kepercayaan Di Dalam Sistem Multi-Agen

Sistem multi-agen memperkenalkan lapisan kompleksitas yang mudah dipandang remeh. Ketika satu agen mengatur beberapa agen lain, ada hierarki kepercayaan yang bermain. Pengatur membagikan instruksi, dan agen bawahan mengikuti. Jika pengatur itu dikompromikan, setiap agen di bawahnya secara efektif dikompromikan juga, dan radius ledakan menjadi besar dengan sangat cepat.

Ada juga masalah over-permissioning. Agen sering diberi akses lebih dari yang mereka butuhkan karena lebih mudah memberikan izin luas sejak awal daripada memperbarui secara bertahap. Agen penelitian tidak memerlukan akses tulis ke database produksi.

Agen penjadwalan tidak memerlukan akses ke catatan keuangan. Ya, merasa nyaman memiliki semua yang terhubung, tapi itu terlalu berisiko untuk melihat pengembalian yang tidak berkurang. Tapi garis-garis menjadi buram dalam praktek, dan prinsip izin minimal yang berfungsi dengan baik dalam teori diam-diam ditinggalkan dalam kejaran untuk mengirim.

Apa yang Terlihat seperti Keamanan yang Masuk Akal Di Sini

Tidak ada solusi tunggal yang membuat penyebaran agen aman. Ini adalah masalah yang berlapis dan memerlukan respons yang berlapis. Organisasi yang melakukan ini dengan baik cenderung memulai dengan kontrol akses: berikan setiap agen ruang lingkup yang ditentukan dan sempit, dan bangun langkah tinjauan ke dalam setiap tindakan yang menyentuh sistem sensitif atau layanan eksternal.

Observabilitas sama pentingnya dengan pencegahan. Jika agen melakukan sesuatu yang tidak terduga, tim perlu jejak lengkap instruksi yang diterima, alat yang dipanggil, dan apa yang dikembalikan. Sebagian besar pengaturan logging tidak dibangun dengan kesadahan seperti itu dalam pikiran, dan memperbarui setelahnya sangat menyakitkan. Membangunnya dari awal layak dengan gesekan.

Pengujian adversarial juga kurang dimanfaatkan. Menguji agen, secara khusus mencoba menyuntikkan instruksi berbahaya dan melihat apa yang terjadi, mengungkap kerentanan yang tinjauan kode statis tidak akan pernah tangkap. Ini tidak nyaman untuk dipikirkan, tapi orang-orang yang akan mencoba mengeksploitasi sistem ini sudah melakukannya. Mendahuluinya adalah satu-satunya gerakan yang masuk akal.

Pemikiran Akhir

Agen AI akan menjadi bagian yang lebih besar dari cara organisasi beroperasi, dan pergeseran itu sudah berlangsung. Percakapan keamanan siber perlu mengejar, dan cepat. Risiko-risiko itu nyata, vektor serangan baru, dan jendela untuk mendahuluinya semakin menyempit.

Memahami lanskap ancaman untuk sistem AI otonom tidak lagi opsional. Ini adalah salah satu hal paling penting yang tim keamanan dan teknik dapat lakukan sekarang, dan jam untuk mendapatkannya telah dimulai.