Keamanan siber
Cato Networks memperkenalkan AgentSense untuk menghentikan tindakan agen AI yang berbahaya sebelum dijalankan

Poin utamaAgentSense menargetkan injeksi prompt tidak langsung dengan melacak bagaimana konten…
Lihat selengkapnya
- AgentSense menargetkan injeksi prompt tidak langsung dengan melacak bagaimana konten yang tidak tepercaya mengarahkan tindakan agen.
- Kredensial yang valid tidak menjamin perilaku yang aman karena agen dapat dimanipulasi untuk melakukan tindakan berbahaya.
- Tantangan senilai $10.000 dari Cato mengundang para peneliti untuk menguji apakah AgentSense menahan pengalihan alur kerja yang bersifat adversarial.
Cato Networks memperkenalkan AgentSense, fitur keamanan saat runtime yang dirancang untuk menghentikan tindakan agen AI berbahaya sebelum dijalankan. Dikembangkan oleh Cato AI Labs, teknologi ini melacak pengaruh konten yang tidak tepercaya terhadap perilaku agen, sehingga menangani risiko yang tidak sepenuhnya dapat diatasi oleh izin akses biasa: agen dapat memiliki kredensial yang sah, tetapi tetap dimanipulasi untuk melakukan hal yang keliru.
Cato menyatakan bahwa AgentSense terintegrasi ke dalam platformnya dan akan disertakan tanpa biaya tambahan dalam lisensi Cato AI Usage. Pengumuman ini juga mencakup tantangan pengujian adversarial yang menawarkan $10,000 kepada masing-masing dari tiga peserta pertama yang memenuhi syarat dan berhasil mengalihkan alur kerja yang dilindungi hingga melakukan tindakan berbahaya.
Izin yang Sah Tetap Dapat Menghasilkan Tindakan yang Tidak Aman
Agen perusahaan mungkin perlu membaca email, mencari dokumen, membuka situs web, dan menggunakan alat untuk menyelesaikan tugas. Setiap sumber memperluas informasi yang dapat digunakan agen, tetapi juga membuka peluang bagi teks dari luar untuk memengaruhi langkah berikutnya.
Injeksi prompt tidak langsung mengeksploitasi celah tersebut. Alih-alih memberikan instruksi secara langsung sebagai pengguna yang berwenang, penyerang menyembunyikan instruksi dalam materi yang ditemui agen saat bekerja. Dokumen, tiket, halaman web, atau respons alat dapat berisi teks yang berupaya mengalihkan alur kerja, membocorkan informasi, atau memicu tindakan yang tidak terkait.
Memeriksa apakah agen dapat mengakses suatu aplikasi tetap penting. Namun, hal itu menjawab pertanyaan yang berbeda dari apakah tindakan tertentu mendukung tugas yang diizinkan pengguna. Misalnya, agen mungkin diizinkan membaca catatan bisnis, tetapi tidak berwenang mengirimkannya ke tujuan yang disarankan dalam dokumen yang ditemukan.
AgentSense dirancang untuk mengevaluasi perilaku tersebut saat tindakan berlangsung, sehingga dapat melakukan intervensi sebelum tindakan sensitif dilakukan.
Melacak Pengaruh Konten yang Tidak Tepercaya dalam Sesi AI
Fitur Untrusted Influence Detection yang diumumkan membedakan instruksi tepercaya dari konten yang tidak tepercaya dalam sesi AI serta melacak pengaruh konten tersebut terhadap perilaku dan keluaran. Cato menyatakan bahwa fitur ini memblokir tindakan ketika mendeteksi materi yang tidak tepercaya mengarahkan agen ke langkah yang tidak aman.
Pembedaan ini penting karena serangan tidak harus tampak seperti prompt berbahaya yang sudah dikenal. Cato menjelaskan bahwa AgentSense menilai pengaruh, alih-alih mengandalkan pengklasifikasi statis atau katalog pola serangan yang pernah diamati. Pendekatan ini dirancang untuk menangani bentuk-bentuk baru injeksi prompt tidak langsung, serta bentuk yang sudah dikenali.
Dalam pengumuman tersebut, teknologi ini disebut telah dipatenkan, tetapi tidak dicantumkan nomor paten, detail penerapan, ataupun tolok ukur efektivitas independen. Karena itu, klaim perlindungan terhadap serangan yang belum pernah ditemukan sebaiknya dipahami sebagai kemampuan keamanan yang dirancang untuk disediakan produk ini, bukan jaminan bahwa setiap upaya injeksi prompt akan dihentikan.
Pertanyaan operasionalnya adalah apakah lapisan keamanan memiliki konteks sesi dan tindakan yang cukup untuk membedakan penggunaan dokumen sebagai bukti dari perlakuan terhadap dokumen itu sebagai sumber kewenangan. AgentSense secara khusus ditujukan untuk mengatasi pembedaan tersebut.
Drift Detection Merupakan Fitur Terpisah yang Masih Direncanakan
Cato juga menjelaskan AgentSense Drift Detection sebagai fitur yang akan hadir pada masa mendatang. Fitur yang direncanakan ini akan mengevaluasi apakah tindakan agen tetap mendukung tugas awal seiring berjalannya alur kerja.
Fitur ini melengkapi deteksi pengaruh, tetapi menangani masalah yang tidak sepenuhnya sama. Untrusted Influence Detection menilai apakah konten dari luar mengarahkan suatu tindakan. Drift Detection dirancang untuk menilai apakah tindakan tersebut masih sejalan dengan tujuan, meskipun langkah itu sendiri secara teknis diizinkan.
Seiring waktu, suatu alur kerja dapat menumpuk langkah-langkah yang tidak lagi mendukung tujuannya. Untuk mendeteksi penyimpangan tersebut, sistem perlu mempertahankan gambaran tentang tujuan yang diizinkan sepanjang sesi, alih-alih menilai setiap pemanggilan alat secara terpisah. Pengumuman tersebut tidak menyebutkan tanggal ketersediaan khusus untuk Drift Detection.
Cara AgentSense Melengkapi Platform Keamanan AI Cato yang Sudah Ada
Solusi keamanan AI agentik Cato telah mencakup kontrol untuk menemukan agen dan server Model Context Protocol, membuat profil pemanggilan alat, serta menerapkan kebijakan pada interaksi agen. Platform Cato yang lebih luas menggabungkan konteks jaringan, akses, dan keamanan.
Perusahaan ini juga membedakan keamanan untuk penggunaan AI oleh karyawan dari perlindungan untuk aplikasi. Solusi keamanan AI untuk aplikasi yang ditawarkannya mencakup visibilitas saat runtime, pemeriksaan prompt dan respons, serta perlindungan yang dapat dikonfigurasi untuk aplikasi AI yang telah diterapkan. Hal ini memberikan konteks bagi fokus AgentSense pada integritas tindakan yang dilakukan selama alur kerja.
Dalam praktiknya, pengendalian penggunaan AI melibatkan beberapa keputusan yang saling berkaitan: layanan mana yang diizinkan organisasi, data apa yang boleh dikirim ke layanan tersebut, dan apa yang boleh dilakukan agen terhadap informasi yang ditemuinya. AgentSense menambahkan klaim terkait perilaku ke dalam rangkaian kontrol tersebut—yakni mengidentifikasi kapan konten yang tidak tepercaya mendorong tindakan itu sendiri.
Penelitian tentang Injeksi Prompt Menunjukkan Mengapa Batas Ini Penting
Penelitian EchoLeak oleh Cato menguraikan rangkaian serangan yang memungkinkan konten dari luar membuat Microsoft 365 Copilot mengungkapkan informasi dari konteksnya. Bagi keamanan agen, hal pentingnya adalah peralihan dari membaca materi eksternal menjadi bertindak berdasarkan instruksi yang tertanam di dalamnya.
Penelitian CurXecute mengkaji dampak yang berbeda: injeksi prompt melalui konten eksternal dapat membuat agen pemrograman mengubah konfigurasi MCP dan memicu eksekusi perintah. Ulasan Cato menyebutkan bahwa Cursor telah memperbaiki kerentanan tersebut pada versi 1.3. Contoh ini menggambarkan suatu modus kegagalan; contoh ini tidak boleh dianggap sebagai klaim bahwa masalah yang telah ditambal itu masih belum terselesaikan.
Kedua kasus menunjukkan pentingnya asal-usul konten ketika asisten dapat mengakses data sensitif atau alat eksekusi. Interaksi yang bermula sebagai pencarian informasi dapat berubah menjadi insiden keamanan ketika teks yang diambil mengubah alur kendali dalam proses kerja.
Tantangan Terbuka untuk Menguji Perlindungan
Tantangan AgentSense mengundang komunitas keamanan untuk menyisipkan instruksi ke dalam alur kerja yang dilindungi dan mencoba mengarahkan agen agar menyimpang dari maksud pengguna. Cato menyatakan bahwa temuan dan masukan peserta akan menjadi bahan evaluasi serta penyempurnaan lebih lanjut.
Menurut pengumuman tersebut, tiga peserta pertama yang memenuhi syarat dan berhasil masing-masing akan menerima $10,000. Rilis yang disediakan tidak mencantumkan URL final tantangan atau aturan terperincinya, sehingga kelayakan peserta dan batas pengujian akan bergantung pada ketentuan program yang dipublikasikan.
Bagi perusahaan yang memperluas otonomi agen, AgentSense menjawab kebutuhan konkret: menjaga keterkaitan antara tugas yang diizinkan pengguna dan tindakan yang pada akhirnya dijalankan oleh sistem AI. Nilai teknologi ini akan bergantung pada seberapa konsisten teknologi tersebut dapat menegakkan batas itu sekaligus memungkinkan pekerjaan yang sah terus berjalan.












