Keamanan siber

Agen AI Makin Cerdas dan Permukaan Serangannya Makin Luas

Gary Espinosa
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaOtonomi tak terduga agen AI menciptakan permukaan serangan yang luas dan dinamis yang…
Lihat selengkapnya
  • Otonomi tak terduga agen AI menciptakan permukaan serangan yang luas dan dinamis yang menentang model keamanan tradisional.
  • Serangan injeksi perintah memanipulasi instruksi agen melalui masukan sehari-hari seperti dokumen dan halaman web.
  • Sistem multi-agen memperbesar risiko secara berbahaya melalui hierarki kepercayaan dan akses yang terlalu diizinkan ke sistem kritis.

Saat agen AI mulai menjadwalkan pertemuan, menjalankan kode, dan browsing web atas nama Anda, percakapan keamanan siber bergeser. Tidak perlahan, tapi malah dalam semalam.

Apa yang dulunya merupakan sistem perangkat lunak dengan lingkup terbatas dan perilaku yang dapat diprediksi, menjadi sesuatu yang berpikir, merencanakan, dan mengambil tindakan di seluruh alat dan API yang setahun sebelumnya nyaris tidak diketahui keberadaannya oleh sistem tersebut.

Itu benar-benar menggembirakan, dan juga benar-benar menakutkan, karena permukaan serangan yang datang dengan otonomi itu sangat besar, dan sebagian besar organisasi baru saja mulai memahami apa yang dimaksud dengan membiarkan agen masuk ke infrastruktur mereka.

Dari Chatbot ke Operator

Janji asli AI sangat sederhana: tanyakan pertanyaan, dapatkan jawaban. Itu masih benar untuk sebagian besar interaksi konsumen, tapi itu tidak terjadi dalam penerapan di perusahaan lagi. Agen hari ini diberi kredensial, kunci API, dan kemampuan untuk menghapus, membuat, dan menganotasi data, serta mengambil tindakan nyata di dalam sistem yang memiliki konsekuensi nyata.

Perubahan itu terjadi dengan cepat. Dalam waktu kurang dari dua tahun, agen AI berubah dari menjadi generator teks menjadi memungkinkan kita menjalankan sistem multiagen yang berjalan lancar. Mereka membaca email, memicu alur kerja, mengirim kueri ke database, dan dalam beberapa kasus mengelola agen lain di bawah mereka. Tingkat akses seperti itu dulunya memerlukan proses pengadaan yang panjang dan keterlibatan manusia dalam proses. Sekarang itu hanya sebuah file konfigurasi dan beberapa panggilan API.

Lebih Banyak Akses Berarti Lebih Banyak Paparan

Serangan perangkat lunak tradisional memiliki profil yang sampai taraf tertentu dapat diprediksi. Ada titik masuk yang diketahui, kerentanan yang diketahui, patch yang diketahui. Agen AI menghancurkan model itu karena mereka dirancang untuk bersifat dinamis. Mereka tidak mengikuti jalur kode statis. Mereka berpikir tentang apa yang harus dilakukan selanjutnya, yang berarti perilaku mereka lebih sulit diprediksi dan jauh lebih sulit diaudit setelahnya.

Ketidakpastian itu berguna untuk menyelesaikan pekerjaan. Itu juga merupakan keuntungan bagi siapa saja yang mencoba mengeksploitasi sistem. Ketika agen dapat memutuskan, di tengah tugas, untuk memanggil API eksternal atau menarik alat pihak ketiga, tidak ada perimeter yang jelas untuk dibela.

Tim keamanan terbiasa melindungi permukaan yang diketahui dan memantau biaya Kubernetes. Agen terus menemukan permukaan baru dan eksploitasi, dan tidak ada yang memetakan mereka secara real-time. Sebelum Anda menyadari, seseorang dapat mengambil alih kredensial dan mengontrol seluruh “organisme” AI dengan satu gerakan.

Injeksi Prompt Adalah SQL Injection Baru

Jika ada satu vektor serangan yang terus dibahas peneliti keamanan, itulah injeksi prompt. Ideanya sederhana: alih-alih mengeksploitasi kerentanan kode, penyerang memanipulasi instruksi yang diterima agen melalui inputnya. Instruksi berbahaya yang disematkan dalam halaman web, dokumen, atau bahkan email dapat mengalihkan apa yang dilakukan agen selanjutnya.

Yang membuat ancaman ini sangat serius adalah bahwa agen sering melakukan persis seperti yang diperintahkan. Mereka memproses konten dari web, dari pesan pengguna, dari alat pihak ketiga. Konten apa pun itu adalah permukaan yang berpotensi menjadi jalur injeksi. Agen yang membaca dokumen yang dikompromikan dan kemudian membuat panggilan API berdasarkan isinya telah diambil alih, dan agen itu kemungkinan besar tidak akan mencatat apa pun yang membuat rantai penyebab menjadi jelas.

Pertahanan di sini nyata tapi tidak lengkap. Mengisolasi tindakan agen dalam lingkungan sandbox, membatasi alat yang dapat dipanggil agen dalam konteks tertentu, dan membangun titik periksa manusia ke dalam alur kerja yang berkonsekuensi besar semuanya mengurangi risiko. Mereka tidak menghilangkannya. Dan sebagian besar organisasi belum menerapkan dasar-dasar itu.

Masalah Kepercayaan Di Dalam Sistem Multi-Agen

Sistem multi-agen memperkenalkan lapisan kompleksitas yang mudah dipandang remeh. Ketika satu agen mengatur beberapa agen lain, ada hierarki kepercayaan. Pengatur membagikan instruksi, dan agen bawahan mengikuti. Jika pengatur itu dikompromikan, setiap agen di bawahnya pada praktiknya juga telah disusupi, dan cakupan dampaknya meluas dengan sangat cepat.

Ada juga masalah pemberian izin berlebihan. Agen sering diberi akses lebih dari yang mereka butuhkan karena lebih mudah memberikan izin luas sejak awal daripada menyempurnakannya secara bertahap. Agen penelitian tidak memerlukan akses tulis ke database produksi.

Agen penjadwalan tidak memerlukan akses ke catatan keuangan. Ya, semuanya terasa lebih menenangkan ketika saling terhubung, tapi itu terlalu berisiko untuk mempertahankan manfaat tanpa penurunan. Tapi garis-garis menjadi buram dalam praktik, dan prinsip izin minimal yang berfungsi dengan baik dalam teori diam-diam ditinggalkan karena terburu-buru merilis produk.

Seperti Apa Keamanan yang Wajar dalam Konteks Ini

Tidak ada solusi tunggal yang membuat penerapan agen aman. Ini adalah masalah yang berlapis dan memerlukan respons yang berlapis. Organisasi yang melakukan ini dengan baik cenderung memulai dengan kontrol akses: berikan setiap agen ruang lingkup yang ditentukan dan sempit, dan bangun langkah tinjauan ke dalam setiap tindakan yang menyentuh sistem sensitif atau layanan eksternal.

Observabilitas sama pentingnya dengan pencegahan. Jika agen melakukan sesuatu yang tidak terduga, tim perlu jejak lengkap instruksi yang diterima, alat yang dipanggil, dan apa yang dikembalikan. Sebagian besar konfigurasi logging tidak dirancang untuk tingkat perincian seperti itu, dan menambahkannya belakangan sangat menyulitkan. Membangunnya sejak awal sepadan dengan hambatan yang timbul.

Pengujian adversarial juga kurang dimanfaatkan. Menguji agen dengan pendekatan red team, khususnya dengan mencoba menyuntikkan instruksi berbahaya dan mengamati hasilnya, mengungkap kerentanan yang tinjauan kode statis tidak akan pernah tangkap. Ini tidak nyaman untuk dipikirkan, tapi orang-orang yang kelak mencoba mengeksploitasi sistem ini sudah melakukan pengujian tersebut. Mendahuluinya adalah satu-satunya langkah yang masuk akal.

Pemikiran Akhir

Agen AI akan menjadi bagian yang lebih besar dari cara organisasi beroperasi, dan pergeseran itu sudah berjalan jauh. Pembahasan keamanan siber harus segera mengejar perkembangan ini. Risiko-risiko itu nyata, vektor serangan baru, dan jendela untuk mendahuluinya semakin menyempit.

Memahami lanskap ancaman untuk sistem AI otonom tidak lagi opsional. Ini adalah salah satu hal paling penting yang tim keamanan dan teknik dapat lakukan sekarang, dan waktu untuk menanganinya dengan benar sudah mulai berjalan.

Gary adalah penulis ahli dengan lebih dari 10 tahun pengalaman dalam pengembangan perangkat lunak, pengembangan web, dan strategi konten. Ia mengkhususkan diri dalam membuat konten berkualitas tinggi dan menarik yang meningkatkan konversi serta membangun loyalitas merek. Ia memiliki hasrat untuk menyusun cerita yang memikat dan memberi informasi kepada audiens, dan ia selalu mencari cara baru untuk melibatkan pengguna.