Dari AI Generatif ke AI Agensi: Pergeseran dari Risiko Konten ke Paparan Eksekusi

AI perusahaan berkembang dengan cepat. Yang dimulai sebagai kopilot AI generatif yang menyusun email dan meringkas dokumen sekarang menjadi sesuatu yang jauh lebih otonom: sistem yang merencanakan, memutuskan, dan mengeksekusi tugas di seluruh alat dan lingkungan.

Ini adalah pergeseran dari AI generatif vs AI agensi. Ini melihat risiko bermetamorfosis.

GenAI memperkenalkan risiko konten, termasuk halusinasi, kebocoran data melalui prompt, dan output yang bias. Paparan AI agensi terjadi melalui sistem otonomnya, yang memiliki izin, memori, dan kemampuan untuk mengakses semua alat yang tersedia dengan kecepatan mesin.

Ini adalah kesempatan bagi profesional keamanan, tata kelola, atau AI untuk meninjau kembali posisi mereka pada risiko baru ini.

Apa itu risiko AI agensi?

Risiko AI agensi mengacu pada risiko keamanan, operasional, dan tata kelola yang ditimbulkan oleh sistem AI yang beroperasi secara otonom, tidak hanya menghasilkan teks tetapi juga melakukan alur kerja multi-langkah pada sistem perusahaan.

Tidak seperti model bahasa besar tradisional (LLM), sistem agensi dapat memecah tugas menjadi alur kerja dinamis, membuat permintaan API eksternal dan memanggil aplikasi internal, serta menyimpan dan mengingat memori. Mereka juga dapat beroperasi di bawah identitas yang didelegasikan dan berkomunikasi dengan agen lain.

Dengan kata lain, mereka kurang seperti chatbot dan lebih seperti karyawan digital junior. Ini mewakili peningkatan besar dalam permukaan serangan agen AI.

AI generatif vs AI agensi: Apa yang berubah?

Risiko AI generatif berfokus pada output. Tim keamanan mengajukan pertanyaan seperti apakah model tersebut membocorkan data, jika mungkin mengalami halusinasi, atau bahkan jika konten berbahaya atau tidak sesuai dengan standar yang dihasilkan.

Manusia secara kuat berada dalam loop. AI mengusulkan, orang menyetujui.

Risiko AI agensi berorientasi pada tindakan. Sekarang, tim keamanan harus bertanya pada diri mereka sendiri tentang sistem apa yang mungkin diinteraksi oleh agen, izin apa yang akan diwarisi, seberapa jauh rencana mungkin mencapai, dan apa yang akan terjadi jika agen tersebut diperdaya saat berjalan.

Perbedaan mungkin sangat kecil, tetapi sangat signifikan: AI generatif menciptakan konten. AI agensi menciptakan konsekuensi. Ini adalah pergeseran dari risiko konten ke paparan eksekusi.

Bagaimana AI agensi memperluas permukaan serangan perusahaan?

AI agensi tidak hanya menambahkan aplikasi baru. Ini menciptakan lapisan operasional baru. Berikut adalah bagaimana permukaan serangan tumbuh:

1. Agen AI yang memiliki hak istimewa

Terdapat banyak agen yang bertindak atas nama pengguna atau akun layanan. Ketika cakupan izin tidak ketat, mereka menjadi target yang berharga.

Ini dapat menyebabkan masalah deputy yang bingung, eskalasi hak istimewa, dan gerakan lateral. Ini adalah masalah ketika cloud, SaaS, dan sistem internal menyediakan akses dinamis atau warisan kepada agen.

2. Jalur eksekusi dinamis

Aliran kontrol dalam aplikasi tradisional adalah deterministik. Aliran kontrol dalam sistem AI agensi tidak deterministik.

Mereka bernalar tentang tujuan, tindakan, refleksi, penyempurnaan, dan memanggil alat dengan cara yang tidak deterministik. Ini menyebabkan kasus kegagalan yang sulit dianalisis, grafik ketergantungan yang kompleks, dan kegagalan yang meluas dalam sistem multi-agen. Kontrol keamanan yang dikembangkan untuk aliran kontrol deterministik tidak berlaku di sini.

3. Memori yang persisten

Permukaan serangan yang disebabkan oleh memori agen adalah persisten.

Ketika memori jangka pendek atau panjang rusak, keadaan yang berbahaya dapat mempengaruhi keputusan di seluruh beberapa sesi. Ini berbeda dari satu injeksi prompt, karena korupsi memori menyediakan persistensi.

4. Risiko pengambilan keputusan kecepatan mesin

Agen otonom membuat keputusan dengan kecepatan yang tidak mungkin diikuti. Ini membawa tantangan pengambilan keputusan kecepatan mesin, seperti propagasi kesalahan yang cepat, siklus penyalahgunaan yang jauh lebih cepat dari reaksi manusia, dan eskalasi sebelum deteksi memungkinkan.

Dalam sistem multi-agen, cakupan pengaruh sangat cepat. Agen yang berbahaya dapat memicu kegagalan kasus dalam rantai koordinasi.

Mengapa kontrol tradisional gagal dengan AI agensi

Sebagian besar model keamanan perusahaan tradisional bergantung pada aplikasi statis, grafik panggilan yang dapat diprediksi, persetujuan manusia, dan pemisahan yang jelas antara pemrosesan data dan eksekusi. AI agensi membuat asumsi ini tidak valid.

Ambil, misalnya, kontrol tradisional seperti validasi input. Ini melindungi batas sistem. Namun, risiko agensi biasanya muncul di tengah-tengah loop, dalam fase perencanaan, refleksi, atau alat.

Pemeriksaan kerentanan tradisional juga fokus pada infrastruktur dan perangkat lunak. Namun, risiko eksekusi AI berada dalam lapisan alasan dan tindakan agen.

Pertanyaannya adalah: Bagaimana Anda melindungi sesuatu yang dapat memilih tindakan berikutnya? Anda tidak bisa hanya membungkus kontrol di sekitar satu panggilan model. Anda harus mengamankan alur kerja.

Mengamankan AI agensi: Apa yang benar-benar berhasil?

Ketika datang ke mengamankan AI agensi, harus ada pergeseran dari pemikiran perbatasan ke pemikiran siklus hidup. Agen tidak boleh diizinkan untuk menafsirkan kembali tujuan secara tidak terbatas, dan ada beberapa cara untuk mencapai ini.

Mengatur urutan tujuan yang diizinkan, mengatur kedalaman pohon perluasan rencana, memantau penyimpangan alasan, dan melarang tujuan yang disusun sendiri di luar cakupan adalah kontrol yang penting. Variasi yang tidak terduga dalam alasan sering kali merupakan pendahulu manipulasi.

Mengeras eksekusi alat. Alat adalah tempat rencana bertemu dengan kenyataan, dan keamanan perlu menutupi pemeriksaan izin sebelum eksekusi alat, lingkungan eksekusi yang di-sandbox, validasi parameter yang ketat, dan transfer kredensial just-in-time. Setiap eksekusi alat perlu dicatat sebagai acara keamanan kelas satu.

Isolasi memori dan cakupan hak istimewa. Memori perlu diperlakukan sebagai infrastruktur yang sensitif. Ini berarti memvalidasi operasi tulis, partisi domain memori, membatasi cakupan untuk operasi baca per tugas, menggunakan kredensial yang berumur pendek, dan mencegah hak istimewa yang diwarisi. Akumulasi izin yang tidak divalidasi adalah risiko AI agensi yang signifikan.

Mengamankan koordinasi multi-agen. Dalam sistem agen terdistribusi, komunikasi itu sendiri menjadi vektor serangan. Ini harus menyiratkan autentikasi agen, validasi skema pesan, saluran komunikasi yang terbatas, dan memantau pola pengaruh yang tidak biasa. Ketika koordinasi menyimpang dari aliran yang diharapkan, isolasi harus terjadi secara otomatis.

Dari manajemen paparan ke penilaian paparan untuk sistem AI

Ini adalah tempat di mana filosofi keamanan yang lebih luas menjadi kunci. Manajemen kerentanan tradisional mengidentifikasi kelemahan yang diketahui. Namun, sistem AI otonom memperkenalkan paparan yang muncul: risiko yang muncul dari konfigurasi, desain hak istimewa, jalur integrasi, dan perilaku dinamis.

Ini sejalan dengan apa yang industri sebut sebagai manajemen paparan dan, lebih baru-baru ini, penilaian paparan.

Manajemen paparan semua tentang memiliki visibilitas yang terus-menerus ke dalam bagaimana sistem (termasuk aset cloud, identitas, aplikasi, dan sekarang agen AI) membuat jalur yang dapat dieksploitasi oleh aktor jahat.

Untuk keamanan sistem AI otonom, itu berarti bertanya: Apa yang dapat dijangkau oleh agen ini? Apa izin yang dikumpulkan? Apa sistem yang diorkestrasi? Dan di mana eksekusi bertemu dengan data sensitif?

Tim yang sudah menggunakan strategi berbasis paparan untuk mengurangi risiko siber berada dalam posisi yang kuat untuk memperluas prinsip-prinsip tersebut ke dalam lingkungan AI mereka. Misalnya, platform yang mempersatukan visibilitas identitas, cloud, dan kerentanan menyediakan cara untuk memahami bagaimana agen AI yang memiliki hak istimewa bertemu dengan jalur serangan yang ada.

Kunci bukanlah perangkat vendor per se. Ini adalah pola pikir:

Anda tidak mengamankan AI agensi dengan melindungi model. Anda mengamankannya dengan terus-menerus mengukur dan mengurangi paparannya.

Mengelola risiko lapisan eksekusi dalam AI agensi

Ciri khas keamanan AI agensi adalah: Permukaan serangan bukanlah respons, tetapi alur kerja.

Risiko lapisan eksekusi banyak, termasuk penggunaan alat yang tidak terautentikasi, spoofing identitas, kenaikan hak istimewa, keracunan memori, manipulasi antar agen, dan sistem dalam loop manusia yang berada di bawah tekanan.

Mengurangi risiko ini berarti memiliki visibilitas ke dalam hubungan identitas, warisan hak istimewa, ketergantungan API, aktivitas runtime, dan telemetri eksekusi.

Ini tidak lagi hanya keamanan AI generatif; ini adalah keamanan operasional AI juga.

Risiko AI agensi adalah arsitektural, bukan hipotetis

AI agensi adalah langkah berikutnya dalam evolusi adopsi AI perusahaan. Ini menjanjikan efisiensi, otomatisasi, dan skalabilitas. Namun, ini juga memperkenalkan risiko dari apa yang AI katakan ke apa yang AI lakukan.

Transisi dari sistem generatif ke sistem agensi memengaruhi hal-hal berikut:

• Risiko konten ke risiko eksekusi
• Prompt statis ke alur eksekusi dinamis
• Tinjauan manusia ke eksekusi otonom
• Keamanan aplikasi ke manajemen paparan

Pemimpin keamanan yang memahami transisi ini pertama dapat mengarsitektur pengaman yang berkembang dengan otonomi. Yang lain akan berakhir dengan insider digital tanpa kontrol insider.

Masa depan AI di perusahaan adalah agensi. Masa depan keamanan AI harus didorong oleh paparan, sadar alur kerja, dan dirancang untuk operasi kecepatan mesin.

Karena sekali agen AI memiliki kemampuan untuk mengeksekusi, satu-satunya pendekatan yang layak adalah terus-menerus memahami (dan mengurangi) apa yang mereka hadapi.