Ancaman Tersembunyi Agen AI Membutuhkan Model Keamanan Baru

Sistem AI agenik telah menjadi mainstream selama setahun terakhir. Mereka sekarang digunakan untuk beberapa fungsi, termasuk autentikasi pengguna, memindahkan modal, memicu alur kerja kepatuhan, dan mengkoordinasikan di seluruh lingkungan perusahaan dengan pengawasan manusia minimal.

Namun, masalah yang lebih sunyi muncul dengan meningkatnya otonomi, tidak pada tingkat prompt atau kebijakan, tetapi pada tingkat kepercayaan infrastruktur. Sistem agenik diberi wewenang insider sementara masih berjalan pada lingkungan komputasi yang tidak dirancang untuk melindungi pengambil keputusan otonom dari infrastruktur di bawahnya.

Keamanan tradisional menganggap perangkat lunak sebagai pasif, tetapi sistem agenik tidak. Mereka beralasan, mengingat, dan bertindak terus-menerus, otonom, dan dengan wewenang yang didelegasikan.

Jangan lupa bahwa agen AI kemungkinan memiliki akses ke data pribadi, berdasarkan kasus penggunaannya, seperti email dan catatan panggilan, di antara hal-hal lain.

Selain itu, sementara perlindungan berbasis perangkat keras, seperti mesin virtual konfidensial dan enklaf aman, ada, mereka belum menjadi fondasi default untuk sebagian besar penerapan AI agenik. Akibatnya, banyak agen masih mengeksekusi dalam lingkungan di mana data sensitif terbuka terhadap infrastruktur yang mendasarinya selama runtime.

Agen Adalah Insider, Bukan Alat

Tim keamanan sudah tahu betapa sulitnya untuk mengandung ancaman insider, masalah yang disoroti dalam laporan pelanggaran data Verizon 2025, yang menunjukkan bahwa intrusi sistem bertanggung jawab atas lebih dari 53% pelanggaran yang dikonfirmasi tahun lalu. Dalam 22% dari kasus-kasus ini, penyerang menggunakan kredensial yang dicuri untuk mendapatkan akses, yang menunjukkan seberapa sering mereka berhasil dengan menggunakan identitas yang sah daripada mengeksploitasi kerentanan teknis.

Sekarang, pertimbangkan agen, yang terdiri dari logika prompt, alat dan plugin, kredensial, serta kebijakan. Tidak hanya dapat menjalankan kode dan browsing web, tetapi juga dapat mengquery CRM, membaca email, dan mendorong tiket, di antara banyak hal lainnya. Apa yang kombinasi fungsi ini bawa adalah permukaan serangan tradisional ke dalam antarmuka modern.

Bahaya yang ditimbulkan oleh ancaman insider seperti itu tidak spekulatif. Proyek Keamanan Aplikasi Web Terbuka (OWASP) sekarang mengidentifikasi “Prompt Injection” sebagai kerentanan kritis untuk aplikasi LLM, mencatat bahayanya yang khusus untuk sistem agenik yang merantai tindakan. Tim Intelijen Ancaman Microsoft juga telah menerbitkan advisories yang memperingatkan bahwa sistem AI dengan akses alat dapat disubvert untuk melakukan pencurian data jika pengaman tidak ditegakkan secara arsitektural.

Laporan-laporan ini memberikan pengingat yang tepat waktu bahwa agen yang memiliki akses sah ke sistem dan data dapat diputar melawan pemiliknya. Namun, lanskap risiko untuk sistem agenik tidaklah tunggal. Ancaman lapisan aplikasi seperti injeksi prompt dan penyalahgunaan alat berasal dari ketidakmampuan model untuk membedakan instruksi yang dipercaya dari input pengguna yang tidak dipercaya, keterbatasan desain yang tidak dapat diperbaiki oleh penguatan memori.

Masalah yang berbeda dan sama pentingnya ada di tingkat infrastruktur: beberapa agen menjalankan dalam memori plaintext, yang berarti informasi sensitif—seperti riwayat obrolan, respons API, dan dokumen—dapat dilihat saat diproses dan mungkin masih dapat diakses kemudian. OWASP mengidentifikasi risiko ini sebagai Pengungkapan Informasi Sensitif (LLM02) dan Kebocoran Prompt Sistem (LLM07) dan menyarankan menggunakan isolasi konteks, segmentasi namespace, dan sandboxing memori sebagai langkah-langkah keamanan yang penting.

Oleh karena itu, pengguna tidak boleh memperlakukan agen-agen ini sebagai aplikasi biasa, mengingat mereka adalah eksekutor dinamis yang beralasan dan memerlukan model keamanan yang mempertimbangkan sifat unik mereka sebagai entitas non-manusia dengan keagenan. Pendekatan ini perlu mencakup kontrol perangkat lunak untuk membatasi bagaimana model bertindak dan perlindungan perangkat keras untuk menjaga keamanan data saat digunakan.

Arsitektur Kepercayaan Memiliki Kekurangan Kritis

Praktik keamanan saat ini berfokus pada melindungi data saat istirahat dan dalam transaksi. Batas terakhir, data dalam penggunaan, masih terbuka lebar. Ketika agen AI beralasan atas dataset rahasia untuk menyetujui pinjaman, menganalisis catatan pasien, atau mengeksekusi perdagangan, data tersebut biasanya didekripsi dan diproses dalam teks biasa dalam memori server.

Dalam model cloud standar, siapa pun yang memiliki kontrol yang cukup atas infrastruktur, termasuk administrator hypervisor atau penyerang co-tenant, dapat secara potensial memandang apa yang terjadi saat beban kerja sedang berjalan. Untuk agen AI, paparan ini sangat berbahaya, karena mereka memerlukan akses ke informasi sensitif untuk melakukan pekerjaan mereka, yang dapat, secara potensial, menjadi permukaan serangan.

Seperti yang ditunjukkan oleh Lumia Security, penyerang dengan akses ke mesin lokal dapat memperoleh JWT dan kunci sesi langsung dari memori proses aplikasi desktop ChatGPT, Claude, dan Copilot. Kredensial yang dicuri dapat memungkinkan mereka untuk berpura-pura menjadi pengguna lain, mencuri riwayat percakapan, dan menyuntikkan prompt ke dalam sesi yang sedang berlangsung yang dapat mengubah perilaku agen atau menanamkan ingatan palsu.

Contoh dari ini bisa dilihat dalam insiden dump memori AWS CodeBuild pada Juli 2025. Penyerang secara diam-diam menambahkan kode berbahaya ke proyek, dan ketika sistem menjalankannya, kode tersebut memandang ke dalam memori komputer dan mencuri token login tersembunyi yang disimpan di sana. Dengan token tersebut, penyerang dapat mengubah kode proyek dan secara potensial mengakses sistem lain.

Bagi lembaga keuangan, manipulasi sunyi ini adalah eksistensial. Bank, perusahaan asuransi, dan firma investasi sudah menyerap biaya pelanggaran data rata-rata lebih dari $10 juta, dan mereka memahami bahwa integritas sama pentingnya dengan kerahasiaan. Menurut laporan Informatica terbaru, “paradoks kepercayaan” dijelaskan sebagai berikut: organisasi menerapkan agen otonom lebih cepat daripada mereka dapat memverifikasi outputnya. Hasilnya adalah otomatisasi yang dapat menghardcode kesalahan atau bias langsung ke dalam proses inti, beroperasi dengan kecepatan mesin.

Perhitungan Konfidensial dan Kasus untuk Isolasi

Perbaikan inkremental tidak akan menyelesaikan masalah yang ada, meskipun kontrol akses yang lebih ketat dan pemantauan yang lebih baik mungkin membantu. Namun, tidak ada yang dapat mengubah masalah yang mendasarinya. Masalahnya adalah arsitektural, dan selama perhitungan terjadi dalam memori yang terbuka, agen akan rentan pada saat mereka paling penting, yaitu saat beralasan.

Perhitungan konfidensial, yang didefinisikan oleh Konsorsium Perhitungan Konfidensial (CCC) sebagai perlindungan data dalam penggunaan melalui Lingkungan Eksekusi Tepercaya (TEEs) berbasis perangkat keras, secara langsung mengatasi kekurangan inti.

Untuk agen AI, isolasi perangkat keras ini adalah transformasional, karena memungkinkan identitas kredensial agen, bobot model, prompt propietary, dan data pengguna sensitif yang diproses untuk tetap terenkripsi tidak hanya di disk atau melalui jaringan, tetapi secara aktif dalam memori selama eksekusi. Pemisahan ini secara definitif memutus model tradisional di mana kontrol atas infrastruktur menjamin kontrol atas beban kerja.

Pengujian jarak jauh menyediakan bukti kriptografis yang dapat diverifikasi bahwa permintaan inferensi tertentu dieksekusi di dalam lingkungan eksekusi tepercaya yang didukung perangkat keras, apakah itu CPU atau GPU. Bukti ini dihasilkan dari pengukuran perangkat keras dan disampaikan bersama dengan respons, memungkinkan verifikasi independen tentang di mana dan bagaimana beban kerja dijalankan.

Catatan pengujian tidak mengungkapkan kode yang dieksekusi. Sebaliknya, setiap beban kerja dikaitkan dengan ID beban kerja unik atau ID transaksi, dan catatan pengujian TEE dikaitkan dengan pengidentifikasi tersebut. Pengujian mengkonfirmasi bahwa komputasi berjalan di dalam lingkungan tepercaya tanpa mengungkapkan isinya.

Pengaturan ini menciptakan dasar baru untuk kepatuhan dan auditabilitas, memungkinkan penghubungan tindakan agen dengan versi kode tertentu yang telah diuji dan himpunan data input yang diketahui.

Menuju Otonomi yang Bertanggung Jawab

Implikasi dari sistem yang dijelaskan di atas meluas di luar keamanan dasar. Pertimbangkan hukum yang mengatur keuangan, kesehatan, dan informasi pribadi. Banyak yurisdiksi menerapkan aturan kedaulatan data yang membatasi di mana informasi dapat diproses. Di Tiongkok, Undang-Undang Perlindungan Informasi Pribadi dan Undang-Undang Keamanan Data mengharuskan kategori tertentu data, seperti data pribadi penting, untuk disimpan secara domestik dan ditinjau sebelum transfer ke luar negeri.

Demikian pula, beberapa negara Teluk, seperti UAE dan Arab Saudi, misalnya, telah mengadopsi pendekatan serupa, terutama untuk data keuangan, pemerintah, dan infrastruktur kritis.

Perhitungan konfidensial dapat memperkuat keamanan dan auditabilitas dengan melindungi data saat diproses dan memungkinkan pengujian lingkungan runtime. Namun, ini tidak mengubah di mana pemrosesan terjadi. Di mana aturan kedaulatan data mengharuskan pemrosesan lokal atau menetapkan kondisi untuk transfer lintas batas, lingkungan eksekusi tepercaya mungkin mendukung kontrol kepatuhan, bukan menggantikan persyaratan hukum.

Selain itu, perhitungan konfidensial memungkinkan kolaborasi yang aman dalam sistem multi-agen, di mana agen dari organisasi yang berbeda atau dalam departemen yang berbeda sering perlu berbagi informasi atau memvalidasi output tanpa mengungkapkan data propietary.

Dan ketika teknologi ini dipasangkan dengan arsitektur zero-trust, hasilnya adalah fondasi yang jauh lebih kuat. Zero-trust terus-menerus memvalidasi identitas dan akses, sementara perhitungan konfidensial melindungi memori perangkat keras dari ekstraksi yang tidak sah dan mencegah informasi sensitif dari being recovered dalam teks biasa.

Bersama-sama, mereka membela apa yang benar-benar penting, seperti logika keputusan, input sensitif, dan kunci kriptografis yang mengotorisasi tindakan.

Dasar Baru untuk Sistem Otonom

Jika setiap interaksi membahayakan orang, mereka tidak akan membiarkan AI menangani hal-hal seperti catatan kesehatan atau membuat keputusan keuangan. Demikian pula, perusahaan tidak akan mengotomatisasi tugas-tugas paling penting mereka jika itu bisa menyebabkan masalah regulasi atau kehilangan data penting.

Pembangun serius mengakui bahwa perbaikan lapisan aplikasi saja tidak cukup dalam lingkungan dengan jaminan tinggi.

Ketika agen dipercayakan dengan wewenang keuangan, data yang diatur, atau koordinasi lintas organisasi, paparan infrastruktur menjadi lebih dari sekedar kekhawatiran teoretis. Dan tanpa eksekusi konfidensial dalam konteks tersebut, banyak agen tetap menjadi target yang lembut, dengan kunci mereka yang dapat dicuri, dan logika mereka yang dapat diubah. Ukuran pelanggaran data modern menunjukkan persis di mana jalur itu menuju.

Privasi dan integritas bukanlah fitur opsional yang dapat ditambahkan setelah penerapan. Mereka harus dirancang dari awal, dari tingkat perangkat keras. Oleh karena itu, untuk AI agenik yang berkembang dengan aman, konfidensialitas yang ditegakkan perangkat keras tidak dapat dianggap hanya sebagai keunggulan kompetitif, tetapi sebagai dasar.