Ancaman Tersembunyi dari Agen AI Memerlukan Model Keamanan Baru

Sistem AI agenik telah menjadi mainstream selama setahun terakhir. Mereka sekarang digunakan untuk beberapa fungsi, termasuk autentikasi pengguna, memindahkan modal, memicu alur kerja kepatuhan, dan koordinasi di seluruh lingkungan perusahaan dengan pengawasan manusia minimal.

Namun, sebuah masalah yang lebih sunyi muncul dengan meningkatnya otonomi, tidak pada tingkat prompt atau kebijakan, tetapi pada tingkat kepercayaan infrastruktur. Sistem agenik diberi wewenang insider sementara masih berjalan pada lingkungan komputasi yang tidak pernah dirancang untuk melindungi pembuat keputusan otonom dari infrastruktur di bawahnya.

Keamanan tradisional menganggap perangkat lunak sebagai pasif, tetapi sistem agenik tidak. Mereka berpikir, mengingat, dan bertindak terus-menerus, otonom, dan dengan wewenang yang didelegasikan.

Jangan lupa bahwa agen AI kemungkinan memiliki akses ke data pribadi, berdasarkan kasus penggunaannya, seperti email dan catatan panggilan, di antara hal-hal lain.

Selain itu, sementara perlindungan berbasis perangkat keras, seperti mesin virtual konfidensial dan enclave aman, ada, mereka belum menjadi fondasi default untuk sebagian besar penerapan AI agenik. Sebagai hasilnya, banyak agen masih dieksekusi dalam lingkungan di mana data sensitif terbuka terhadap infrastruktur yang mendasarinya selama runtime.

Agen Adalah Insider, Bukan Alat

Tim keamanan sudah tahu betapa sulitnya untuk mengandung ancaman insider, sebuah masalah yang disoroti dalam laporan pelanggaran data Verizon 2025, yang menunjukkan bahwa intrusi sistem bertanggung jawab atas lebih dari 53% pelanggaran yang dikonfirmasi tahun lalu. Dalam 22% dari kasus-kasus ini, penyerang menggunakan kredensial yang dicuri untuk mendapatkan akses, yang menunjukkan seberapa sering mereka berhasil dengan menggunakan identitas yang sah daripada mengeksploitasi kerentanan teknis.

Sekarang, pertimbangkan sebuah agen, yang terdiri dari logika prompt, alat dan plugin, kredensial, serta kebijakan. Tidak hanya dapat menjalankan kode dan browsing web, tetapi juga dapat mengquery CRM, membaca email, dan mendorong tiket, di antara banyak hal lain. Apa yang kombinasi fungsi ini bawa adalah permukaan serangan tradisional ke dalam antarmuka modern.

Bahaya yang ditimbulkan oleh ancaman insider seperti itu tidak spekulatif. Proyek Keamanan Aplikasi Web Terbuka (OWASP) sekarang mendaftar “Prompt Injection” sebagai kerentanan kritis untuk aplikasi LLM, mencatat bahayanya yang khusus untuk sistem agenik yang merantai tindakan. Tim Intelijen Ancaman Microsoft juga telah menerbitkan advis peringatan bahwa sistem AI dengan akses alat dapat disusupi untuk melakukan pencurian data jika pengaman tidak ditegakkan secara arsitektur.

Laporan-laporan ini menawarkan pengingat tepat waktu bahwa agen yang memiliki akses sah ke sistem dan data dapat diubah melawan pemiliknya. Namun, lanskap risiko untuk sistem agenik tidaklah tunggal. Ancaman lapisan aplikasi seperti injeksi prompt dan penyalahgunaan alat berasal dari ketidakmampuan model untuk membedakan instruksi yang dipercaya dari input pengguna yang tidak dipercaya, sebuah keterbatasan desain yang tidak dapat diperbaiki oleh pengerasan memori.

Masalah yang berbeda dan sama pentingnya ada di tingkat infrastruktur: beberapa agen berjalan dalam memori plaintext, yang berarti informasi sensitif—seperti riwayat obrolan, respons API, dan dokumen—dapat dilihat saat diproses dan mungkin tetap dapat diakses kemudian. OWASP mengidentifikasi risiko ini sebagai Pengungkapan Informasi Sensitif (LLM02) dan Kebocoran Prompt Sistem (LLM07) dan menyarankan menggunakan isolasi konteks, segmentasi namespace, dan sandboxing memori sebagai langkah keamanan penting.

Dengan demikian, pengguna tidak boleh memperlakukan agen-agen ini hanya sebagai aplikasi biasa, mengingat mereka adalah eksekutor dinamis yang memerlukan model keamanan yang mempertimbangkan sifat unik mereka sebagai entitas non-manusia dengan keagenan. Pendekatan ini perlu mencakup kontrol perangkat lunak untuk membatasi bagaimana model bertindak dan perlindungan perangkat keras untuk menjaga keamanan data saat digunakan.

Arsitektur Kepercayaan Memiliki Kekurangan Kritis

Praktik keamanan saat ini berfokus pada melindungi data saat istirahat dan dalam transisi. Batas terakhir, data dalam penggunaan, tetap terbuka. Ketika agen AI mempertimbangkan dataset rahasia untuk menyetujui pinjaman, menganalisis catatan pasien, atau mengeksekusi perdagangan, data tersebut biasanya didekripsi dan diproses dalam teks biasa dalam memori server.

Dalam model cloud standar, siapa pun dengan kontrol yang cukup atas infrastruktur, termasuk administrator hypervisor atau penyerang co-tenant, dapat secara potensial melihat apa yang terjadi saat beban kerja sedang berjalan. Untuk agen AI, paparan tersebut sangat berbahaya, karena mereka memerlukan akses ke informasi sensitif untuk melakukan pekerjaan mereka, yang dapat, secara potensial, menjadi permukaan serangan.

Seperti yang ditunjukkan oleh Lumia Security demonstrated, penyerang dengan akses ke mesin lokal dapat memperoleh JWT dan kunci sesi langsung dari memori proses aplikasi desktop ChatGPT, Claude, dan Copilot. Kredensial yang dicuri dapat memungkinkan mereka untuk berpura-pura menjadi pengguna lain, mencuri riwayat percakapan, dan menyuntikkan prompt ke sesi yang sedang berlangsung yang dapat mengubah perilaku agen atau menanamkan memori palsu.

Contoh dari ini bisa dilihat pada insiden dump memori AWS CodeBuild pada Juli 2025. Penyerang secara rahasia menambahkan kode berbahaya ke proyek, dan ketika sistem menjalankannya, kode tersebut melihat ke dalam memori komputer dan mencuri token login tersembunyi yang disimpan di sana. Dengan token tersebut, penyerang dapat mengubah kode proyek dan secara potensial mengakses sistem lain.

Bagi lembaga keuangan, manipulasi sunyi adalah eksistensial. Bank, perusahaan asuransi, dan firma investasi sudah menyerap biaya pelanggaran rata-rata lebih dari $10 juta, dan mereka memahami bahwa integritas sama pentingnya dengan kerahasiaan. Menurut laporan Informatica terbaru, “paradoks kepercayaan” dijelaskan sebagai berikut: organisasi menerapkan agen otonom lebih cepat daripada mereka dapat memverifikasi outputnya. Hasilnya adalah otomatisasi yang dapat mengerasi kesalahan atau bias, langsung ke proses inti, beroperasi pada kecepatan mesin.

Perhitungan Konfidensial dan Kasus untuk Isolasi

Perbaikan inkremental tidak akan menyelesaikan masalah yang ada, meskipun kontrol akses yang lebih ketat dan pemantauan yang lebih baik mungkin membantu. Namun, tidak ada yang dapat mengubah masalah yang mendasarinya. Masalahnya adalah arsitektur, dan selama komputasi terjadi dalam memori yang terbuka, agen akan rentan pada saat mereka paling penting, yaitu saat mempertimbangkan.

Perhitungan konfidensial, yang didefinisikan oleh Konsorsium Perhitungan Konfidensial (CCC) sebagai perlindungan data dalam penggunaan melalui Lingkungan Eksekusi Tepercaya (TEEs) berbasis perangkat keras, langsung mengatasi kekurangan inti.

Untuk agen AI, isolasi perangkat keras ini adalah transformasional, karena memungkinkan kredensial identitas agen, bobot model, prompt propietary, dan data pengguna sensitif yang diproses untuk tetap terenkripsi tidak hanya di disk atau melalui jaringan, tetapi secara aktif dalam memori selama eksekusi. Pemisahan ini secara definitif memutuskan model tradisional di mana kontrol atas infrastruktur menjamin kontrol atas beban kerja.

Attestasi jarak jauh menyediakan bukti kriptografis yang dapat diverifikasi bahwa permintaan inferensi tertentu dieksekusi di dalam lingkungan eksekusi tepercaya yang didukung perangkat keras, apakah itu CPU atau GPU. Bukti tersebut dihasilkan dari pengukuran perangkat keras dan disampaikan bersama dengan respons, memungkinkan verifikasi independen tentang di mana dan bagaimana beban kerja dijalankan.

Catatan attestasi tidak mengungkapkan kode yang dieksekusi. Sebaliknya, setiap beban kerja dikaitkan dengan ID beban kerja atau ID transaksi unik, dan catatan attestasi TEE dikaitkan dengan pengidentifikasi tersebut. Attestasi mengkonfirmasi bahwa komputasi dijalankan di dalam lingkungan tepercaya tanpa mengungkapkan isinya.

Pengaturan ini menciptakan dasar baru untuk kepatuhan dan auditabilitas, memungkinkan pengaitan tindakan agen dengan versi kode tertentu yang telah diuji dan himpunan data input yang diketahui.

Menuju Otonomi yang Bertanggung Jawab

Implikasi untuk sistem yang dijelaskan di atas meluas di luar keamanan dasar. Pertimbangkan hukum yang mengatur keuangan, kesehatan, dan informasi pribadi. Banyak yurisdiksi menerapkan aturan kedaulatan data yang membatasi di mana informasi dapat diproses. Di Tiongkok, Undang-Undang Perlindungan Informasi Pribadi dan Undang-Undang Keamanan Data memerlukan kategori data tertentu, seperti data pribadi penting, untuk disimpan secara domestik dan ditinjau sebelum transfer ke luar negeri.

Demikian pula, beberapa negara Teluk, seperti UAE dan Arab Saudi, telah mengadopsi pendekatan serupa, terutama untuk data keuangan, pemerintah, dan infrastruktur kritis

Perhitungan konfidensial dapat memperkuat keamanan dan auditabilitas dengan melindungi data saat diproses dan memungkinkan attestasi lingkungan runtime. Namun, tidak mengubah di mana pemrosesan terjadi. Di mana aturan kedaulatan data mengharuskan pemrosesan lokal atau menetapkan kondisi untuk transfer lintas batas, lingkungan eksekusi tepercaya dapat mendukung kontrol kepatuhan, bukan menggantikan persyaratan hukum.

Selain itu, perhitungan konfidensial memungkinkan kolaborasi aman dalam sistem multi-agen, di mana agen dari organisasi atau departemen yang berbeda sering perlu berbagi informasi atau memvalidasi output tanpa mengungkapkan data propietary.

Dan ketika teknologi ini dipasangkan dengan arsitektur zero-trust, hasilnya adalah fondasi yang jauh lebih kuat. Zero-trust terus-menerus memvalidasi identitas dan akses, sementara perhitungan konfidensial melindungi memori perangkat keras dari ekstraksi tidak sah dan mencegah informasi sensitif dari pemulihan dalam teks biasa.

Bersama-sama, mereka membela apa yang sebenarnya penting, misalnya logika keputusan, input sensitif, dan kunci kriptografis yang mengotorisasi tindakan.

Baseline Baru untuk Sistem Otonom

Jika setiap interaksi membuat orang berisiko terkena paparan, mereka tidak akan membiarkan AI menangani hal-hal seperti catatan kesehatan atau membuat keputusan keuangan. Demikian pula, perusahaan tidak akan mengotomatisasi tugas-tugas paling penting mereka jika itu bisa menyebabkan masalah regulasi atau kehilangan data penting.

Pembangun serius mengakui bahwa perbaikan lapisan aplikasi saja tidak cukup dalam lingkungan kepercayaan tinggi.

Ketika agen dipercayakan dengan wewenang keuangan, data yang diatur, atau koordinasi antar organisasi, paparan infrastruktur menjadi lebih dari sekedar kekhawatiran teoretis. Dan tanpa eksekusi konfidensial dalam konteks tersebut, banyak agen tetap menjadi target lunak, dengan kunci yang dapat dicuri, dan logika yang dapat diubah. Ukuran pelanggaran modern menunjukkan persis ke mana jalur itu menuju.

Privasi dan integritas bukanlah fitur opsional yang dapat ditambahkan setelah penerapan. Mereka harus dirancang dari silikon ke atas. Oleh karena itu, untuk AI agenik yang berkembang dengan aman, konfidensialitas yang ditegakkan perangkat keras tidak dapat dianggap hanya sebagai keunggulan kompetitif tetapi sebagai baseline.