Agen Anda Bukan Lagi Hanya Chatbot — Jadi, Mengapa Anda Masih Mengobarkannya Seperti Satu?

Pada awal hari generative AI, skenario terburuk untuk chatbot yang berperilaku buruk sering kali tidak lebih dari rasa malu di depan umum. Sebuah chatbot mungkin menghalusinasi fakta, mengeluarkan teks yang bias, atau bahkan memanggil Anda dengan nama. Itu sudah cukup buruk. Tapi sekarang, kita telah menyerahkan kunci.

Selamat datang di era agen.

Dari Chatbot ke Agen: Pergeseran Otonomi

Chatbot bersifat reaktif. Mereka tetap berada di jalur mereka. Tanyakan pertanyaan, dapatkan jawaban. Tapi agen AI—terutama yang dibangun dengan penggunaan alat, eksekusi kode, dan memori yang persisten—dapat melakukan tugas multi-langkah, memanggil API, menjalankan perintah, dan menulis serta mengirimkan kode secara otonom.

Dengan kata lain, mereka tidak hanya merespons prompt—mereka membuat keputusan. Dan seperti yang akan dikatakan oleh setiap profesional keamanan, sekali sistem mulai mengambil tindakan di dunia, Anda harus serius tentang keamanan dan kontrol.

Apa yang Kami Peringatkan pada 2023

Di OWASP, kami mulai memperingatkan tentang pergeseran ini lebih dari dua tahun yang lalu. Dalam rilis pertama OWASP Top 10 untuk Aplikasi LLM, kami menciptakan sebuah istilah: Keagenan Berlebihan.

Ideanya sederhana: ketika Anda memberi model terlalu banyak otonomi—terlalu banyak alat, terlalu banyak wewenang, terlalu sedikit pengawasan—maka mulai bertindak lebih seperti agen bebas daripada asisten yang terikat. Mungkin itu menjadwalkan pertemuan Anda. Mungkin itu menghapus file. Mungkin itu menyediakan infrastruktur cloud yang berlebihan dan mahal.

Jika Anda tidak berhati-hati, itu mulai berperilaku seperti deputi yang bingung… atau bahkan lebih buruk, agen tidur musuh yang hanya menunggu untuk dieksploitasi dalam insiden keamanan siber. Dalam contoh dunia nyata baru-baru ini, agen dari produk perangkat lunak besar seperti Microsoft Copilot, produk Slack dari Salesforce keduanya terbukti rentan terhadap trik untuk menggunakan hak istimewa yang ditingkatkan untuk mengekstraksi data sensitif.

Dan sekarang, hipotesis itu terlihat kurang seperti fiksi ilmiah dan lebih seperti rencana Q3 Anda yang akan datang.

Kenalan dengan MCP: Lapisan Kontrol Agen (atau Apakah?)

Maju cepat ke 2025, dan kita melihat gelombang baru standar dan protokol yang dirancang untuk menangani ledakan fungsi agen. Yang paling menonjol dari ini adalah Protokol Konteks Model (MCP) Anthropic—sebuah mekanisme untuk mempertahankan memori bersama, struktur tugas, dan akses alat di seluruh sesi agen AI yang berlangsung lama.

Bayangkan MCP sebagai perekat yang menjaga konteks agen tetap bersama di seluruh alat dan waktu. Ini adalah cara untuk mengatakan kepada asisten coding Anda: “Ini yang telah Anda lakukan sejauh ini. Ini yang Anda izinkan untuk dilakukan. Ini yang harus Anda ingat.”

Ini adalah langkah yang sangat dibutuhkan. Tapi itu juga menimbulkan pertanyaan baru.

MCP adalah Pengaktif Kemampuan. Di Mana Penghalangnya?

Sejauh ini, fokus dengan MCP telah berada pada memperluas apa yang dapat dilakukan agen—bukan pada mengendalikannya.

Sementara protokol membantu mengkoordinasikan penggunaan alat dan melestarikan memori di seluruh tugas agen, itu belum menangani kekhawatiran kritis seperti:

• Resistensi Injeksi Prompt: Apa yang terjadi jika penyerang memanipulasi memori bersama?
• Ruangan Perintah: Apakah agen dapat ditipu untuk melebihi izinnya?
• Penyalahgunaan Token: Apakah Bola Memori yang Bocor Dapat Mengungkapkan API Kredensial atau Data Pengguna?

Ini bukanlah masalah teoretis. Pemeriksaan baru-baru ini tentang implikasi keamanan mengungkapkan bahwa arsitektur gaya MCP rentan terhadap injeksi prompt, penyalahgunaan perintah, dan bahkan keracunan memori, terutama ketika memori bersama tidak cukup diatur atau dienkripsi.

Ini adalah masalah klasik “kekuatan tanpa pengawasan”. Kita telah membangun eksoskeleton, tapi kita belum menemukan di mana letak tombol matinya.

Mengapa CISO Harus Membayar Perhatian—Sekarang

Kita tidak berbicara tentang teknologi masa depan. Kita mengacu pada alat yang sudah digunakan oleh pengembang Anda dan itu hanya awal dari rollout besar yang akan kita lihat di perusahaan.

Agen coding seperti Claude Code dan Cursor mendapatkan traksi nyata di dalam alur kerja perusahaan. Penelitian internal GitHub menunjukkan bahwa Copilot dapat mempercepat tugas hingga 55%. Baru-baru ini, Anthropic melaporkan bahwa 79% penggunaan Claude Code difokuskan pada eksekusi tugas otomatis, bukan hanya saran kode.

Itu adalah produktivitas nyata. Tapi itu juga otomatisasi nyata. Ini bukanlah kopilot lagi. Mereka semakin terbang solo. Dan kokpit? Itu kosong.

CEO Microsoft Satya Nadella baru-baru ini mengatakan bahwa AI sekarang menulis hingga 30% kode Microsoft. CEO Anthropic, Dario Amodei, bahkan lebih jauh, memprediksi bahwa AI akan menghasilkan 90% kode baru dalam enam bulan.

Dan itu bukan hanya pengembangan perangkat lunak. Protokol Konteks Model (MCP) sekarang sedang diintegrasikan ke dalam alat yang meluas di luar coding, mencakup triase email, persiapan pertemuan, perencanaan penjualan, ringkasan dokumen, dan tugas produktivitas lainnya dengan tingkat pengaruh tinggi untuk pengguna umum. Sementara banyak dari kasus penggunaan ini masih dalam tahap awal, mereka berkembang dengan cepat. Itu mengubah taruhan. Ini bukan lagi hanya diskusi untuk CTO atau VP Engineering Anda. Ini menuntut perhatian dari pemimpin unit bisnis, CIO, CISO, dan Chief AI Officer sama-sama. Ketika agen-agen ini mulai berinteraksi dengan data sensitif dan menjalankan alur kerja fungsional lintas, organisasi harus memastikan bahwa tata kelola, manajemen risiko, dan perencanaan strategis menjadi integral bagian dari percakapan dari awal.

Apa yang Perlu Terjadi Selanjutnya

Saatnya untuk berhenti memikirkan agen-agen ini sebagai chatbot dan mulai memikirkannya sebagai sistem otonom dengan kebutuhan keamanan nyata. Itu berarti:

• Batasan Hak Agen: Seperti Anda tidak menjalankan setiap proses sebagai root, agen memerlukan akses yang diatur ke alat dan perintah.
• Tata Kelola Memori Bersama: Persistensi konteks harus diaudit, di versi, dan dienkripsi—terutama ketika itu dibagikan di seluruh sesi atau tim.
• Simulasi Serangan dan Red Teaming: Injeksi prompt, keracunan memori, dan penyalahgunaan perintah harus dianggap sebagai ancaman keamanan tingkat atas.
• Pelatihan Karyawan: Penggunaan agen AI yang aman dan efektif adalah keterampilan baru, dan orang memerlukan pelatihan. Ini akan membantu mereka menjadi lebih produktif dan membantu menjaga properti intelektual Anda lebih aman.

Ketika organisasi Anda terjun ke dalam agen pintar, seringkali lebih baik untuk berjalan sebelum berlari. Dapatkan pengalaman dengan agen yang memiliki cakupan terbatas, data terbatas, dan izin terbatas. Belajar saat Anda membangun penghalang organisasi dan pengalaman, lalu percepat ke kasus penggunaan yang lebih kompleks, otonom, dan ambisius.

Anda Tidak Bisa Duduk di Luar Ini

Apakah Anda seorang Chief AI Officer atau Chief Information Officer, Anda mungkin memiliki kekhawatiran awal yang berbeda, tapi jalur Anda ke depan sama. Keuntungan produktivitas dari agen coding dan sistem AI otonom terlalu menggoda untuk diabaikan. Jika Anda masih mengambil pendekatan “tunggu dan lihat”, Anda sudah ketinggalan.

Alat-alat ini tidak lagi eksperimental—mereka dengan cepat menjadi syarat yang harus dipenuhi. Perusahaan seperti Microsoft menghasilkan sebagian besar kode melalui AI dan meningkatkan posisi kompetitif mereka sebagai hasilnya. Alat seperti Claude Code memotong waktu pengembangan dan mengotomatisasi alur kerja kompleks di banyak perusahaan di seluruh dunia. Perusahaan yang belajar mengendalikan agen-agen ini dengan aman akan mengirim lebih cepat, beradaptasi lebih cepat, dan mengalahkan lawan mereka.

Tapi kecepatan tanpa keamanan adalah perangkap. Mengintegrasikan agen otonom ke dalam bisnis Anda tanpa kontrol yang tepat adalah resep untuk gangguan, kebocoran data, dan hukuman regulasi.

Ini adalah saat untuk bertindak—tapi bertindak dengan cerdas:

• Luncurkan program pilot agen, tapi tuntut tinjauan kode, izin alat, dan sandboxing.
• Batasi otonomi ke yang diperlukan—tidak setiap agen memerlukan akses root atau memori jangka panjang.
• Audit memori bersama dan panggilan alat, terutama di seluruh sesi panjang atau konteks kolaboratif.
• Simulasikan serangan menggunakan injeksi prompt dan penyalahgunaan perintah untuk mengungkapkan risiko dunia nyata sebelum penyerang melakukannya.
• Latih pengembang dan tim produk Anda pada pola penggunaan yang aman, termasuk kontrol cakupan, perilaku fallback, dan jalur eskalasi.

Keamanan dan kecepatan tidak saling eksklusif—jika Anda membangun dengan niat.

Bisnis yang memperlakukan agen AI sebagai infrastruktur inti, bukan sebagai mainan atau ancaman, akan menjadi yang berkembang. Yang lain akan ditinggalkan membersihkan kekacauan—atau bahkan lebih buruk, menonton dari pinggir.

Era agen telah tiba. Jangan hanya bereaksi. Siapkan. Integrasikan. Amankan.