Agen Anda Bukan Lagi Hanya Chatbot – Jadi Mengapa Anda Masih Mengobarkannya Seperti Satu?

Pada awal hari generative AI, skenario terburuk untuk chatbot yang berperilaku buruk sering kali tidak lebih dari rasa malu di depan umum. Sebuah chatbot mungkin mengalami halusinasi fakta, mengeluarkan teks yang bias, atau bahkan memanggil Anda dengan nama. Itu sudah cukup buruk. Tapi sekarang, kita telah menyerahkan kunci kepada mereka.

Selamat datang di era agen.

Dari Chatbot ke Agen: Perubahan Otonomi

Chatbot bersifat reaktif. Mereka tetap berada di jalur mereka. Tanyakan pertanyaan, dapatkan jawaban. Tapi agen AI—terutama yang dibangun dengan penggunaan alat, eksekusi kode, dan memori yang persisten—dapat melakukan tugas multi-langkah, memanggil API, menjalankan perintah, dan menulis serta mengirimkan kode secara otonom.

Dengan kata lain, mereka tidak hanya merespons prompt—mereka membuat keputusan. Dan seperti yang akan dikatakan oleh setiap ahli keamanan, sekali sistem mulai mengambil tindakan di dunia, Anda harus serius tentang keamanan dan kontrol.

Apa yang Kami Peringatkan pada 2023

Di OWASP, kami mulai memperingatkan tentang perubahan ini lebih dari dua tahun yang lalu. Dalam rilis pertama OWASP Top 10 untuk Aplikasi LLM, kami menciptakan sebuah istilah: Kelebihan Agen.

Gagasan itu sederhana: ketika Anda memberi model terlalu banyak otonomi—terlalu banyak alat, terlalu banyak wewenang, terlalu sedikit pengawasan—mulai bertindak lebih seperti agen bebas daripada asisten yang terikat. Mungkin itu menjadwalkan pertemuan Anda. Mungkin itu menghapus file. Mungkin itu menyediakan infrastruktur cloud yang berlebihan dan mahal.

Jika Anda tidak berhati-hati, itu mulai berperilaku seperti seorang deputi yang bingung… atau lebih buruk, agen tidur musuh yang hanya menunggu untuk dieksploitasi dalam insiden keamanan siber. Dalam contoh dunia nyata baru-baru ini, agen dari produk perangkat lunak besar seperti Microsoft Copilot, produk Slack dari Salesforce keduanya terbukti rentan terhadap trik yang menggunakan hak akses yang ditingkatkan untuk mengekstrak data sensitif.

Dan sekarang, hipotesis itu terlihat kurang seperti fiksi ilmiah dan lebih seperti rencana jalan Anda untuk Q3.

Kenalan dengan MCP: Lapisan Kontrol Agen (atau Apakah?)

Maju cepat ke 2025, dan kita melihat gelombang baru standar dan protokol yang dirancang untuk menangani ledakan ini dalam fungsionalitas agen. Yang paling menonjol dari ini adalah Protokol Konteks Model (MCP) dari Anthropic—sebuah mekanisme untuk mempertahankan memori bersama, struktur tugas, dan akses alat di seluruh sesi agen AI yang berlangsung lama.

Pikirkan MCP sebagai perekat yang menjaga konteks agen tetap bersama di seluruh alat dan waktu. Ini adalah cara untuk mengatakan kepada asisten coding Anda: “Ini yang telah Anda lakukan sejauh ini. Ini yang Anda izinkan untuk dilakukan. Ini yang harus Anda ingat.”

Ini adalah langkah yang sangat dibutuhkan. Tapi itu juga menimbulkan pertanyaan baru.

MCP Adalah Pengaktif Kemampuan. Di Mana Pengawalnya?

Jauh sekarang, fokus dengan MCP telah berada pada memperluas apa yang dapat dilakukan agen—bukan pada mengendalikannya.

Sementara protokol membantu mengkoordinasikan penggunaan alat dan melestarikan memori di seluruh tugas agen, itu belum menangani kekhawatiran kritis seperti:

• Resistensi Injeksi Prompt: Apa yang terjadi jika penyerang memanipulasi memori bersama?
• Pengawasan Perintah: Apakah agen dapat ditipu untuk melebihi izinnya?
• Penyalahgunaan Token: Apakah Bola Memori yang Bocor dapat Membuka API Credential atau Data Pengguna?

Ini bukanlah masalah teoretis. Pemeriksaan baru-baru ini tentang implikasi keamanan mengungkapkan bahwa arsitektur gaya MCP rentan terhadap injeksi prompt, penyalahgunaan perintah, dan bahkan keracunan memori, terutama ketika memori bersama tidak diatur atau dienkripsi dengan baik.

Ini adalah masalah klasik “kekuatan tanpa pengawasan”. Kita telah membangun eksoskeleton, tapi kita belum menemukan di mana tombol matinya.

Mengapa CISO Harus Memperhatikan—Sekarang

Kita tidak berbicara tentang teknologi masa depan. Kita merujuk pada alat yang sudah digunakan oleh pengembang Anda dan itu hanya awal dari rollout besar yang akan kita lihat di perusahaan.

Agen coding seperti Claude Code dan Cursor mendapatkan traksi nyata di dalam alur kerja perusahaan. Penelitian internal GitHub menunjukkan bahwa Copilot dapat mempercepat tugas hingga 55%. Baru-baru ini, Anthropic melaporkan bahwa 79% penggunaan Claude Code difokuskan pada eksekusi tugas otomatis, bukan hanya saran kode.

Itu adalah produktivitas nyata. Tapi itu juga otomatisasi nyata. Ini bukanlah copilot lagi. Mereka semakin terbang solo. Dan kokpit? Itu kosong.

CEO Microsoft Satya Nadella baru-baru ini mengatakan bahwa AI sekarang menulis hingga 30% kode Microsoft. CEO Anthropic, Dario Amodei, bahkan lebih jauh, memprediksi bahwa AI akan menghasilkan 90% kode baru dalam enam bulan.

Dan itu bukan hanya pengembangan perangkat lunak. Protokol Konteks Model (MCP) sekarang sedang diintegrasikan ke dalam alat yang meluas melampaui coding, mencakup triage email, persiapan pertemuan, perencanaan penjualan, ringkasan dokumen, dan tugas produktivitas tinggi lainnya untuk pengguna umum. Sementara banyak kasus penggunaan ini masih dalam tahap awal, mereka berkembang dengan cepat. Itu mengubah taruhan. Ini bukan lagi hanya diskusi untuk CTO atau VP Teknik Anda. Ini menuntut perhatian dari pemimpin unit bisnis, CIO, CISO, dan Chief AI Officer juga. Ketika agen ini mulai berinteraksi dengan data sensitif dan menjalankan alur kerja fungsional, organisasi harus memastikan bahwa tata kelola, manajemen risiko, dan perencanaan strategis menjadi bagian integral dari percakapan dari awal.

Apa yang Harus Terjadi Selanjutnya

Saatnya untuk berhenti berpikir tentang agen-agen ini sebagai chatbot dan mulai berpikir tentang mereka sebagai sistem otonom dengan persyaratan keamanan nyata. Itu berarti:

• Batasan Hak Akses Agen: Seperti Anda tidak menjalankan setiap proses sebagai root, agen memerlukan akses yang diatur ke alat dan perintah.
• Pengawasan Memori Bersama: Persistensi konteks harus diaudit, diversi, dan dienkripsi—terutama ketika itu dibagikan di seluruh sesi atau tim.
• Simulasi Serangan dan Red Teaming: Injeksi prompt, keracunan memori, dan penyalahgunaan perintah harus dianggap sebagai ancaman keamanan tingkat atas.
• Pelatihan Karyawan: Penggunaan aman dan efektif dari agen AI adalah keterampilan baru, dan orang memerlukan pelatihan. Ini akan membantu mereka menjadi lebih produktif dan membantu menjaga properti intelektual Anda lebih aman.

Ketika organisasi Anda memulai agen pintar, seringkali lebih baik untuk berjalan sebelum berlari. Dapatkan pengalaman dengan agen yang memiliki cakupan terbatas, data terbatas, dan izin terbatas. Belajar saat Anda membangun pengawal organisasi dan pengalaman, lalu tingkatkan ke kasus penggunaan yang lebih kompleks, otonom, dan ambisius.

Anda Tidak Bisa Duduk di Luar Ini

Apakah Anda seorang Chief AI Officer atau Chief Information Officer, Anda mungkin memiliki kekhawatiran awal yang berbeda, tetapi jalur Anda ke depan sama. Keuntungan produktivitas dari agen coding dan sistem AI otonom terlalu menggoda untuk diabaikan. Jika Anda masih mengambil pendekatan “tunggu dan lihat”, Anda sudah ketinggalan.

Alat ini tidak lagi eksperimental—mereka dengan cepat menjadi syarat yang harus dipenuhi. Perusahaan seperti Microsoft menghasilkan sebagian besar kode melalui AI dan memajukan posisi kompetitif mereka sebagai hasilnya. Alat seperti Claude Code memangkas waktu pengembangan dan mengotomatisasi alur kerja kompleks di banyak perusahaan di seluruh dunia. Perusahaan yang belajar mengendalikan agen-agen ini dengan aman akan mengirim lebih cepat, beradaptasi lebih cepat, dan mengalahkan lawan mereka.

Tapi kecepatan tanpa keamanan adalah perangkap. Mengintegrasikan agen otonom ke dalam bisnis Anda tanpa kontrol yang tepat adalah resep untuk gangguan, kebocoran data, dan hukuman regulasi.

Ini adalah saat untuk bertindak—tapi bertindak dengan cerdas:

• Luncurkan program pilot agen, tapi minta tinjauan kode, izin alat, dan sandboxing.
• Batasi otonomi ke yang diperlukan—tidak setiap agen memerlukan akses root atau memori jangka panjang.
• Audit memori bersama dan panggilan alat, terutama di seluruh sesi panjang atau konteks kolaboratif.
• Simulasikan serangan menggunakan injeksi prompt dan penyalahgunaan perintah untuk mengungkap risiko dunia nyata sebelum penyerang melakukannya.
• Latih pengembang dan tim produk Anda pada pola penggunaan yang aman, termasuk kontrol cakupan, perilaku fallback, dan jalur eskalasi.

Keamanan dan kecepatan tidak saling eksklusif—if Anda membangun dengan niat.

Perusahaan yang mengobati agen AI sebagai infrastruktur inti, bukan sebagai mainan atau ancaman, akan menjadi yang berkembang. Sisanya akan ditinggalkan membersihkan kekacauan—atau lebih buruk, menonton dari pinggir.

Era agen sudah tiba. Jangan hanya bereaksi. Siapkan. Integrasi. Amankan.