Satu Kebijakan, Ribuan Agen: Mengapa Tata Kelola AI Perusahaan Gagal Saat Skalanya Membesar

Sebagian besar perbincangan tentang penerapan agen AI otonom berpusat pada tata kelola sebagai tantangan utama, dan memang sudah sepatutnya demikian. Gartner baru-baru ini memperkirakan bahwa 40% perusahaan akan menurunkan peringkat atau menonaktifkan agen AI otonom mereka pada 2027—bukan karena teknologinya gagal, melainkan karena tata kelola mereka yang gagal. Menurut Analis Direktur Senior Gartner, Shiva Varma, penyebabnya adalah “tata kelola biner”: memperlakukan agen seolah-olah harus dikunci sepenuhnya atau dipercaya sepenuhnya, tanpa ada pilihan di antaranya.

Saat ini, banyak organisasi cenderung memilih antara melarang sepenuhnya penggunaan alat AI atau menerapkan agen dengan mekanisme pengaman yang tidak memadai. Kedua pendekatan tersebut sulit diterapkan dalam skala besar. Bahkan ketika departemen TI melarang penggunaan alat AI dari luar, penggunaan AI bayangan tetap terjadi. Para pengembang secara alami ingin membangun sesuatu dan memecahkan masalah; jika tata kelola terasa terlalu birokratis, mereka akan mengakali kontrol dan menggunakan alat yang belum diuji agar pekerjaan tetap berjalan. Sebaliknya, mekanisme pengaman yang tidak memadai membuat organisasi terpapar risiko keamanan, kepatuhan, dan operasional yang berlipat ganda seiring waktu. 

Tantangannya adalah agen AI tidak dapat diatur secara seragam dengan pendekatan statis yang menerapkan satu aturan untuk semua.  Era tata kelola dengan satu aturan untuk semua mulai berakhir karena sistem-sistem ini memiliki profil risiko yang berbeda, mengingat perangkat lunak yang mendasarinya, kapabilitas, tingkat akses, dan derajat otonominya tidak sama. Menerapkan kontrol statis dari era industri pada perangkat lunak yang beroperasi secepat mesin tidak akan berhasil.  Tata kelola yang efektif bergantung pada pemahaman organisasi terhadap rantai pasok perangkat lunak di balik setiap agen serta penyelarasan kontrol dengan risiko yang ditimbulkannya.  

Mengatur Lingkungan Pengembangan Perangkat Lunak Berbasis Agen

Kontrol yang sesungguhnya berarti mengelola secara efektif semua elemen perangkat lunak yang membentuk agen. Banyak tim keliru menganggap agen ini “andal dan tepercaya”, sehingga mengabaikan komponen standar yang memengaruhi fungsi dan keamanannya. 

Setiap agen AI otonom dibangun dari susunan komponen yang umum: model fondasi, server MCP (Model Context Protocol) yang menghubungkannya dengan data perusahaan dan sistem eksternal, plugin yang memperluas kapabilitasnya, serta file keterampilan yang mengarahkan perilakunya. Para pemimpin TI perlu mengingat hal-hal berikut: 

• Agen AI adalah ekosistem perangkat lunak: Agen ini mengandalkan konfigurasi standar yang mencakup model, MCP, alat, plugin, keterampilan, dan perangkat lunak sumber terbuka.
• Server MCP dapat berisiko: Server ini menghubungkan agen dengan data perusahaan dan dapat diunduh seperti perangkat lunak lainnya. Jika tidak diperiksa, server tersebut dapat membuka jalan bagi peretas ke sistem Anda. Sebagai contoh, riset keamanan JFrog terbaru menyoroti risiko rantai pasok perangkat lunak yang sama ini dalam mcp-run-python, termasuk celah Pemalsuan Permintaan Sisi Server (SSRF) (CVE-2026-25904) dan kerentanan akibat tidak adanya isolasi (CVE-2026-25905) yang dapat menyebabkan pengambilalihan MCP sepenuhnya.
• Plugin dapat menambah risiko: Agen yang berbeda memerlukan plugin yang berbeda (misalnya, plugin OpenAI tidak akan berfungsi di Microsoft Copilot). Artinya, perusahaan sering kali harus mengelola beragam versi, dan satu plugin berbahaya saja dapat mencuri informasi sensitif.
• Keterampilan menentukan perilaku agen: File instruksi ini memberi tahu agen cara bekerja. Karena para pengembang mengambilnya dari sumber komunitas, keterampilan yang telah dirusak dapat secara diam-diam mengubah cara kerja agen.
• Risiko perangkat lunak sumber terbuka: Seluruh fungsi solusi yang dibangun menggunakan pengodean berbasis agen bergantung pada pemanfaatan berkas biner sumber terbuka untuk menghadirkan fungsi tersebut. Agen pengodean dapat dengan mudah menggunakan paket berbahaya alih-alih paket yang aman tanpa menyadari risikonya.
• Visibilitas adalah kunci: Banyak tim tidak mengetahui adanya masalah ini, sehingga agen mereka sangat rentan. Organisasi masih mengelola dependensi perangkat lunak berdasarkan kepercayaan, bukan melalui pemeriksaan menyeluruh.

Peran Sistem Pencatatan Resmi dalam Tata Kelola AI yang Efektif

Perlombaan untuk menerapkan agen AI di perusahaan tidak dapat dimenangkan dengan pola pikir usang. Menerapkan rangkaian persetujuan manual yang kaku dan berlebihan untuk setiap alur kerja menghambat inovasi, sedangkan membiarkan agen tanpa pemantauan menciptakan risiko yang tidak perlu.

Untuk memperluas penggunaan AI dengan aman, organisasi harus menerapkan pendekatan berlapis dalam mengatur dan mengamankan komponen perangkat lunak, termasuk paket, berkas biner, MCP, keterampilan, dan dependensi. Dengan membangun sistem pencatatan resmi, perusahaan dapat mengelola semua komponen yang digunakan, memindai semuanya sebelum digunakan, menerapkan kebijakan pada waktu yang tepat dalam siklus pengembangan, serta mempertahankan kemampuan untuk segera memulihkan versi sebelumnya. Jadi, ketika kerentanan berikutnya diumumkan, jawaban atas pertanyaan “apakah kita terdampak?” dapat diberikan dalam hitungan menit, bukan hari.

Namun, agen AI menghadirkan permukaan serangan yang lebih luas dan berkembang jauh lebih cepat. Karena agen dengan otonomi tinggi dapat mengambil ratusan keputusan per menit, merangkai pemanggilan alat, mengakses data, dan menjalankan kode dengan kecepatan yang tak mampu diimbangi oleh kontrol pemeriksaan awal tradisional. Meski peninjauan dan proses persetujuan di awal tetap berperan penting, keduanya tidak cukup untuk mengamankan sistem yang beroperasi secepat mesin.

Agen-agen ini memerlukan penegakan dinamis saat sistem berjalan, dengan kemampuan mendeteksi perilaku anomali begitu terjadi dan melakukan intervensi sebelum dampaknya meluas. Bayangkan mekanisme ini seperti pemutus arus: mencabut akses ke keterampilan yang telah disusupi, memutus konteks data yang tidak tepercaya, atau memblokir pemanggilan alat tertentu begitu terjadi masalah.

Melampaui Pendekatan “Satu Ukuran untuk Semua”

Tata kelola yang kaku dan seragam pasti berujung pada kegagalan. Kesempatan untuk mengantisipasi masalah ini semakin sempit, sementara utang tata kelola terus menumpuk seiring percepatan penerapan agen. Karena itu, berikut empat langkah yang dapat segera diambil para pemimpin keamanan dan rekayasa untuk memperkuat sistem perusahaan mereka:

1. Inventarisasi apa yang sudah berjalan. Sebagian besar perusahaan tidak dapat mencatat secara lengkap agen AI yang ada di organisasinya, apalagi server MCP, plugin, dan berkas keterampilan yang mendukungnya. Sebelum menilai risiko atau mengatur apa pun, Anda perlu mengetahui apa saja yang ada.
2. Perlakukan komponen AI sebagai artefak perangkat lunak. Server MCP, berkas keterampilan, dan plugin bukan sekadar konfigurasi—semuanya adalah kode yang menghadapi risiko rantai pasok yang sama dengan dependensi sumber terbuka mana pun. Terapkan pemeriksaan, pemindaian, dan pelacakan asal-usul yang sama seperti untuk pustaka pihak ketiga lainnya.
3. Klasifikasikan agen berdasarkan tingkat otonominya dan sesuaikan kontrol yang diterapkan. Tetapkan arti “otonomi tinggi” bagi organisasi Anda dan susun kerangka kebijakan bertingkat berdasarkan definisi tersebut. Agen dengan otonomi tinggi memerlukan penegakan saat sistem berjalan, bukan hanya pemeriksaan awal. Mulailah dari sistem Anda yang paling sensitif, lalu perluas cakupannya.
4. Pastikan tata kelola cukup cepat agar pengembang, baik manusia maupun agen, tidak mencari jalan untuk menghindarinya. AI bayangan adalah masalah yang timbul akibat hambatan. Jika persetujuan untuk server MCP baru memerlukan waktu dua minggu, pengembang akan mencari cara lain. Pemindaian otomatis dengan penegakan kebijakan yang jelas adalah satu-satunya model yang dapat mengikuti laju perkembangan AI yang sebenarnya.

Tata kelola menjadi jauh lebih efektif jika mencerminkan risiko nyata yang ditimbulkan setiap agen, alih-alih memperlakukan semuanya dengan cara yang sama. Perusahaan yang akan unggul adalah perusahaan yang menyesuaikan tata kelola dengan kenyataan masing-masing agen, didukung oleh sistem pencatatan utama yang menegakkan kebijakan di setiap batas, memberikan visibilitas atas setiap komponen, dan memungkinkan tim merespons begitu terjadi masalah.