Mengapa Proyek AI Agenik Dibatalkan dan Hal yang Dilakukan dengan Tepat oleh Uji Coba Delapan Minggu

Pelanggan meminta pengembalian dana, lalu agen menemukan pesanan di CRM, memeriksa kebijakan pengembalian, dan menyusun balasan dalam waktu kurang dari satu menit. Kemudian agen itu terhenti karena persetujuan pengembalian dana berada di sistem keuangan yang tidak terhubung dengannya, sementara alamat pelanggan di dua basis data tidak cocok. Kesenjangan semacam ini jarang terlihat dalam demonstrasi, tetapi menentukan biaya operasional agen dan apakah orang bisa memercayainya. Ini menunjukkan bahwa risiko yang lebih besar dalam penerapan AI agenik di perusahaan terletak pada lingkungan bisnis tempat agen itu digunakan, bukan pada modelnya.

Gartner memperkirakan lebih dari 40% proyek AI agenik akan dibatalkan sebelum akhir 2027, dengan menyoroti kenaikan biaya, nilai bisnis yang tidak jelas, dan pengendalian risiko yang lemah. Jika dicermati, perkiraan itu berkaitan dengan cara proyek-proyek ini disetujui berdasarkan demonstrasi, tanpa banyak gambaran tentang biaya pekerjaan saat ini atau siapa yang bertanggung jawab atas hasilnya.

Pertanyaan yang akan saya ajukan kepada tim pimpinan mana pun adalah apakah perusahaan mampu mendukung agen ini untuk melakukan pekerjaan setiap hari dengan biaya dan tingkat risiko yang masih dapat diterima. Untuk menjawabnya, kita perlu mencermati apa yang saya sebut sebagai pekerjaan setelah otomatisasi, yaitu semua hal yang masih harus dilakukan orang setelah agen menyelesaikan bagiannya. Uji coba selama delapan minggu merupakan cara praktis untuk mengukurnya sebelum berkomitmen pada penerapan penuh.

Masalah yang Diwarisi Agen dari Perusahaan

Agen jarang bekerja sendirian. Bahkan tugas yang tampak sederhana menyentuh catatan pelanggan, beberapa aplikasi bisnis, dan biasanya juga tahap persetujuan. Setiap koneksi membatasi informasi yang dapat dilihat dan tindakan yang dapat dilakukan agen. Jika catatan tidak konsisten atau tidak jelas siapa yang berwenang memberikan persetujuan, agen mewarisi kerancuan itu bersama tugasnya.

Kasus rutin jarang menjadi masalah; pengecualianlah yang menjadi masalah karena di situlah biaya operasional menumpuk, dan justru bagian itulah yang sengaja dihindari dalam demonstrasi. Riset Deloitte tahun 2026 menemukan bahwa hanya 5% organisasi menilai proses bisnis mereka sangat siap untuk agen AI. Angka ini lebih bermakna daripada tolok ukur model apa pun karena menunjukkan bahwa AI siap jauh lebih awal daripada kebanyakan proses bisnis.

Kasus Bisnis Harus Memperhitungkan Pekerjaan Setelah Otomatisasi

Mengukur seberapa cepat agen menghasilkan keluaran adalah cara termudah untuk melebih-lebihkan nilainya, karena ukuran yang penting adalah seberapa banyak upaya yang diperlukan untuk menyelesaikan seluruh tugas. Misalnya, seorang pegawai memerlukan waktu 20 menit untuk menangani sebuah permintaan, lalu agen memangkas waktu pengerjaan draf awal menjadi dua menit. Sekilas, ini tampak menghemat 18 menit—sampai seseorang menghabiskan 15 menit untuk memeriksa hasil dan memperbaiki kesalahan. Penghematan tiga menit memberi imbal hasil yang tipis setelah biaya operasional agen turut diperhitungkan.

Analisis McKinsey tentang agen layanan pelanggan di sektor perbankan menunjukkan pola yang sama dalam skala besar: token mencakup 20–25% biaya operasional variabel, sedangkan pengawasan manusia mencakup 70–75%. Artinya, sebagian besar biaya berada di luar model. Tanpa data dasar yang ditetapkan sebelum siapa pun menulis kode, uji coba dapat menunjukkan banyak kemajuan teknis, tetapi kelayakan investasinya tetap belum teruji. Setidaknya, pemilik bisnis perlu memiliki jawaban yang jelas untuk setiap poin berikut:

• Volume: seberapa sering proses dijalankan dan berapa banyak orang yang terlibat.
• Waktu penyelesaian: berapa lama waktu yang dibutuhkan untuk menyelesaikan seluruh tugas, termasuk pemeriksaan dan perbaikan.
• Akurasi: seberapa sering terjadi kesalahan atau pekerjaan harus diulang.
• Biaya per tugas: biaya yang diperlukan saat ini untuk menyelesaikan satu tugas dengan sukses.
• Dampak bisnis: perubahan yang akan dihasilkan oleh peningkatan nyata bagi pelanggan, staf, atau perusahaan.

Agen Harus Membuktikan Manfaatnya dalam Alur Kerja

Adopsi biasanya dianggap sebagai bagian dari manajemen perubahan, meskipun menurut pengalaman saya, hal itu ditentukan jauh lebih awal, yakni oleh posisi agen dalam alur kerja. Sebuah perusahaan jasa profesional global telah membangun agen untuk menangani pekerjaan dukungan dan kepatuhan. Agen dukungannya dapat mengambil informasi dari beberapa sistem internal, tetapi orang harus membuka aplikasi terpisah untuk menggunakannya dan kebanyakan tidak melakukannya. Setelah alur kerja yang sama dipindahkan ke platform dukungan yang sudah ada, agen itu muncul di dalam tiket yang sedang ditangani staf. Agen penyaringan kepatuhan pun diterapkan dengan cara serupa: disematkan ke Salesforce agar berjalan setiap kali sebuah kasus dibuat.

Tidak ada yang berubah pada agen itu sendiri; yang berubah adalah posisinya dalam alur kerja. Staf memang sudah punya alasan untuk membuka tiket atau membuat kasus, sehingga menemui mereka pada saat itu tidak menambah pekerjaan mereka. Karena itu, penempatan agen merupakan keputusan arsitektur sekaligus keputusan terkait adopsi. Agen membutuhkan konteks di tempat pekerjaan berlangsung, dan keluarannya harus diteruskan ke tahap berikutnya tanpa perlu disalin secara manual oleh seseorang.

Otonomi Mengubah Perhitungan Keamanan

Agen yang hanya dapat membaca informasi memiliki satu jenis risiko, sedangkan agen yang dapat mengubah catatan atau mengirim email kepada pelanggan memiliki risiko yang sama sekali berbeda. Karena itu, pengendalian harus disesuaikan dengan tindakan yang benar-benar boleh dilakukan agen. Hak akses berlebihan dan kebocoran data sensitif merupakan risiko yang sudah umum diketahui, tetapi injeksi prompt patut mendapat perhatian terbesar: instruksi yang disembunyikan dalam dokumen atau email yang ditemukan agen saat menjalankan tugas yang sepenuhnya sah.

Panduan Gartner tentang tata kelola agen, Mei 2026, membagi otonomi menjadi empat tingkat. Pembagian ini memberi cara praktis untuk menentukan seketat apa pengendalian yang diperlukan:

1. Mengamati: agen mengambil informasi dan mengenali pola, dengan akses hanya-baca.
2. Memberi saran: agen merekomendasikan tindakan, sementara karyawan yang mengambil keputusan.
3. Bertindak dengan persetujuan: agen menyiapkan atau memulai tindakan yang harus disetujui seseorang sebelum dijalankan.
4. Bertindak secara otonom: agen menjalankan sendiri tindakan yang telah disetujui dalam batas-batas yang ditetapkan, dengan pemantauan dan eskalasi untuk pengecualian.

Pada setiap tingkat, agen memerlukan identitas tersendiri, izin yang dibatasi sesuai tugasnya, dan catatan untuk setiap tindakan yang dilakukannya. Organisasi juga memerlukan aturan tentang cara data ditangani dan disimpan, kejelasan mengenai informasi yang diterima penyedia model eksternal, serta seseorang yang berwenang untuk menjeda agen dan mencabut aksesnya begitu ada sesuatu yang tampak tidak beres.

Setiap pengendalian ini menimbulkan biaya berkelanjutan karena izin yang lebih luas, pemantauan tambahan, dan persetujuan yang lebih sering akan terus menambah biaya seiring waktu. Karena itu, tingkat otonomi yang tepat merupakan keputusan ekonomi sekaligus keamanan, dan ditentukan oleh titik ketika agen memberikan hasil yang sepadan dengan risiko yang dapat diterima oleh bisnis.

Pilih Proses yang Layak Menggunakan Agen

Banyak tim memulai dari teknologinya, lalu mencari masalah yang bisa diatasi. Padahal, titik awal yang lebih baik adalah proses yang biaya atau keterlambatannya sudah jelas dirasakan oleh orang-orang yang mengerjakannya.

Sebuah perusahaan jaringan pakar global yang pernah bekerja sama dengan kami menghadapi situasi seperti itu: timnya mencocokkan permintaan survei dengan para pakar melalui tiga sistem yang tidak saling terhubung, serta memeriksa profil, partisipasi sebelumnya, dan kepatuhan secara manual untuk setiap pencocokan. Kami membangun agen yang menggabungkan pencarian semantik dengan riwayat partisipasi dan aturan kepatuhan tersebut. Setelah diterapkan, tiket ketidakcocokan turun 80%, akurasi pemetaan naik 40%, dan tim memperoleh kembali 22% kapasitas kerjanya.

Proyek ini berhasil karena masalahnya spesifik: informasi tersebar, proses penggabungannya dilakukan secara manual, dan kualitas pencocokan dapat diukur sebelum maupun sesudahnya. Kejelasan masalah juga membantu menentukan apakah suatu proses memang memerlukan agen. Pekerjaan yang diatur oleh aturan tetap biasanya lebih murah ditangani dengan otomatisasi konvensional. Pekerjaan yang terutama melibatkan pencarian dan peringkasan informasi sering kali dapat ditangani dengan baik oleh asisten AI. Sementara itu, biaya dan risiko tambahan agen layak dikeluarkan ketika tugasnya mengharuskan agen membaca konteks, memilih di antara tindakan yang diizinkan, dan merangkai beberapa langkah untuk mencapai suatu hasil.

Uji Coba Delapan Minggu dengan Titik Keputusan yang Jelas

Seluruh uji coba ini berpusat pada satu pertanyaan bisnis: dapatkah agen ini meningkatkan proses secukupnya agar biaya menjalankannya dalam skala besar sepadan? Delapan minggu memberi cukup waktu untuk menguji kelayakan bisnis, teknologinya, dan kemampuan organisasi mengelola apa yang dibangunnya.

Minggu 1–2: Tentukan Hal yang Perlu Ditingkatkan

Mulailah dengan mendokumentasikan proses sebagaimana berlangsung saat ini, mulai dari volume dan waktu penyelesaian hingga tingkat kesalahan, pengerjaan ulang, dan biaya. Catat sistem yang terlibat, penanggung jawab setiap tahap, serta pengecualian yang memerlukan campur tangan manusia. Lalu, pastikan pemilik bisnis dan tim teknis sepakat tentang satu hasil yang harus ditingkatkan oleh agen. Titik keputusan: lanjutkan setelah masalah, kondisi awal, penanggung jawab, dan ukuran keberhasilan sudah jelas.

Minggu 3: Tetapkan Batasan Agen

Pada tahap ini, tetapkan batasan agen, termasuk identitas, izin, akses data, alat yang disetujui, dan tingkat otonominya. Uji agen terhadap injeksi prompt, akses tanpa izin, paparan data sensitif, dan penyalahgunaan alat. Siapkan pencatatan aktivitas dan respons insiden, serta cara untuk menangguhkan agen atau mencabut aksesnya. Titik keputusan: lanjutkan setelah pengendalian dan langkah intervensi benar-benar diuji, serta semua orang memahami tindakan apa saja yang diizinkan bagi agen.

Minggu 4–6: Uji Kondisi yang Menggagalkan Demo

Selanjutnya, berikan agen pekerjaan yang realistis, termasuk catatan yang tidak lengkap, informasi yang bertentangan, permintaan yang tidak biasa, dan sesekali kegagalan sistem. Pantau jumlah tugas yang diselesaikannya, tingkat akurasinya, dan banyaknya koreksi yang harus dilakukan orang. Lalu, hitung biaya sebenarnya untuk setiap tugas yang berhasil diselesaikan setelah penggunaan model, integrasi, pemantauan, dan peninjauan turut diperhitungkan. Titik keputusan: lanjutkan ke pengujian langsung ketika agen mencapai ambang batas yang disepakati dan tim memahami biaya operasionalnya serta cara-cara agen mengalami kegagalan.

Minggu 7–8: Uji Coba Bersama Pengguna Nyata

Berikan agen kepada sekelompok kecil karyawan untuk menangani bagian terbatas dari pekerjaan nyata, sambil tetap menyediakan proses lama untuk hal-hal yang tidak dapat ditangani agen. Amati apakah orang benar-benar menggunakannya, apakah agen mengurangi upaya mereka, dan apakah mereka memercayai hasil yang diberikan.

Pada akhirnya, bandingkan hasilnya dengan kondisi awal pada minggu pertama, lalu tinjau produktivitas, akurasi, tingkat adopsi, seberapa sering orang harus turun tangan, total biaya operasional, dan risiko keamanan yang masih belum teratasi. Setelah itu, putuskan apakah akan memperluas penerapan, memperbaiki kesenjangan tertentu lalu menguji ulang, atau menghentikannya. Uji coba yang menunjukkan bahwa agen terlalu mahal atau terlalu tidak andal untuk tugas tersebut tetap berhasil menjalankan fungsinya, karena telah mencegah investasi yang jauh lebih besar berdasarkan dugaan semata.

Ukur Hasilnya, Lalu Tentukan Seberapa Besar Otonomi yang Akan Diberikan

Menghitung jumlah tugas yang diproses agen hanya memberi sedikit gambaran, sebab sistem dapat menangani ribuan permintaan tetapi tetap membuat karyawan harus memverifikasi, memperbaiki, atau menyelesaikan sebagian besar tugas tersebut. Biaya per tugas yang berhasil diselesaikan, jika dilihat bersama tingkat akurasi dan tingkat pengecualian, memberikan gambaran yang jauh lebih baik tentang apakah proses tersebut telah membaik secara menyeluruh.

Ukuran yang sama juga menjadi dasar untuk memberikan lebih banyak keleluasaan kepada agen. Agen yang secara konsisten menangani permintaan rutin dalam batas yang disepakati dapat dipercaya untuk menanganinya sendiri, sedangkan agen yang terus menghadapi kasus ambigu tetap memerlukan persetujuan manusia atas keputusan tersebut, dengan izin yang ditinjau seiring bertambahnya bukti.

Perluas Penerapan Saat Bisnis Mampu Mendukung Agen

Cepat atau lambat, agen yang bekerja dengan baik untuk satu tim harus menangani kebutuhan departemen lain, aplikasi lain, dan rangkaian persetujuan yang berbeda. Memperluas penerapannya memerlukan penanggung jawab yang jelas, kontrol akses yang konsisten, serta cara untuk menangani pengecualian, juga anggaran untuk menjaga agar agen tetap mutakhir ketika proses di sekitarnya berubah.

Keputusan mendasar dalam semua ini adalah seberapa besar tanggung jawab yang siap diserahkan organisasi, dan keputusan itu harus didasarkan pada bukti dari pekerjaan nyata, bukan sekadar demo yang mengesankan. Setelah delapan minggu, pimpinan seharusnya mengetahui tugas apa yang dapat ditangani agen, kapan orang masih perlu turun tangan, dan berapa biaya operasionalnya. Perusahaan yang unggul dalam penerapan AI agen adalah perusahaan yang sejak minggu pertama merancang pekerjaan untuk tahap setelah otomatisasi dan mendanai agen berdasarkan tugas yang benar-benar mereka selesaikan.