Mengapa Data yang Lebih Baik Saja Tidak Cukup bagi Agen AI

Selama bertahun-tahun, salah satu saran yang paling sering diberikan terkait AI perusahaan adalah memastikan datanya beres terlebih dahulu. Logikanya sederhana: agar sistem dapat mengambil keputusan yang berguna, sistem memerlukan informasi yang akurat dan mudah diakses.

Pernyataan itu masih benar saat ini, tetapi makin tidak lengkap seiring pergeseran agen AI dari sekadar menjawab pertanyaan dan menghasilkan konten menjadi bertindak atas nama karyawan dan organisasi. Data dapat memberi tahu agen apa yang benar tentang pelanggan, transaksi, klaim, atau permintaan, tetapi belum tentu memberi tahu langkah selanjutnya atau konsekuensi dari suatu tindakan. Perbedaan ini penting ketika agen tidak lagi sekadar memberikan jawaban, tetapi menyetujui permintaan, memperbarui catatan, menghubungi pelanggan, atau memproses suatu kasus.

Karyawan perusahaan diharapkan mampu bekerja dalam struktur yang mencakup rantai persetujuan, aturan bisnis, ketergantungan, pengecualian, dan jalur eskalasi; agen pun memerlukan cara untuk melakukan hal yang sama. Dengan Gartner memperkirakan bahwa 40% aplikasi perusahaan akan menyertakan agen AI untuk tugas tertentu pada akhir 2026, naik dari kurang dari 5% pada 2025, kesenjangan pengetahuan agen akan makin sulit diabaikan. 

Gartner juga memprediksi bahwa pada 2028, 80% ROI nyata dari AI agentik akan berasal dari agen khusus yang dirancang untuk bidang tertentu. Spesialisasi itu penting, tetapi hanya menyelesaikan sebagian masalah. Memahami bidang tertentu tidak serta-merta memberi tahu agen di mana tanggung jawabnya dimulai dan berakhir, bagaimana tugasnya menjadi bagian dari proses yang lebih besar, atau siapa yang harus mengambil alih ketika suatu hal berada di luar cakupan tugasnya. Agar dapat diandalkan dalam pekerjaan perusahaan, agen memerlukan konteks proses alur kerja sekaligus data bisnis.

Data yang Baik Tidak Memberi Tahu Agen Langkah Selanjutnya

Bayangkan pengajuan pinjaman, ketika agen mungkin memiliki akses ke riwayat keuangan pemohon, informasi pekerjaan, dan catatan relevan lainnya. Informasi itu dapat membantunya memahami pengajuan tersebut, tetapi tidak memberi tahu agen bagaimana organisasi menanganinya.

Pemeriksaan mana yang harus dilakukan lebih dahulu? Apa yang berubah jika pemohon memenuhi satu syarat, tetapi tidak memenuhi syarat lainnya? Informasi apa yang wajib tersedia sebelum kasus dapat diproses lebih lanjut? Keputusan mana yang dapat dibuat secara otomatis, dan mana yang harus diserahkan kepada penilai kredit?

Sebagian besar pekerjaan perusahaan memiliki banyak jalur bersyarat seperti ini. Suatu proses mungkin berjalan otomatis ketika kriteria tertentu terpenuhi, berhenti sementara untuk mengumpulkan informasi tambahan, atau mengambil jalur yang sama sekali berbeda saat terjadi pengecualian. Tindakan berikutnya yang tepat bergantung bukan hanya pada informasi yang tersedia, tetapi juga pada tahap proses saat ini dan hal-hal yang sudah terjadi.

Hal ini mengubah makna keandalan bagi agen perusahaan. Jawaban yang akurat tidak cukup jika tindakan berikutnya keliru. Agen dapat menafsirkan informasi yang tersedia dengan benar, tetapi tetap memindahkan kasus ke tahap yang salah, melewatkan persetujuan yang diwajibkan, atau bertindak sebelum suatu prasyarat terpenuhi.

McKinsey baru-baru ini membagikan wawasan tentang pekerjaannya bersama sebuah perusahaan teknologi medis yang mendapati bahwa platform AI yang digunakannya tidak dapat mendukung beberapa aturan inti dalam alur kerjanya. Alih-alih menunda tanggal peluncuran untuk mengatasi kekurangan tersebut, perusahaan itu tetap melanjutkan rencana dan pada akhirnya tidak berhasil merealisasikan sekitar 30% dari nilai yang diharapkan dari AI tersebut. Contoh ini menegaskan perlunya perusahaan memperhitungkan proses yang melingkupi suatu tugas, bukan hanya informasi yang dibutuhkan untuk menyelesaikannya. 

Sesuaikan Batasan Pengaman dengan Keputusan yang Dapat Diambil Agen

Seiring meningkatnya kemampuan agen untuk bertindak, tata kelola juga perlu dibuat lebih spesifik. Agen yang mengambil dokumen kebijakan tidak menimbulkan tingkat risiko yang sama dengan agen yang mengubah akun pelanggan, menyetujui pembayaran, atau memulai transaksi. Namun, organisasi dapat dengan mudah terjebak dalam salah satu dari dua sikap ekstrem: membiarkan agen bertindak terlalu leluasa atau mewajibkan persetujuan manusia untuk hampir semua hal.

Kontrol terhadap agen harus mencerminkan keputusan yang dapat diambilnya dan potensi konsekuensinya. Tindakan berulang berisiko rendah mungkin layak diselesaikan secara mandiri. Tindakan lain mungkin memerlukan persetujuan jika nilainya melampaui batas tertentu. Kasus yang tidak biasa mungkin harus segera dieskalasikan kepada karyawan.

Pengawasan manusia paling bermanfaat jika diterapkan dengan sengaja. Jika seseorang harus menyetujui setiap langkah rutin, sebagian besar manfaat penggunaan agen akan hilang. Namun, menghapus titik pemeriksaan dari keputusan yang benar-benar membutuhkan pertimbangan atau akuntabilitas akan menimbulkan masalah lain.

IBM Research telah menganjurkan aturan yang tegas mengenai tindakan yang boleh dilakukan agen dan titik-titik ketika pengawasan manusia diperlukan. Kontrol tersebut juga harus mempertimbangkan proses yang diikuti agen. Kewenangan agen tidak selalu tetap sama sejak awal hingga akhir penanganan suatu kasus. Tindakan yang dapat dilakukannya dengan aman mungkin bergantung pada tahap proses, informasi yang sudah diverifikasi, keputusan yang sebelumnya dibuat, dan konsekuensi tindakan berikutnya.

Artinya, organisasi perlu menyematkan tata kelola ke dalam alur kerja itu sendiri. Alih-alih memberikan agen serangkaian izin yang luas dan mengandalkannya di semua situasi, organisasi dapat menetapkan kapan agen boleh bertindak secara mandiri, kapan syarat tambahan harus dipenuhi, dan kapan tanggung jawab harus dialihkan kepada seseorang. Dengan demikian, pertanyaannya bukan lagi apakah agen bersifat otonom, melainkan di bagian mana dalam suatu proses otonomi itu tepat diterapkan.

Agen Harus Bekerja dalam Lingkungan Bisnis yang Sudah Ada

Konteks proses menjadi semakin penting ketika agen harus berinteraksi dengan bagian lain dalam perusahaan. Organisasi tidak memulai dari nol. Satu permintaan pelanggan mungkin sudah berpindah-pindah antara sistem CRM, repositori dokumen, platform pengelolaan kasus, dan sistem ERP, sekaligus melibatkan karyawan dari beberapa departemen.

Menempatkan agen di salah satu bagian lingkungan tersebut tidak serta-merta membuat keseluruhan proses menjadi lebih efisien. Agen mungkin menyelesaikan tugasnya sendiri dengan sempurna, tetapi jika setelah itu karyawan harus menyalin hasilnya ke aplikasi lain, menentukan siapa yang membutuhkannya berikutnya, atau memulai ulang proses secara manual di tempat lain, hambatannya hanya berpindah.

Karena itu, perusahaan perlu memandang agen sebagai bagian dari proses yang lebih besar, bukan sebagai alat yang berdiri sendiri. Apa yang memicu agen untuk bekerja? Informasi apa yang diterimanya? Apa tanggung jawabnya? Ke mana pekerjaan dialihkan setelah agen selesai? Dan apa yang terjadi jika agen tidak dapat menyelesaikan tugasnya?

Pertanyaan-pertanyaan tersebut menjadi semakin penting ketika organisasi mulai menerapkan beberapa agen dengan spesialisasi berbeda. Deloitte telah mengidentifikasi orkestrasi sebagai persyaratan utama bagi perusahaan yang beralih ke sistem multiagen, tempat agen yang berbeda dapat menjalankan peran tersendiri dan mengoordinasikan pekerjaan. Orkestrasi di tingkat perusahaan harus mencakup cara agen berkomunikasi dan berkoordinasi satu sama lain, bukan hanya cara mereka beroperasi secara individual. Tanpa pengawasan tersebut, agen berisiko bertindak berdasarkan konteks yang tidak lengkap, memicu tindakan yang saling bertentangan, atau mengabaikan aturan bisnis dan proses persetujuan yang telah ditetapkan. Agen tetap beroperasi di dalam organisasi yang dipenuhi aplikasi, karyawan, aturan bisnis, dan proses yang sudah ada, yang dapat berlangsung selama berhari-hari, berminggu-minggu, atau berbulan-bulan.

Mulailah dengan proses yang perlu diselesaikan, lalu tentukan posisi agen, orang, dan sistem yang sudah ada di dalamnya. Agen mungkin menangani satu langkah secara mandiri, agen lain mungkin melakukan pemeriksaan khusus, seorang karyawan mungkin mengambil keputusan berdasarkan pertimbangan, dan sistem yang sudah ada mungkin menjalankan transaksi akhir. Yang penting, pekerjaan dapat berpindah dari satu pihak ke pihak lain tanpa kehilangan konteks.

Otonomi Memerlukan Struktur

Memberikan struktur yang lebih jelas kepada agen bukan berarti setiap tindakan harus dibatasi dengan lapisan aturan tambahan. Bahkan, yang terjadi bisa sebaliknya. Proses yang jelas dapat membuat organisasi lebih yakin dalam menentukan bagian mana yang dapat ditangani agen secara mandiri, karena batasan, pengecualian, dan titik eskalasi telah ditetapkan. Agen tidak memerlukan kebebasan tanpa batas untuk menghasilkan manfaat yang berarti. Agen membutuhkan tanggung jawab yang cukup untuk mendorong pekerjaan terus berjalan, konteks yang cukup untuk mengetahui langkah berikutnya, serta pemahaman yang jelas tentang kapan tanggung jawab harus dialihkan ke pihak lain.

Data yang lebih baik akan terus meningkatkan kemampuan agen. Namun, kemampuan saja tidak cukup untuk membuat agen berguna di dalam perusahaan. Ujian sebenarnya adalah apakah agen dapat mengambil tindakan yang tepat, pada tahap yang tepat dalam suatu proses, dengan tetap mematuhi batasan yang telah ditetapkan oleh bisnis.