Ketika AI Benar dan Proses yang Salah

Bayangkan skenario umum di layanan keuangan. Sebuah tim mengirimkan AI untuk meninjau kontrak: ratusan halaman, klausa berulang, dan pekerjaan rutin yang biasanya membutuhkan hari-hari bagi karyawan. Model tersebut mengidentifikasi risiko dan referensi ke paragraf yang benar. Namun, outputnya tidak mencapai hasil yang diharapkan.

Ternyata masalahnya ada di folder kontrak, di mana file-file berada berdampingan dengan nama kontrak_v1.docx, kontrak_v2.docx, kontrak_final.docx, kontrak_final2.docx, dan kontrak_finalfinal_THIS_ONE.docx.

AI memilih file yang paling baru disimpan. Namun, file tersebut adalah versi lama yang secara tidak sengaja dibuka dan disimpan secara otomatis minggu lalu.

Model tersebut melakukan apa yang dirancang untuk dilakukan. Proses, bagaimanapun, membiarkannya gagal.

Ketika Model Bukanlah Masalah

Di artikel sebelumnya, saya berargumen bahwa kegagalan AI sering dimulai di luar model – di struktur tata kelola, kepemilikan, dan pengambilan keputusan yang mengelilinginya. Namun, tata kelola hanya sebagian dari masalah. Bahkan sistem AI yang dikelola dengan baik akan bergelut jika proses di bawahnya bergantung pada dokumen yang sudah ketinggalan zaman, pengecualian tidak formal, atau jalur persetujuan yang dirancang untuk kecepatan kerja yang jauh lebih lambat.

Ketika sistem AI menghasilkan hasil yang buruk, model tersebut biasanya menjadi tersangka pertama. Mungkin itu mengalami halusinasi, salah mengerti tugas, atau menerima prompt yang lemah. Namun, kadang-kadang model tersebut melakukan apa yang seharusnya dilakukan. Kegagalan terjadi dalam proses yang menyediakan informasi atau dalam organisasi yang tidak dapat bertindak pada outputnya.

Pengiriman AI mengungkapkan masalah proses yang selalu ada tetapi tidak pernah terlihat – seperti alat diagnostik. Ini memperlihatkan kelemahan yang sebelumnya dikompensasikan oleh orang-orang tanpa berpikir: konteks yang hilang, kepemilikan yang tidak jelas, dan cara kerja tidak formal yang tidak pernah didokumentasikan.

Kecepatan Tanpa Kapasitas

AI tidak hanya mempercepat output. Ini juga mempercepat eskalasi, permintaan keputusan, dan penemuan masalah. Model tersebut mengidentifikasi anomali secara real-time, bukan pada hari Jumat sore ketika seseorang akhirnya menemukan waktu untuk memeriksa log.

Organisasi tidak siap untuk kecepatan ini. Proses persetujuan, jalur eskalasi, wewenang pengambilan keputusan – semuanya dikalibrasi untuk kecepatan manusia. Ketika AI menghasilkan output lebih cepat daripada organisasi dapat menyerapnya, tiga hal dapat terjadi:

• AI menunggu keputusan, menghapus keuntungan efisiensi.
• Karyawan mengabaikan outputnya dan kembali ke proses lama.
• Karyawan mendorong keputusan ke depan tanpa memeriksa dengan benar karena merasa terburu-buru untuk mempertahankan kecepatan.

Beberapa karyawan kembali ke pemeriksaan manual karena itu terasa lebih aman. Yang lain menyetujui hasil yang tidak mereka verifikasi karena merasa terburu-buru untuk mempertahankan kecepatan yang dijanjikan oleh teknologi. Dalam kedua kasus, organisasi membayar untuk output yang lebih cepat tanpa menjadi lebih cepat dalam membuat keputusan yang bertanggung jawab.

Kepemilikan juga dapat menjadi kabur. Siapa yang bertanggung jawab untuk meninjau anomali yang diidentifikasi, memutuskan apakah model tersebut salah, dan meneruskan masalah ketika beberapa tim terlibat? Tanpa jawaban yang jelas, AI terus berjalan di latar belakang, menghasilkan output yang tidak dimiliki oleh siapa pun.

Ini mencerminkan masalah organisasi yang lebih luas. Seperti yang diamati oleh analisis Forbes dari akhir 2025, ketika teknologi mengubah alur kerja lebih cepat daripada organisasi dapat menyerapnya, hasilnya bukanlah efisiensi; melainkan kelelahan. AI mungkin mempercepat satu tahap proses, tetapi nilainya masih bergantung pada apakah organisasi yang mengelilinginya dapat menyerap dan bertindak pada apa yang dihasilkannya.

Pengetahuan Sunyi yang Tidak Pernah Ditulis

Bayangkan bahwa Martin tahu kontrak perusahaan dengan supplier termasuk pengecualian untuk pembayaran di bawah €2.000. Ini disepakati secara lisan tiga tahun yang lalu tetapi tidak pernah didokumentasikan. Ketika perusahaan mengirimkan AI untuk mengotomatisasi persetujuan pembayaran, sistem tersebut memblokir pembayaran – secara benar, menurut kontrak yang tertulis.

Ini adalah pengetahuan tacit: pengetahuan organisasi yang hidup dalam kepala orang-orang, bukan dalam sistem. Setiap perusahaan memiliki ini. Dan sebagian besar perusahaan tidak tahu berapa banyak pengetahuan seperti itu yang mereka miliki.

AI hanya dapat menggunakan pengetahuan yang telah diakses. Pengecualian Martin tidak ada dari perspektif sistem. Tanpa konteks tersebut, keputusannya mungkin secara teknis benar tetapi operasional salah.

McKinsey telah mengidentifikasi tantangan yang sama dalam penerapan AI agen. Membangun agen AI yang efektif memerlukan perusahaan untuk mengkodekan praktik ahli yang mungkin ada dalam prosedur standar – atau hanya sebagai pengetahuan tacit dalam kepala karyawan. Dengan kata lain: penerapan AI mungkin merupakan kali pertama organisasi melihat seberapa banyak proses bergantung pada apa yang Martin ketahui.

Sumber Kesalahan yang Palsu

Output AI yang paling berbahaya tidak selalu salah. Ini mungkin jawaban yang kredibel, disajikan secara profesional, dihasilkan dari informasi yang sudah ketinggalan zaman.

Selama bertahun-tahun, banyak departemen telah beroperasi dengan beberapa versi dokumen yang sama karena Jane dari hukum selalu tahu mana yang berwenang. AI, sayangnya, tidak.

Kecuali jika telah diberi aturan untuk membedakan antara versi, sistem tidak memiliki alasan untuk mempertanyakan dokumen yang diterimanya. Dan sehingga tinjauan AI berjalan dengan benar – pada dokumen yang salah. Ini mungkin lebih buruk daripada tidak ada tinjauan sama sekali karena outputnya terlihat kredibel.

Seorang karyawan berpengalaman mungkin tahu di mana kebenaran berada dan dapat menavigasi melalui kekacauan. Namun, sistem memerlukan cara yang dapat diandalkan untuk mengidentifikasi informasi mana yang saat ini, disetujui, dan relevan.

Pengetahuan tacit, dokumen yang tidak dapat diandalkan, dan proses persetujuan yang dibangun untuk output manusia tampaknya menjadi masalah terpisah. Namun, mereka memiliki penyebab akar yang sama. Tidak ada yang diciptakan oleh AI, tetapi AI membuatnya lebih sulit untuk diabaikan.

Pertanyaan untuk Dijawab Sebelum Membangun Agen

Sebelum mengirimkan agen AI, organisasi harus dapat menjawab tiga pertanyaan.

Keputusan Mana yang Bergantung pada Pengetahuan yang Tidak Pernah Didokumentasikan?

Ini berarti mengidentifikasi pengecualian, jalan pintas, dan keputusan yang dibuat oleh karyawan berpengalaman tanpa menggambarkannya secara sadar. Wawancara saja mungkin tidak mengungkapkan semua pengetahuan ini. Organisasi mungkin perlu mengamati bagaimana pekerjaan sebenarnya dilakukan dan membandingkannya dengan proses resmi.

Bagaimana Sistem Mengidentifikasi Informasi yang Saat Ini, Disetujui, dan Relevan?

Memberikan akses agen ke lebih banyak dokumen tidak menyelesaikan masalah jika tidak dapat membedakan kontrak yang disetujui dari draf atau kebijakan aktif dari yang sudah ketinggalan zaman. Versi, kepemilikan, status persetujuan, dan aturan retensi harus jelas enough untuk sistem mengidentifikasi sumber mana yang harus mengatur keputusannya.

Apakah Proses Persetujuan dan Eskalasi yang Ada Dapat Menyerap Volume dan Kecepatan Outputnya?

Tim harus memperkirakan tidak hanya seberapa banyak pekerjaan yang dapat diselesaikan agen, tetapi juga seberapa banyak tinjauan, pengecualian, dan eskalasi yang mungkin dihasilkan. Kerangka Manajemen Risiko AI NIST merekomendasikan untuk mendefinisikan peran dan tanggung jawab yang jelas untuk pengawasan manusia terhadap sistem AI. Ini perlu dirancang untuk volume yang diharapkan sebelum sistem diterapkan – bukan setelah karyawan menjadi terlalu sibuk dengan itu.

Pertanyaan-pertanyaan ini tidak untuk dijawab sekali dan dilupakan. Proses berubah, dokumen menjadi ketinggalan zaman, dan pengecualian yang tidak didokumentasikan terkumpul lagi. Kesiapan oleh karena itu harus dipertahankan, bukan hanya didirikan sebelum peluncuran.

Kesiapan AI Dimulai dengan Proses

Kesiapan AI bukan hanya tes teknologi. Ini adalah tes apakah organisasi telah membuat prosesnya sendiri cukup eksplisit untuk teknologi beroperasi di dalamnya.

Mempersiapkan organisasi untuk AI melibatkan lebih dari memilih model atau membangun agen. Ini berarti mengklarifikasi kepemilikan, mengidentifikasi informasi yang berwenang, mendokumentasikan pengecualian, dan merancang kembali bagaimana output dininjau, diteruskan, dan diaktifkan.

Ini adalah pekerjaan yang sulit, tetapi penerapan yang gagal akhirnya akan memaksa organisasi untuk melakukannya juga. Satu-satunya variabel adalah waktu.