Mengapa AI Perusahaan Gagal Setelah Penerapan – dan Apa yang Dapat Dilakukan

Peringatan: Masalahnya Bukan Model

Pada tahun 2023, Kota New York meluncurkan chatbot MyCity untuk membantu bisnis menavigasi regulasi yang kompleks. Ide dasarnya sederhana: membuat informasi hukum lebih mudah diakses.

Dalam prakteknya, sistem tersebut menghasilkan jawaban yang tidak hanya salah, tetapi juga menyesatkan dari segi hukum – dari aturan tipping hingga diskriminasi perumahan hingga hukum pembayaran.

Sebuah audit kemudian menemukan bahwa 71,4% dari umpan balik pengguna adalah negatif. Alih-alih memperbaiki masalah yang mendasarinya, responsnya adalah menambahkan disclaimer. Chatbot tersebut bahkan tetap dalam “beta” selama lebih dari dua tahun sebelum dihentikan.

Kegagalan tersebut bukanlah teknis. Sistem tersebut rusak dalam produksi karena tidak ada mekanisme untuk memastikan akurasi, tidak ada akuntabilitas yang jelas, dan tidak ada cara untuk mengintervensi ketika sesuatu salah.

Itulah pola di balik AI perusahaan saat ini: teknologinya bekerja, tetapi organisasi tidak siap untuk mengoperasikannya dengan andal ketika sudah live.

Dari Pilot ke Produksi: Di Mana Semuanya Gagal

Membangun pilot cukup sederhana – pilih kasus penggunaan, pilih model, siapkan data, temukan sponsor. Mengoperasikan sistem dalam produksi adalah liga yang berbeda sama sekali.

Gap antara keduanya seperti perbedaan antara melompat ke dalam kolam dan melompat dari stratosfer, seperti yang dilakukan Felix Baumgartner pada tahun 2012. Fisika dasar yang sama, tetapi kondisi yang sangat berbeda – dan konsekuensi yang sangat berbeda jika gagal.

Dalam produksi, AI memasuki alur pengambilan keputusan yang nyata, berinteraksi dengan pelanggan, dan menciptakan konsekuensi hukum dan operasional. Itulah di mana celah mulai muncul – tidak pada model, tetapi pada bagaimana sistem tersebut dikelola.

Eropa membuat hal ini terlihat lebih awal daripada kebanyakan wilayah. Regulasi seperti Undang-Undang AI UE, GDPR, dan NIS2 tidak memperlambat adopsi – mereka mengungkapkan apakah organisasi dapat mengoperasikan sistem AI di bawah kendala yang nyata.

Pada tahun 2025, 55% dari perusahaan besar UE sudah menggunakan AI. Adopsi sudah terjadi dalam skala besar. Tantangan adalah apa yang terjadi setelah penerapan.

Pada titik itu, pertanyaan operasional dasar mulai muncul. Dan seringkali, tidak ada yang dapat menjawabnya: Siapa yang bertanggung jawab atas output AI dan keputusan otonom? Apa yang terjadi ketika sistem berperilaku dengan cara yang tidak terduga? Dan siapa yang akan menangkapnya sebelum kerusakan mencapai media?

Tanggung jawab tetap berada pada perusahaan, bukan teknologi. Chatbot Air Canada memberikan informasi yang salah kepada pelanggan tentang tarif duka. Pelanggan tersebut mengandalkannya dan kemudian ditolak pengembalian dana. Tribunal memutuskan bahwa maskapai penerbangan bertanggung jawab – chatbot tidak merupakan entitas terpisah.

Masalah yang sama, dari sudut yang berbeda: Sistem McHire McDonald’s mengungkapkan data sensitif dari hampir 64.000 pelamar. Penyebabnya bukanlah serangan yang canggih – login admin menggunakan “admin” dan “123456”. Sistem tersebut tampak canggih. Kegagalan tersebut adalah elemen dasar.

Ketika Anda memasang governance pada sistem yang sudah live, itu sudah terlambat. Mengoperasikan sistem adalah keputusan teknis. Mengoperasikannya dengan andal adalah keputusan organisasi. Dan itulah bagian yang paling banyak diremehkan oleh perusahaan.

Siapa yang Sebenarnya Memiliki Risiko AI? Tidak Ada.

Ini adalah inti dari masalah, dan paradoksnya, yang paling sedikit dibahas. IT mengelola infrastruktur. Legal menangani kepatuhan. Tim bisnis mendorong kasus penggunaan. Tetapi tidak ada yang memiliki risiko AI secara menyeluruh.

Hal itu menciptakan dua masalah segera. Keputusan “go” melambat – karena tidak ada yang ingin mengambil tanggung jawab. Dan keputusan “stop” melambat sama – karena tidak ada yang tahu siapa yang dapat.

Data mencerminkannya. Kurang dari 10% dari kasus penggunaan AI berhasil dari pilot ke produksi, dan sebagian besar organisasi kesulitan menghasilkan dampak bisnis yang dapat diukur. Sementara itu, banyak yang sudah menerapkan AI – tetapi menurut survei kematangan governance, hanya 7% yang memiliki governance yang terstruktur dan diterapkan secara konsisten.

Mengapa hal ini terjadi secara konsisten? Karena sebagian besar kerangka dan kebijakan perusahaan mendefinisikan apa yang seharusnya terjadi – bukan siapa yang bertanggung jawab ketika itu penting. Ketika sistem mulai menghasilkan output yang salah pada tengah malam di hari Jumat, pertanyaannya tidak teoritis. Siapa yang bertindak? Dan siapa yang memiliki wewenang untuk memutuskan?

Hal ini hanya memburuk dengan skala. Satu sistem dapat dikelola secara informal. Ketika Anda memiliki tiga puluh, tanggung jawab terfragmentasi di seluruh tim, dan tidak ada yang memiliki gambaran lengkap.

Commonwealth Bank of Australia memberikan contoh yang jelas. Bank tersebut menggantikan 45 pekerja layanan pelanggan dengan bot suara AI, mengharapkan permintaan menurun. Tidak. Volume panggilan meningkat, manajer mengambil alih untuk menangani kelebihan, dan bank harus merekrut kembali semua 45 karyawan. Ketika ditantang, bank tidak dapat menunjukkan bahwa otomatisasi telah mengurangi beban kerja.

Tidak ada yang memvalidasi asumsi sebelum penerapan. Tidak ada yang memiliki hasil ketika asumsi tersebut gagal. Itulah apa yang terlihat seperti vakum akuntabilitas dalam prakteknya.

Mempunyai Aturan Tidak Cukup. Anda Membutuhkan Mekanisme

Sebagian besar organisasi tidak kekurangan kebijakan. Mereka kekurangan sistem yang bekerja ketika sesuatu salah.

Sebuah kebijakan mendefinisikan apa yang seharusnya terjadi. Sebuah mekanisme menentukan apa yang sebenarnya terjadi – ketika model menghasilkan output yang salah, ketika vendor mengubah sesuatu di latar belakang, atau ketika sistem mulai berperilaku dengan cara yang tidak terduga.

Perbedaan itu menjadi terlihat dalam produksi – ketika keputusan harus dibuat di bawah kondisi yang nyata.

Kegagalan-kegagalan tersebut mengikuti dinamika yang konsisten. Dalam setiap kasus, celah operasional yang sama muncul – hanya dalam bentuk yang berbeda.

Kepemilikan Datang Pertama

Setiap sistem AI yang diterapkan membutuhkan pemilik yang jelas bertanggung jawab – satu orang, bukan tim atau departemen, dengan wewenang untuk menyetujui, menghentikan, dan menutupnya.

Tanpa itu, tidak mungkin untuk menerapkan dengan cepat atau mengintervensi dengan aman. Seperti yang terlihat dalam contoh Commonwealth Bank, ketiadaan kepemilikan yang jelas menyebabkan kegagalan operasional.

Data dan Klaritas Hukum Sering Hilang

Banyak sistem yang live tanpa aliran data yang didokumentasikan, dasar hukum yang diverifikasi, atau klaritas tentang kewajiban apa yang berlaku ketika sistem tersebut dalam produksi.

Tindakan regulator Italia terhadap DeepSeek pada tahun 2025 menggambarkan hal ini dengan jelas. Masalahnya bukanlah kualitas model – tetapi ketidakmampuan untuk menjelaskan bagaimana data pribadi ditangani. Hasilnya adalah gangguan layanan tiba-tiba bagi pengguna Eropa.

Pengujian Jarang Mencerminkan Penggunaan Dunia Nyata

Sistem sering dievaluasi pada skenario di mana mereka berperforma dengan baik, tetapi tidak pada kasus di mana kegagalan akan paling berdampak.

Chatbot MyCity adalah contoh yang jelas. Kasus ujung dasar – seputar hukum tenaga kerja, diskriminasi perumahan, atau aturan pembayaran – tidak tertangkap sebelum penerapan. Setelah terkena pengguna yang nyata, kegagalan-kegagalan tersebut menjadi publik segera.

Pengujian bukan hanya tentang kinerja – tetapi tentang mengidentifikasi di mana sistem gagal sebelum pengguna, regulator, atau jurnalis melakukannya.

Intervensi Tidak Jelas atau Terlalu Lambat

Bahkan ketika masalah terlihat, seringkali tidak ada pemicu yang jelas atau wewenang untuk menghentikan atau menutup sistem.

Zillow Offers menunjukkan hal ini dengan skala. Sistem tersebut menggunakan algoritma untuk menentukan harga dan membeli rumah. Ketika pasar mendingin pada tahun 2021, sistem tersebut terus membeli dengan harga yang terlalu tinggi. Tidak ada mekanisme untuk mendeteksi drift pada waktunya, dan tidak ada titik keputusan yang jelas untuk menghentikannya. Hasilnya adalah kerugian yang melebihi $880 juta dan penutupan divisi secara keseluruhan.

Pemantauan Bukan Kepemilikan

Pemantauan seringkali dikurangi menjadi dasbor, tetapi itu bukan yang mencegah kegagalan.

Apa yang penting adalah tanggung jawab yang didefinisikan: siapa yang melacak sinyal, apa yang memicu eskalasi, dan siapa yang diharapkan untuk bertindak.

Kasus Deloitte Australia menunjukkan apa yang terjadi ketika itu hilang. Laporan pemerintah termasuk kutipan yang salah dan referensi hukum yang tidak benar karena tidak ada yang secara eksplisit bertanggung jawab untuk memverifikasi output sebelum pengiriman. Hasilnya adalah pengembalian dana sebagian dan kerusakan reputasi.

AI Agensi: Apa yang Akan Datang Akan Lebih Sulit

AI generatif menghasilkan output. AI agensi mengambil tindakan. Itu mengubah risiko secara keseluruhan.

Alih-alih satu respons untuk dievaluasi, satu instruksi dapat memicu rantai keputusan di seluruh sistem – panggilan API, akses data, transaksi, pembaruan – seringkali tanpa intervensi manusia pada setiap langkah.

Ketika sesuatu salah, masalahnya bukan lagi akurasi. Itu adalah kemudahan jejak. Langkah mana yang menyebabkan masalah? Data apa yang digunakan? Siapa yang mengotorisasi tindakan? Dalam banyak kasus, pertanyaan-pertanyaan tersebut sulit dijawab setelah kejadian.

Itulah di mana celah yang ada menjadi kritis. Kepemilikan yang tidak jelas, pemantauan yang lemah, dan kurangnya intervensi tidak hanya bertahan – mereka berkompromi. Jawaban yang salah dapat diperbaiki. Tindakan yang salah dapat menciptakan konsekuensi sebelum siapa pun menyadari.

Sinyal awal sudah menunjuk ke arah ini. Gartner memperkirakan bahwa lebih dari 40% proyek AI agensi akan dibatalkan pada tahun 2027 – bukan karena keterbatasan model, tetapi karena organisasi kesulitan mengendalikan biaya, risiko, dan hasil. Itu adalah pola yang sama yang kita lihat dengan AI generatif setelah penerapan. Hanya dengan taruhan yang lebih tinggi.

Regulator sudah merespons dengan prinsip sederhana: otomatisasi tidak menghilangkan akuntabilitas. Bagi organisasi, itu menciptakan implikasi yang jelas: jika kepemilikan dan kontrol tidak jelas saat ini, maka penskalaan ke sistem agensi tidak akan menyelesaikan masalah. Itu akan memperburuknya.

Operasikan Ini – Atau Hilangkan

AI tidak lagi menjadi kendala. Model-model tersebut sudah tersedia, mampu, dan semakin komoditis. Pembeda yang sebenarnya bukanlah apakah organisasi dapat membangun AI – tetapi apakah mereka dapat mengoperasikannya dengan andal ketika sudah live.

Itulah di mana kebanyakan kegagalan terjadi – dalam cara sistem dijalankan, bukan dalam cara mereka dibangun. Organisasi yang berhasil tidak akan menjadi mereka yang memiliki model paling canggih. Mereka akan menjadi mereka yang memiliki struktur operasional paling jelas di sekitarnya.

Ini dapat diuji secara langsung. Ambil sistem AI paling penting Anda dan jawab tiga pertanyaan:

• Siapa yang dapat menutupnya?
• Bagaimana Anda tahu ketika itu gagal?
• Apa yang terjadi ketika itu terjadi?

Jika jawaban-jawaban tersebut tidak jelas, sistem tersebut tidak siap untuk produksi.

Modelnya mungkin. Organisasinya tidak.