Mengapa Kepercayaan Buta pada AI Bisa Menjadi Keputusan Terburuk Anda

Pada 1979, sebuah Manual Pelatihan IBM membuat peringatan sederhana tetapi mengesankan: “Komputer tidak pernah dapat dipertanggungjawabkan; oleh karena itu, komputer tidak pernah membuat keputusan manajemen.” Dan lebih dari 45 tahun kemudian, pernyataan ini terasa seperti sebuah nubuat yang diabaikan.

Pada 2025, AI tidak hanya membantu; itu membuat keputusan otonom, dan dalam banyak kasus, itu tidak hanya memutuskan tetapi juga memimpin. Faktanya, sekitar 74% eksekutif lebih percaya diri pada AI untuk saran bisnis dibandingkan dengan rekan atau teman, 38% mempercayai AI untuk membuat keputusan bisnis untuk mereka, dan 44% mendeferensikan alasan teknologi tersebut atas wawasan mereka sendiri. Perubahan ini jelas; AI adalah insting alami baru.

Tapi ada masalah. Kepercayaan pada AI hanya mungkin jika algoritma tersebut layak dipercaya. Dan ketika kepercayaan ditempatkan secara buta, terutama pada black box yang tidak dapat dipahami atau diaudit, itu adalah risiko yang menyamar sebagai kemajuan. Seperti halnya kepemimpinan manusia, kepercayaan tanpa pertanggungjawaban adalah berbahaya, dan ketika AI salah, siapa yang akan jatuh?

Ketika Alat Menjadi Bos

Apa yang dimulai sebagai alat untuk mempermudah operasi kantor belakang sekarang digunakan dalam proses bisnis inti. Tapi perusahaan tidak hanya menggunakan AI untuk mensupport keputusan manusia; mereka sekarang mempercayai AI, terutama generative AI (GenAI), untuk membuat keputusan bisnis, dari strategi bisnis hingga layanan pelanggan, pemodelan keuangan, dan lain-lain.

Perubahan ini dapat dipahami. AI tidak terganggu, lupa instruksi, atau biarkan emosi mendungkan penilaianannya. Bagi banyak perusahaan, ini menawarkan obat yang menarik untuk risiko kesalahan manusia. Namun, pertanyaan kunci tetap: dapatkah kita mempercayai AI untuk menjadi bos dan membuat keputusan secara independen?

Ini bukan jawaban yang sederhana, tetapi salah satu cara untuk melihatnya adalah bagaimana kita menilai kepercayaan orang: dengan kompetensi, keandalan, dan niat yang jelas. Prinsip yang sama berlaku untuk AI.

Untuk dipercaya, sistem AI harus menghasilkan hasil yang akurat, tepat waktu, dan sesuai. Tapi tingkat kepercayaan dan margin untuk kesalahan bervariasi tergantung pada konteks. Misalnya, ketika mendiagnosis kanker dari citra medis, batang untuk kegagalan sangat rendah. Sebaliknya, ketika menghasilkan ide untuk kampanye pemasaran, ada lebih banyak ruang untuk eksperimen.

Kami telah melihat AI digunakan untuk membuat keputusan otonom di bidang seperti persetujuan kredit, dengan bank menggunakan algoritma untuk menentukan kelayakan pinjaman dalam hitungan detik. Penjual menggunakan AI untuk mengelola persediaan dan harga tanpa input manusia. Tapi kami juga telah melihat kegagalan—seperti mobil self-driving yang salah menilai kondisi jalan.

Satu kisah peringatan menunjukkan risiko meletakkan terlalu banyak kepercayaan pada AI tanpa pengawasan yang memadai. Derek Mobley—seorang pria kulit hitam di atas 40—mengajukan lebih dari 100 posisi melalui sistem perekrutan AI Workday sejak 2017 dan ditolak setiap kali. Ia mengklaim diskriminasi berdasarkan usia dan ras. Pada Mei 2025, pengadilan mengabulkan tindakan kolektif nasional. Kelas ini mencakup semua pelamar berusia 40+ yang mengajukan melalui Workday sejak September 2020 dan ditolak berdasarkan rekomendasi AI.

Contoh ini membuat poin penting: AI kekurangan kecerdasan emosional, penalaran moral, atau rasa keadilan alami. Dan karena AI bergerak dari asisten manusia ke pengambil keputusan independen, sekarang ada kekosongan pertanggungjawaban. Ketika algoritma diizinkan berjalan tanpa pemeriksaan dan keseimbangan manusia, mereka dapat dan membuat keputusan buruk dan memperkuat bias yang ada.

Pertanyaan di Sekitar Black Box

Black box—ketika sistem dan logika AI tidak sepenuhnya terlihat—semakin umum. Meskipun mereka mungkin memiliki lapisan yang terlihat, pengembang dan pengguna masih tidak dapat melihat apa yang terjadi di setiap lapisan, membuatnya tidak transparan.

Misalnya, ChatGPT adalah black box, karena bahkan pembuatnya tidak yakin bagaimana itu bekerja, karena itu dilatih pada set data yang sangat besar. Tapi karena kurangnya transparansi, apakah pernah ok untuk ‘mempercayai’ model AI tanpa memahami sepenuhnya bagaimana itu bekerja?

Dalam singkat, tidak: halusinasi AI semakin parah. Ini berarti dalam skenario dengan taruhan tinggi, seperti keputusan keuangan, saran hukum, dan wawasan medis, AI menuntut validasi yang ketat, cross-referencing, dan pengawasan manusia.

Gugatan Disney dan Universal yang diajukan pada Juni 2025 memperkuat poin ini. Studio-studio tersebut mengklaim bahwa alat GenAI dilatih pada materi hak cipta untuk membuat konten baru tanpa izin. Kasus ini menyoroti kenyataan baru: ketika perusahaan menggelar model AI yang tidak mereka pahami sepenuhnya, mereka mungkin akan bertanggung jawab atas keputusan yang diambil. Dan ketidaktahuan bukanlah pertahanan; itu adalah kewajiban.

Namun, kita sering meletakkan kepercayaan pada sistem kompleks yang tidak kita pahami. Misalnya, sebagian besar penumpang pesawat tidak dapat menjelaskan fisika penerbangan, tetapi orang naik pesawat dengan percaya diri karena kita telah membangun kepercayaan melalui paparan berulang, pengalaman kolektif, dan catatan keamanan yang kuat.

Logika yang sama dapat diterapkan lagi pada AI. Tidak masuk akal untuk mengharapkan semua orang memahami bagaimana LLM sebenarnya bekerja. Tapi kepercayaan tidak dibangun pada pemahaman; itu membutuhkan familiaritas, transparansi tentang keterbatasan dan pola kinerja yang dapat diandalkan. Insinyur aerospace tahu apa tes yang harus diterapkan dan apa kesalahan terlihat, dan kita harus menuntut hal yang sama dari penyedia GenAI. Prinsip dasar AI haruslah kepercayaan, tapi verifikasi.

Selanjutnya, pemimpin bisnis sering percaya bahwa AI akan menjadi peluru perak yang akan menyelesaikan semua masalah bisnis mereka. Namun, mitos ini menghantui banyak perusahaan ketika mengintegrasikan AI. Pemimpin mungkin lebih suka model yang kompleks dan canggih, tetapi solusi yang lebih sederhana mungkin lebih sesuai jika mereka melakukan analisis biaya-manfaat. AI adalah instrumen yang kuat, tetapi tidak sesuai untuk setiap tugas. Perusahaan perlu mengenali masalah sebelum mereka memilih alat.

Membangun Kembali Kepercayaan pada AI

Sementara jelas bahwa mempercayai AI secara buta adalah masalah, sistem dan algoritma AI dapat menjadi alat terbesar yang pernah dimiliki bisnis—ketika digunakan dengan aman.

Untuk bisnis yang ingin memanfaatkan alat AI, hal pertama yang perlu diteliti adalah due diligence vendor. Ketika bisnis telah mengidentifikasi area yang dapat diuntungkan dari efisiensi AI, pemimpin bisnis harus mengevaluasi vendor tidak hanya pada klaim kinerja tetapi juga pada kontrol tata kelola. Ini termasuk meninjau bagaimana model dikembangkan, apakah alat penjelasan ada, bagaimana bias dipantau dan apakah jejak audit tersedia. Memilih vendor dengan proses transparan sangat penting untuk memitigasi risiko dari awal.

Mungkin poin paling penting ketika membangun kepercayaan pada sistem AI adalah memastikan tata kelola data dengan dataset yang bersih, representatif, dan didokumentasikan dengan baik. Seperti yang dikatakan: sampah masuk, sampah keluar. Oleh karena itu, jika data tidak lengkap, bias, atau tidak akurat, bahkan model yang paling canggih akan menghasilkan hasil yang tidak dapat diandalkan.

Untuk memastikan data siap AI, bisnis harus:

• Mengaudit dataset yang ada untuk celah dan duplikasi, dan memeriksa sumber bias

• Membakukan format data

• Mengimplementasikan kebijakan tata kelola data yang mendefinisikan kepemilikan dan kontrol akses

Langkah kunci lainnya untuk pemimpin bisnis adalah melakukan pengujian stres di bawah kondisi yang berbeda. Meskipun model mungkin berkinerja baik dalam tes terkontrol, penting untuk memahami keterbatasan model ketika dihadapkan pada data atau input baru yang tidak terduga. Ini adalah alasan mengapa penting untuk menguji AI dalam berbagai situasi, dengan jenis pengguna yang berbeda, kasus penggunaan yang berbeda, dan data dari periode waktu yang berbeda.

Validasi AI juga merupakan tugas yang berkelanjutan. Ketika data berubah seiring waktu, bahkan model AI yang dapat diandalkan dapat kehilangan akurasi. Itulah mengapa pemantauan reguler sangat penting. Bisnis perlu memantau bagaimana model kinerjanya dari hari ke hari: apakah masih akurat? Atau apakah kesalahan positif palsu meningkat? Dan seperti halnya sistem yang memerlukan perawatan, model harus diperbarui secara teratur dengan data baru untuk tetap relevan.

AI tidak dapat dipercaya atau tidak dapat dipercaya; itu dibentuk oleh data yang dipelajari, orang-orang yang membuatnya, dan aturan yang mengaturinya. Ketika AI berkembang dari alat yang berguna menjadi penasihat bisnis, pemimpin memiliki pilihan untuk tidak hanya menggunakannya tetapi untuk melakukannya dengan cara yang bertanggung jawab dan etis. Jika kita melakukannya dengan benar, AI tidak hanya akan kuat di masa depan tetapi juga akan bertanggung jawab, dengan pertanggungjawaban yang jelas berada pada pengembang dan pengawasnya.