Mengapa Kepercayaan Buta pada AI Bisa Menjadi Keputusan Terburuk Anda

Pada tahun 1979, sebuah Buku Panduan Pelatihan IBM membuat peringatan sederhana tapi mencolok: “Komputer tidak pernah dapat dipertanggungjawabkan; oleh karena itu, komputer tidak pernah membuat keputusan manajemen.” Dan lebih dari 45 tahun kemudian, pernyataan ini terasa seperti sebuah nubuat yang diabaikan.

Pada tahun 2025, AI tidak hanya membantu; tetapi juga membuat keputusan otonom, dan dalam banyak kasus, AI tidak hanya memutuskan tetapi juga memimpin. Faktanya, sekitar 74% eksekutif lebih percaya pada AI untuk saran bisnis dibandingkan dengan rekan atau teman, 38% mempercayai AI untuk membuat keputusan bisnis untuk mereka, dan 44% mendeferensikan teknologi ini atas penalaran mereka sendiri. Perubahan ini jelas; AI adalah insting baru.

Tapi ada masalah. Kepercayaan pada AI hanya mungkin jika algoritma tersebut layak dipercaya. Dan ketika kepercayaan ditempatkan secara buta, terutama pada kotak hitam yang tidak dapat dipahami atau diaudit, itu adalah risiko yang disamarkan sebagai kemajuan. Seperti halnya kepemimpinan manusia, kepercayaan tanpa pertanggungjawaban adalah berbahaya, dan ketika AI salah, siapa yang harus bertanggung jawab?

Ketika Alat Menjadi Bos

Apa yang dimulai sebagai alat untuk menyederhanakan operasi kantor belakang sekarang digunakan dalam proses bisnis inti. Tetapi perusahaan tidak hanya menggunakan AI untuk menunjang keputusan manusia; mereka sekarang mempercayai AI, terutama AI generatif (GenAI), untuk membuat keputusan bisnis, dari strategi bisnis hingga layanan pelanggan, pemodelan keuangan, dan lain-lain.

Perubahan ini dapat dipahami. AI tidak terganggu, tidak lupa instruksi, atau membiarkan emosi mendungkan penilaian. Bagi banyak perusahaan, ini menawarkan obat yang menarik untuk risiko kesalahan manusia. Namun, pertanyaan kunci tetap: dapatkah kita mempercayai AI untuk menjadi bos dan membuat keputusan secara mandiri?

Tidak ada jawaban yang sederhana, tetapi salah satu cara untuk melihatnya adalah bagaimana kita menilai kepercayaan orang: dengan kompetensi, keandalan, dan niat yang jelas. Prinsip yang sama berlaku untuk AI.

Untuk dipercaya, sistem AI harus menghasilkan hasil yang akurat, tepat waktu, dan sesuai. Tetapi tingkat kepercayaan dan margin kesalahan bervariasi tergantung pada konteks. Misalnya, ketika mendiagnosis kanker dari citra medis, batang kesalahan sangat rendah. Sebaliknya, ketika menghasilkan ide untuk kampanye pemasaran, ada ruang untuk eksperimen.

Kita telah melihat AI digunakan untuk membuat keputusan otonom di bidang seperti persetujuan kredit, dengan bank menggunakan algoritma untuk menentukan kelayakan pinjaman dalam hitungan detik. Penjual menggunakan AI untuk mengelola persediaan dan harga tanpa input manusia. Tetapi kita juga telah melihat kegagalan—seperti mobil self-driving yang salah menilai kondisi jalan.

Satu kisah peringatan menunjukkan risiko meletakkan kepercayaan yang terlalu besar pada AI tanpa pengawasan yang memadai. Derek Mobley—seorang pria kulit hitam di atas 40—mengajukan lebih dari 100 posisi melalui sistem perekrutan AI Workday sejak 2017 dan ditolak setiap kali. Ia mengajukan gugatan diskriminasi berdasarkan usia dan ras. Pada Mei 2025, pengadilan mengabulkan tindakan kolektif nasional. Kelas ini mencakup semua pelamar berusia 40+ yang mengajukan melalui Workday sejak September 2020 dan ditolak berdasarkan rekomendasi AI.

Kisah ini membuat titik penting: AI kekurangan kecerdasan emosional, penalaran moral, atau rasa keadilan alami. Dan karena AI bergerak dari asisten manusia ke pengambil keputusan independen, ada kekosongan pertanggungjawaban. Ketika algoritma diizinkan berjalan tanpa pemeriksaan dan keseimbangan manusia, mereka dapat dan membuat keputusan yang buruk serta memperkuat bias yang ada.

Pertanyaan di Sekitar Kotak Hitam

Kotak hitam—ketika sistem dan logika AI tidak sepenuhnya terlihat—semakin umum. Meskipun mereka mungkin memiliki lapisan yang terlihat, pengembang dan pengguna masih tidak dapat melihat apa yang terjadi di setiap lapisan, membuatnya tidak transparan.

Misalnya, ChatGPT adalah kotak hitam, karena bahkan para pembuatnya tidak yakin bagaimana itu bekerja, karena dilatih pada set data yang sangat besar. Tetapi karena kurangnya transparansi, apakah pernah benar untuk ‘mempercayai’ model AI tanpa memahami sepenuhnya bagaimana itu bekerja?

Dalam singkat, tidak: halusinasi AI semakin parah. Ini berarti dalam skenario dengan taruhan tinggi, seperti keputusan keuangan, saran hukum, dan wawasan medis, AI memerlukan validasi yang ketat, cross-referencing, dan pengawasan manusia.

Gugatan Disney dan Universal yang diajukan pada Juni 2025 memperkuat titik ini. Studio-studio tersebut mengklaim bahwa alat GenAI dilatih pada materi hak cipta untuk membuat konten baru tanpa izin. Kasus ini menyoroti kenyataan baru: ketika perusahaan menggelar model AI yang tidak mereka pahami sepenuhnya, mereka mungkin akan bertanggung jawab atas keputusan yang diambil. Dan ketidaktahuan bukanlah pertahanan; itu adalah kewajiban.

Namun, kita sering mempercayai sistem kompleks yang tidak kita pahami. Misalnya, sebagian besar penumpang pesawat tidak dapat menjelaskan fisika penerbangan, tetapi orang naik pesawat dengan percaya diri karena kita telah membangun kepercayaan melalui paparan berulang, pengalaman bersama, dan catatan keselamatan yang kuat.

Logika yang sama dapat diterapkan kembali pada AI. Tidak masuk akal untuk mengharapkan semua orang memahami bagaimana LLM sebenarnya bekerja. Tetapi kepercayaan tidak dibangun pada pemahaman; itu memerlukan familiaritas, transparansi tentang keterbatasan, dan pola kinerja yang dapat diandalkan. Insinyur aerospace tahu apa tes yang harus diterapkan dan apa kesalahan yang terlihat, dan kita harus menuntut hal yang sama dari penyedia GenAI. Prinsip dasar AI haruslah kepercayaan, tetapi verifikasi.

Selain itu, pemimpin bisnis sering percaya bahwa AI akan menjadi peluru perak yang akan menyelesaikan semua masalah bisnis mereka. Namun, mitos ini menghantui banyak perusahaan ketika mengintegrasikan AI. Pemimpin mungkin lebih suka model yang kompleks dan canggih, tetapi solusi yang lebih sederhana mungkin lebih sesuai jika mereka melakukan analisis biaya-manfaat. AI adalah instrumen yang kuat, tetapi tidak sesuai untuk setiap tugas. Perusahaan perlu mengenali masalah sebelum memilih alat.

Membangun Kembali Kepercayaan pada AI

Sementara jelas bahwa mempercayai AI secara buta adalah masalah, sistem dan algoritma AI dapat menjadi alat terbesar yang pernah dimiliki bisnis—ketika digunakan dengan aman.

Bagi bisnis yang ingin memanfaatkan alat AI, hal pertama yang perlu diteliti adalah due diligence vendor. Ketika bisnis telah mengidentifikasi area yang dapat diuntungkan dari efisiensi AI, pemimpin bisnis harus mengevaluasi vendor tidak hanya pada klaim kinerja tetapi juga pada kontrol tata kelola. Ini termasuk meninjau bagaimana model dikembangkan, apakah alat penjelasan ada, bagaimana bias dipantau, dan apakah jejak audit tersedia. Memilih vendor dengan proses yang transparan sangat penting untuk memitigasi risiko dari awal.

Mungkin poin paling penting ketika membangun kepercayaan pada sistem AI adalah memastikan tata kelola data dengan dataset yang bersih, representatif, dan didokumentasikan dengan baik. Seperti yang dikatakan: sampah masuk, sampah keluar. Oleh karena itu, jika data tidak lengkap, bias, atau tidak akurat, bahkan model yang paling canggih akan menghasilkan hasil yang tidak dapat diandalkan.

Untuk memastikan data siap AI, bisnis harus:

• Mengaudit dataset yang ada untuk celah dan duplikat, dan memeriksa sumber bias

• Membakukan format data

• Mengimplementasikan kebijakan tata kelola data yang mendefinisikan kepemilikan dan kontrol akses

Langkah kunci lain bagi pemimpin bisnis untuk melakukan adalah pengujian stres di bawah kondisi yang berbeda. Meskipun model mungkin berkinerja baik dalam tes terkendali, sangat penting untuk memahami keterbatasan model ketika dihadapkan pada data atau input baru yang tidak terduga. Ini adalah alasan mengapa penting untuk menguji AI dalam berbagai situasi, dengan jenis pengguna yang berbeda, kasus penggunaan yang berbeda, dan data dari periode waktu yang berbeda.

Validasi AI juga merupakan tugas yang berkelanjutan. Ketika data berubah seiring waktu, bahkan model AI yang dapat diandalkan dapat kehilangan akurasi. Itulah mengapa pemantauan teratur sangat penting. Bisnis perlu memantau bagaimana model kinerja sehari-hari: apakah masih akurat? Atau apakah positif palsu mulai meningkat? Dan seperti sistem lain yang memerlukan pemeliharaan, model harus dilatih ulang secara teratur dengan data baru untuk tetap relevan.

AI tidak dapat dipercaya atau tidak dapat dipercaya; itu dibentuk oleh data yang dipelajari, orang-orang yang membuatnya, dan aturan yang mengaturinya. Ketika AI berkembang dari alat yang berguna menjadi penasihat bisnis, pemimpin memiliki pilihan untuk tidak hanya menggunakan AI tetapi untuk melakukannya dengan cara yang bijak dan etis. Jika kita melakukannya dengan benar, AI tidak hanya akan kuat di masa depan tetapi juga akan bertanggung jawab, dengan pertanggungjawaban yang jelas berada pada pengembang dan pengawasnya.