Bagaimana Explainable AI Membangun Kepercayaan dan Akuntabilitas

Bisnis telah melompat langsung ke dalam adopsi AI, berlomba untuk menggelar chatbot, generator konten, dan alat pendukung keputusan di seluruh operasional mereka. Menurut McKinsey, 78% perusahaan menggunakan AI dalam setidaknya satu fungsi bisnis.

Kebingungan implementasi ini dapat dimengerti — semua orang melihat nilai potensial. Namun, dalam kerusuhan ini, banyak organisasi mengabaikan fakta bahwa semua teknologi berbasis jaringan saraf, termasuk setiap LLM dan sistem AI generatif yang digunakan saat ini dan untuk masa depan yang dapat diprediksi, berbagi kelemahan signifikan: Mereka tidak dapat diprediksi dan pada akhirnya tidak terkendali.

Beberapa telah belajar, ada konsekuensi nyata sebagai hasilnya. Di salah satu dealer Chevrolet yang telah menggelar chatbot ke situs web mereka, seorang pelanggan berhasil meyakinkan bot yang ditenagai oleh ChatGPT untuk menjualnya sebuah Chevy Tahoe seharga $58.195 hanya untuk $1. Pelanggan lain meminta chatbot untuk menulis skrip Python untuk persamaan dinamika fluida kompleks, yang dengan senang hati dilakukan. Dealer tersebut segera menonaktifkan bot setelah insiden tersebut menjadi viral.

Tahun lalu, Air Canada kalah dalam pengadilan klaim kecil ketika mereka berargumen bahwa chatbot mereka, yang memberikan informasi yang tidak akurat kepada seorang penumpang tentang diskon kematian, “adalah entitas hukum terpisah yang bertanggung jawab atas tindakannya sendiri.”

Ketidakpastian ini berasal dari arsitektur fundamental LLM. Mereka sangat besar dan kompleks sehingga mustahil untuk memahami bagaimana mereka tiba di jawaban tertentu atau memprediksi apa yang akan mereka hasilkan sampai mereka menghasilkan output. Sebagian besar organisasi merespons masalah keandalan ini tanpa sepenuhnya mengenali hal itu.

Solusi yang masuk akal adalah memeriksa hasil AI dengan tangan, yang berhasil tetapi drastis membatasi potensi teknologi. Ketika AI dijadikan asisten pribadi — mengarang teks, mengambil catatan rapat, meringkas dokumen, dan membantu dengan pengkodean — itu memberikan peningkatan produktivitas yang modest. Tidak cukup untuk merevolusi perekonomian.

Manfaat sebenarnya dari AI akan tiba ketika kita berhenti menggunakan AI untuk membantu pekerjaan yang ada dan sebagai gantinya mengubah proses, sistem, dan perusahaan secara keseluruhan untuk menggunakan AI tanpa keterlibatan manusia di setiap langkah. Pertimbangkan pengolahan pinjaman: jika sebuah bank memberikan petugas pinjaman asisten AI untuk meringkas aplikasi, mereka mungkin bekerja 20-30% lebih cepat. Namun, menggelar AI untuk menangani proses pengambilan keputusan secara keseluruhan (dengan pengawasan yang tepat) dapat mengurangi biaya lebih dari 90% dan menghilangkan hampir semua waktu pengolahan. Ini adalah perbedaan antara perbaikan inkremental dan transformasi.

Jalan menuju implementasi AI yang dapat diandalkan

Menggunakan potensi penuh AI tanpa jatuh ke dalam ketidakpastiannya memerlukan campuran yang canggih dari pendekatan teknis dan pemikiran strategis. Sementara beberapa metode saat ini menawarkan solusi parsial, masing-masing memiliki keterbatasan yang signifikan.

Beberapa organisasi mencoba untuk mengurangi masalah keandalan melalui sistem dorongan — mengarahkan perilaku AI dengan halus ke arah yang diinginkan sehingga AI merespons dengan cara tertentu terhadap input tertentu. Peneliti Anthropic menunjukkan kerapuhan dari pendekatan ini dengan mengidentifikasi “fitur Jembatan Emas” dalam jaringan saraf Claude dan, dengan memperkuatnya secara buatan, menyebabkan Claude mengalami krisis identitas. Ketika ditanya tentang bentuk fisiknya, bukan mengakui bahwa tidak ada, Claude mengklaim menjadi Jembatan Emas itu sendiri. Eksperimen ini mengungkapkan betapa mudahnya fungsi inti model dapat diubah dan bahwa setiap dorongan mewakili kompromi, potensial memperbaiki satu aspek kinerja sambil merusak yang lain.

Pendekatan lain adalah memiliki AI memantau AI lain. Sementara pendekatan berlapis ini dapat menangkap beberapa kesalahan, itu memperkenalkan kompleksitas tambahan dan masih belum mencapai keandalan yang komprehensif. Pengawasan yang dikodekan secara keras adalah intervensi yang lebih langsung, seperti memblokir respons yang mengandung kata kunci atau pola tertentu, seperti bahan baku untuk senjata. Sementara efektif melawan masalah yang diketahui, pengawasan ini tidak dapat mengantisipasi output yang bermasalah yang muncul dari sistem kompleks ini.

Pendekatan yang lebih efektif adalah membangun proses yang berfokus pada AI yang dapat bekerja secara otonom, dengan pengawasan manusia yang strategis ditempatkan untuk menangkap masalah keandalan sebelum menyebabkan masalah di dunia nyata. Anda tidak ingin AI langsung menyetujui atau menolak aplikasi pinjaman, tetapi AI bisa melakukan penilaian awal untuk operator manusia untuk ditinjau. Ini bisa berhasil, tetapi itu bergantung pada kewaspadaan manusia untuk menangkap kesalahan AI dan melemahkan potensi efisiensi yang diperoleh dari menggunakan AI.

Membangun untuk masa depan

Solusi parsial ini menunjuk ke arah pendekatan yang lebih komprehensif. Organisasi yang secara mendasar merenovasi bagaimana pekerjaan mereka dilakukan daripada hanya melengkapi proses yang ada dengan bantuan AI akan memperoleh keuntungan terbesar. Namun, AI tidak boleh menjadi langkah terakhir dalam proses atau keputusan yang berisiko tinggi, jadi apa yang merupakan jalur terbaik ke depan?

Pertama, AI membangun proses yang dapat diulang yang akan secara andal dan transparan menghasilkan hasil yang konsisten. Kedua, manusia meninjau proses untuk memastikan mereka memahami bagaimana proses itu bekerja dan bahwa inputnya tepat. Terakhir, proses itu berjalan secara otonom — tanpa menggunakan AI — dengan tinjauan manusia periodik terhadap hasil.

Pertimbangkan industri asuransi. Pendekatan konvensional mungkin menambahkan asisten AI untuk membantu prosesor klaim bekerja lebih efisien. Pendekatan yang lebih revolusioner akan menggunakan AI untuk mengembangkan alat baru — seperti visi komputer yang menganalisis foto kerusakan atau model deteksi penipuan yang ditingkatkan yang mengidentifikasi pola yang mencurigakan — dan kemudian menggabungkan alat-alat ini ke dalam sistem otomatis yang diperintah oleh aturan yang jelas dan dapat dipahami. Manusia akan merancang dan memantau sistem ini daripada memproses klaim individu.

Pendekatan ini mempertahankan pengawasan manusia pada titik kritis di mana hal itu paling penting: desain dan validasi sistem itu sendiri. Ini memungkinkan peningkatan efisiensi eksponensial sambil menghilangkan risiko bahwa ketidakpastian AI akan menyebabkan hasil yang merugikan dalam kasus individu.

AI mungkin mengidentifikasi indikator potensial kemampuan pembayaran pinjaman dalam data transaksi, misalnya. Ahli manusia kemudian dapat mengevaluasi indikator ini untuk keadilan dan membangun model yang eksplisit dan dapat dipahami untuk mengkonfirmasi kekuatan prediktif mereka.

Pendekatan ini terhadap AI yang dapat dijelaskan akan menciptakan pemisahan yang lebih jelas antara organisasi yang menggunakan AI secara superficial dan mereka yang mengubah operasional mereka di sekitar AI. Yang terakhir akan semakin memimpin dalam industri mereka, dapat menawarkan produk dan layanan pada titik harga yang pesaing mereka tidak bisa tandingi.

Tidak seperti AI kotak hitam, sistem AI yang dapat dijelaskan memastikan manusia mempertahankan pengawasan yang bermakna atas penerapan teknologi, menciptakan masa depan di mana AI melengkapi potensi manusia daripada hanya menggantikan tenaga kerja manusia.