Bagaimana Explainable AI Membangun Kepercayaan dan Akuntabilitas

Perusahaan telah terjun ke dalam adopsi AI, berlomba untuk menerapkan chatbot, generator konten, dan alat dukungan keputusan di seluruh operasional mereka. Menurut McKinsey, 78% perusahaan menggunakan AI dalam setidaknya satu fungsi bisnis.

Kebingungan implementasi ini dapat dipahami — semua orang melihat nilai potensial. Namun, dalam kebingungan ini, banyak organisasi mengabaikan fakta bahwa semua teknologi berbasis jaringan saraf, termasuk setiap sistem LLM dan AI generatif yang digunakan saat ini dan di masa depan, memiliki kelemahan signifikan: Mereka tidak dapat diprediksi dan pada akhirnya tidak terkendali.

Beberapa telah belajar, ada konsekuensi nyata sebagai hasilnya. Di sebuah dealer Chevrolet yang telah menerapkan chatbot ke situs webnya, seorang pelanggan berhasil meyakinkan bot ChatGPT-powered untuk menjualnya sebuah Chevrolet Tahoe seharga $58.195 hanya untuk $1. Pelanggan lain meminta chatbot untuk menulis skrip Python untuk persamaan dinamika fluida yang kompleks, yang dilakukannya dengan senang hati. Dealer tersebut segera menonaktifkan bot setelah insiden tersebut menjadi viral.

Tahun lalu, Air Canada kalah dalam pengadilan klaim kecil ketika mereka berargumen bahwa chatbot mereka, yang memberikan informasi yang tidak akurat kepada seorang penumpang tentang diskon kematian, “adalah entitas hukum terpisah yang bertanggung jawab atas tindakannya sendiri.”

Ketidakpastian ini berasal dari arsitektur dasar LLM. Mereka sangat besar dan kompleks sehingga mustahil untuk memahami bagaimana mereka mencapai jawaban tertentu atau memprediksi apa yang akan mereka hasilkan sampai mereka menghasilkan output. Sebagian besar organisasi merespons masalah keandalan ini tanpa sepenuhnya mengenaliinya.

Solusi yang paling masuk akal adalah memeriksa hasil AI secara manual, yang berhasil tetapi secara drastis membatasi potensi teknologi. Ketika AI dijadikan asisten pribadi — menghasilkan teks, mengambil catatan rapat, meringkas dokumen, dan membantu dengan pengkodean — itu memberikan keuntungan produktivitas yang modest. Tidak cukup untuk merevolusi perekonomian.

Manfaat sebenarnya dari AI akan datang ketika kita berhenti menggunakan AI untuk membantu pekerjaan yang ada dan sebagai gantinya merancang ulang proses, sistem, dan perusahaan untuk menggunakan AI tanpa keterlibatan manusia pada setiap langkah. Pertimbangkan pengolahan pinjaman: jika sebuah bank memberikan asisten AI kepada petugas pinjaman untuk meringkas aplikasi, mereka mungkin bekerja 20-30% lebih cepat. Namun, menerapkan AI untuk menangani proses pengambilan keputusan secara keseluruhan (dengan perlindungan yang tepat) dapat mengurangi biaya lebih dari 90% dan menghilangkan hampir semua waktu pengolahan. Ini adalah perbedaan antara perbaikan inkremental dan transformasi.

Jalan menuju implementasi AI yang dapat diandalkan

Menggunakan potensi penuh AI tanpa jatuh ke dalam ketidakpastiannya memerlukan campuran yang canggih dari pendekatan teknis dan pemikiran strategis. Sementara beberapa metode saat ini menawarkan solusi parsial, masing-masing memiliki keterbatasan yang signifikan.

Beberapa organisasi mencoba untuk memitigasi masalah keandalan melalui sistem dorongan — mengarahkan perilaku AI ke arah yang diinginkan sehingga AI merespons dengan cara tertentu terhadap input tertentu. Peneliti Anthropic menunjukkan kerapuhan dari pendekatan ini dengan mengidentifikasi “fitur Jembatan Emas” dalam jaringan saraf Claude dan, dengan memperkuatnya secara buatan, menyebabkan Claude mengalami krisis identitas. Ketika ditanya tentang bentuk fisiknya, bukan mengakui bahwa itu tidak memiliki bentuk, Claude mengklaim adalah Jembatan Emas itu sendiri. Eksperimen ini menunjukkan bagaimana mudahnya fungsi inti model dapat diubah dan bahwa setiap dorongan mewakili kompromi, memperbaiki satu aspek kinerja sambil melemahkan yang lain.

Pendekatan lain adalah memiliki AI memantau AI lain. Sementara pendekatan berlapis ini dapat menangkap beberapa kesalahan, itu memperkenalkan kompleksitas tambahan dan masih jatuh pendek dari keandalan yang komprehensif. Penghalang yang dikodekan secara keras adalah intervensi yang lebih langsung, seperti memblokir respons yang mengandung kata kunci atau pola tertentu, seperti bahan baku untuk senjata. Sementara efektif melawan masalah yang diketahui, penghalang ini tidak dapat memprediksi output yang bermasalah yang muncul dari sistem yang kompleks ini.

Pendekatan yang lebih efektif adalah membangun proses yang berorientasi AI yang dapat bekerja secara otonom, dengan pengawasan manusia yang strategis ditempatkan untuk menangkap masalah keandalan sebelum mereka menyebabkan masalah di dunia nyata. Anda tidak ingin AI langsung menyetujui atau menolak aplikasi pinjaman, tetapi AI bisa melakukan penilaian awal untuk operator manusia untuk ditinjau. Ini bisa berhasil, tetapi itu bergantung pada keteladanan manusia untuk menangkap kesalahan AI dan melemahkan keuntungan efisiensi dari menggunakan AI.

Membangun untuk masa depan

Solusi parsial ini menunjuk ke arah pendekatan yang lebih komprehensif. Organisasi yang secara fundamental merancang ulang bagaimana pekerjaan mereka dilakukan daripada hanya meningkatkan proses yang ada dengan bantuan AI akan mendapatkan keuntungan terbesar. Namun, AI tidak boleh menjadi langkah terakhir dalam proses atau keputusan yang berisiko tinggi, jadi apa jalur terbaik ke depan?

Pertama, AI membangun proses yang dapat diulang yang akan secara konsisten dan transparan menghasilkan hasil yang konsisten. Kedua, manusia meninjau proses untuk memastikan mereka memahami bagaimana proses itu bekerja dan bahwa inputnya tepat. Terakhir, proses itu berjalan secara otonom — tanpa menggunakan AI — dengan tinjauan manusia periodik terhadap hasil.

Pertimbangkan industri asuransi. Pendekatan konvensional mungkin menambahkan asisten AI untuk membantu pengolah klaim bekerja lebih efisien. Pendekatan yang lebih revolusioner akan menggunakan AI untuk mengembangkan alat baru — seperti visi komputer yang menganalisis foto kerusakan atau model deteksi penipuan yang ditingkatkan yang mengidentifikasi pola yang mencurigakan — dan kemudian menggabungkan alat-alat ini menjadi sistem yang diatur oleh aturan yang jelas dan dapat dipahami. Manusia akan merancang dan memantau sistem ini daripada memproses klaim individual.

Pendekatan ini mempertahankan pengawasan manusia pada titik kritis di mana itu paling penting: desain dan validasi sistem itu sendiri. Ini memungkinkan keuntungan efisiensi eksponensial sambil menghilangkan risiko bahwa ketidakpastian AI akan menyebabkan hasil yang merugikan dalam kasus individual.

AI mungkin mengidentifikasi indikator potensial kemampuan pembayaran pinjaman dalam data transaksi, misalnya. Ahli manusia dapat mengevaluasi indikator ini untuk keadilan dan membangun model yang eksplisit dan dapat dipahami untuk mengkonfirmasi kekuatan prediktif mereka.

Pendekatan ini untuk AI yang dapat dijelaskan akan menciptakan perbedaan yang lebih jelas antara organisasi yang menggunakan AI secara superficial dan mereka yang mengubah operasi mereka di sekitar itu. Yang terakhir akan semakin mendahului dalam industri mereka, mampu menawarkan produk dan layanan pada titik harga yang pesaing mereka tidak bisa tandingi.

Tidak seperti AI black-box, sistem AI yang dapat dijelaskan memastikan manusia mempertahankan pengawasan yang bermakna atas penerapan teknologi, menciptakan masa depan di mana AI meningkatkan potensi manusia daripada hanya menggantikan tenaga kerja manusia.