Apa itu Explainable AI?

Seiring kecerdasan buatan (AI) menjadi semakin kompleks dan diadopsi secara luas di seluruh masyarakat, salah satu kumpulan proses dan metode yang paling kritis adalah explainable AI (AI yang dapat dijelaskan), terkadang disebut sebagai XAI. Explainable AI dapat didefinisikan sebagai:

• Sekumpulan proses dan metode yang membantu pengguna manusia memahami dan mempercayai hasil dari algoritma pembelajaran mesin.

Seperti yang bisa ditebak, kemampuan untuk dijelaskan ini sangat penting karena algoritma AI mengambil kendali atas banyak sektor, yang membawa risiko bias, algoritma yang salah, dan masalah lainnya. Dengan mencapai transparansi melalui kemampuan untuk dijelaskan, dunia dapat benar-benar memanfaatkan kekuatan AI. Explainable AI, sesuai namanya, membantu mendeskripsikan model AI, dampaknya, dan potensi bias. Ini juga berperan dalam mengkarakterisasi akurasi model, keadilan, transparansi, dan hasil dalam proses pengambilan keputusan yang didukung AI. Organisasi yang digerakkan oleh AI saat ini harus selalu mengadopsi proses explainable AI untuk membantu membangun kepercayaan dan keyakinan pada model AI yang sedang berproduksi. Explainable AI juga merupakan kunci untuk menjadi perusahaan yang bertanggung jawab dalam lingkungan AI saat ini. Karena sistem AI saat ini sangat maju, manusia biasanya melakukan proses perhitungan untuk menelusuri kembali bagaimana algoritma sampai pada hasilnya. Proses ini menjadi “kotak hitam,” yang berarti tidak mungkin untuk dipahami. Ketika model yang tidak dapat dijelaskan ini dikembangkan langsung dari data, tidak ada yang bisa memahami apa yang terjadi di dalamnya. Dengan memahami bagaimana sistem AI beroperasi melalui explainable AI, pengembang dapat memastikan bahwa sistem bekerja sebagaimana mestinya. Ini juga dapat membantu memastikan model memenuhi standar peraturan, dan memberikan kesempatan bagi model untuk ditantang atau diubah.

Gambar: Dr. Matt Turek/DARPA

Perbedaan Antara AI dan XAI

Beberapa perbedaan kunci membantu memisahkan AI “biasa” dari explainable AI, tetapi yang terpenting, XAI menerapkan teknik dan metode spesifik yang membantu memastikan setiap keputusan dalam proses ML dapat dilacak dan dijelaskan. Sebagai perbandingan, AI biasa biasanya sampai pada hasilnya menggunakan algoritma ML, tetapi tidak mungkin untuk sepenuhnya memahami bagaimana algoritma sampai pada hasil tersebut. Dalam kasus AI biasa, sangat sulit untuk memeriksa akurasinya, yang mengakibatkan hilangnya kendali, akuntabilitas, dan kemampuan diaudit.

Manfaat Explainable AI

Ada banyak manfaat bagi organisasi mana pun yang ingin mengadopsi explainable AI, seperti:

• Hasil yang Lebih Cepat: Explainable AI memungkinkan organisasi untuk secara sistematis memantau dan mengelola model untuk mengoptimalkan hasil bisnis. Memungkinkan untuk terus mengevaluasi dan meningkatkan kinerja model serta menyempurnakan pengembangan model.
• Memitigasi Risiko: Dengan mengadopsi proses explainable AI, Anda memastikan bahwa model AI Anda dapat dijelaskan dan transparan. Anda dapat mengelola persyaratan peraturan, kepatuhan, risiko, dan lainnya sambil meminimalkan beban pemeriksaan manual. Semua ini juga membantu mengurangi risiko bias yang tidak diinginkan. 
• Membangun Kepercayaan: Explainable AI membantu membangun kepercayaan pada AI produksi. Model AI dapat dengan cepat diluncurkan ke produksi, Anda dapat memastikan interpretabilitas dan kemampuan untuk dijelaskan, serta proses evaluasi model dapat disederhanakan dan dibuat lebih transparan.

Teknik untuk Explainable AI

Ada beberapa teknik XAI yang harus dipertimbangkan oleh semua organisasi, dan terdiri dari tiga metode utama: akurasi prediksi, kemampuan dilacak, dan pemahaman keputusan. Metode pertama dari ketiganya, akurasi prediksi, sangat penting untuk berhasil menggunakan AI dalam operasi sehari-hari. Simulasi dapat dilakukan, dan keluaran XAI dapat dibandingkan dengan hasil dalam set data pelatihan, yang membantu menentukan akurasi prediksi. Salah satu teknik yang lebih populer untuk mencapai ini disebut Local Interpretable Model-Agnostic Explanations (LIME), sebuah teknik yang menjelaskan prediksi pengklasifikasi oleh algoritma pembelajaran mesin. Metode kedua adalah kemampuan dilacak, yang dicapai dengan membatasi bagaimana keputusan dapat dibuat, serta menetapkan ruang lingkup yang lebih sempit untuk aturan dan fitur pembelajaran mesin. Salah satu teknik kemampuan dilacak yang paling umum adalah DeepLIFT, atau Deep Learning Important FeaTures. DeepLIFT membandingkan aktivasi setiap neuron dengan neuron referensinya sambil menunjukkan tautan yang dapat dilacak antara setiap neuron yang diaktifkan. Ini juga menunjukkan ketergantungan di antara mereka. Metode ketiga dan terakhir adalah pemahaman keputusan, yang berfokus pada manusia, tidak seperti dua metode lainnya. Pemahaman keputusan melibatkan edukasi organisasi, khususnya tim yang bekerja dengan AI, untuk memungkinkan mereka memahami bagaimana dan mengapa AI membuat keputusan. Metode ini sangat penting untuk membangun kepercayaan pada sistem.

Prinsip Explainable AI

Untuk memberikan pemahaman yang lebih baik tentang XAI dan prinsip-prinsipnya, National Institute of Standards (NIST), yang merupakan bagian dari Departemen Perdagangan AS, memberikan definisi untuk empat prinsip explainable AI:

1. Sistem AI harus memberikan bukti, dukungan, atau penalaran untuk setiap keluaran. 
2. Sistem AI harus memberikan penjelasan yang dapat dipahami oleh penggunanya. 
3. Penjelasan harus secara akurat mencerminkan proses yang digunakan sistem untuk sampai pada keluarannya. 
4. Sistem AI hanya harus beroperasi di bawah kondisi yang dirancang untuknya, dan tidak boleh memberikan keluaran ketika kurang memiliki kepercayaan diri yang cukup pada hasilnya.

Prinsip-prinsip ini dapat diorganisir lebih lanjut menjadi:

• Berarti: Untuk mencapai prinsip kebermaknaan, seorang pengguna harus memahami penjelasan yang diberikan. Ini juga bisa berarti bahwa dalam kasus algoritma AI yang digunakan oleh berbagai jenis pengguna, mungkin ada beberapa penjelasan. Misalnya, dalam kasus mobil self-driving, satu penjelasan mungkin seperti…”AI mengkategorikan kantong plastik di jalan sebagai batu, dan karena itu mengambil tindakan untuk menghindarinya.” Sementara contoh ini akan berfungsi untuk pengemudi, itu tidak akan sangat berguna bagi pengembang AI yang ingin memperbaiki masalah. Dalam kasus itu, pengembang harus memahami mengapa terjadi kesalahan klasifikasi. 
• Akurasi Penjelasan: Berbeda dengan akurasi keluaran, akurasi penjelasan melibatkan algoritma AI yang secara akurat menjelaskan bagaimana ia mencapai keluarannya. Misalnya, jika algoritma persetujuan pinjaman menjelaskan keputusan berdasarkan pendapatan aplikasi padahal sebenarnya, itu didasarkan pada tempat tinggal pemohon, penjelasannya akan tidak akurat. 
• Batas Pengetahuan: Batas pengetahuan AI dapat dicapai dengan dua cara, dan melibatkan masukan yang berada di luar keahlian sistem. Misalnya, jika sebuah sistem dibangun untuk mengklasifikasikan spesies burung dan diberi gambar apel, sistem harus dapat menjelaskan bahwa masukan itu bukan burung. Jika sistem diberi gambar yang buram, sistem harus dapat melaporkan bahwa ia tidak dapat mengidentifikasi burung dalam gambar, atau alternatifnya, bahwa identifikasinya memiliki kepercayaan diri yang sangat rendah.

Peran Data dalam Explainable AI

Salah satu komponen terpenting dari explainable AI adalah data. Menurut Google, mengenai data dan explainable AI, “sistem AI paling baik dipahami oleh data pelatihan dan proses pelatihan yang mendasarinya, serta model AI yang dihasilkan.” Pemahaman ini bergantung pada kemampuan untuk memetakan model AI yang telah dilatih ke set data persis yang digunakan untuk melatihnya, serta kemampuan untuk memeriksa data secara mendalam. Untuk meningkatkan kemampuan untuk dijelaskan dari suatu model, penting untuk memperhatikan data pelatihan. Tim harus menentukan asal usul data yang digunakan untuk melatih algoritma, legalitas dan etika seputar perolehannya, potensi bias dalam data, dan apa yang dapat dilakukan untuk mengurangi bias apa pun. Aspek kritis lainnya dari data dan XAI adalah bahwa data yang tidak relevan dengan sistem harus dikecualikan. Untuk mencapai ini, data yang tidak relevan tidak boleh disertakan dalam set pelatihan atau data masukan. Google telah merekomendasikan serangkaian praktik untuk mencapai interpretabilitas dan akuntabilitas:

• Rencanakan opsi Anda untuk mengejar interpretabilitas
• Anggap interpretabilitas sebagai bagian inti dari pengalaman pengguna
• Rancang model agar dapat diinterpretasikan
• Pilih metrik untuk mencerminkan tujuan akhir dan tugas akhir
• Pahami model yang telah dilatih
• Komunikasikan penjelasan kepada pengguna model
• Lakukan banyak pengujian untuk memastikan sistem AI bekerja sebagaimana dimaksud

Dengan mengikuti praktik yang direkomendasikan ini, organisasi Anda dapat memastikan mencapai explainable AI, yang merupakan kunci bagi organisasi apa pun yang digerakkan oleh AI di lingkungan saat ini.