Apa itu Explainable AI?

Ketika kecerdasan buatan (AI) menjadi lebih kompleks dan banyak digunakan di masyarakat, salah satu set proses dan metode yang paling kritis adalah explainable (AI), kadang-kadang disebut sebagai XAI.

Explainable AI dapat didefinisikan sebagai:

• Sebuah set proses dan metode yang membantu pengguna manusia memahami dan mempercayai hasil algoritma pembelajaran mesin.

Seperti yang bisa Anda tebak, kemampuan menjelaskan ini sangat penting karena algoritma AI mengambil alih banyak sektor, yang datang dengan risiko bias, algoritma yang rusak, dan masalah lainnya. Dengan mencapai transparansi dengan kemampuan menjelaskan, dunia dapat benar-benar memanfaatkan kekuatan AI.

Explainable AI, seperti yang disarankan oleh namanya, membantu menjelaskan model AI, dampaknya, dan bias potensial. Ini juga memainkan peran dalam mengkarakterisasi akurasi model, keadilan, transparansi, dan hasil dalam proses pengambilan keputusan yang ditenagai AI.

Organisasi yang didorong AI hari ini harus selalu mengadopsi proses explainable AI untuk membantu membangun kepercayaan dan kepercayaan diri dalam model AI yang diproduksi. Explainable AI juga kunci untuk menjadi perusahaan yang bertanggung jawab di lingkungan AI hari ini.

Karena sistem AI hari ini sangat maju, manusia biasanya melakukan proses perhitungan untuk mengikuti bagaimana algoritma mencapai hasilnya. Proses ini menjadi “black box”, yang berarti mustahil untuk dipahami. Ketika model yang tidak dapat dijelaskan ini dikembangkan langsung dari data, tidak ada yang bisa memahami apa yang terjadi di dalamnya.

Dengan memahami bagaimana sistem AI bekerja melalui explainable AI, pengembang dapat memastikan bahwa sistem bekerja seperti yang seharusnya. Ini juga dapat membantu memastikan model memenuhi standar regulasi, dan menyediakan kesempatan untuk model tersebut untuk ditantang atau diubah.

Image: Dr. Matt Turek/DARPA

Perbedaan Antara AI dan XAI

Beberapa perbedaan kunci membantu memisahkan “AI biasa” dari explainable AI, tetapi yang paling penting, XAI mengimplementasikan teknik dan metode tertentu yang membantu memastikan setiap keputusan dalam proses ML dapat dilacak dan dijelaskan. Dibandingkan dengan AI biasa, yang biasanya mencapai hasil menggunakan algoritma ML, tetapi mustahil untuk memahami sepenuhnya bagaimana algoritma mencapai hasilnya. Dalam kasus AI biasa, sangat sulit untuk memeriksa akurasi, yang mengakibatkan kehilangan kontrol, akuntabilitas, dan auditabilitas.

Manfaat Explainable AI

Ada banyak manfaat untuk organisasi mana pun yang ingin mengadopsi explainable AI, seperti:

• Hasil Lebih Cepat: Explainable AI memungkinkan organisasi untuk secara sistematis memantau dan mengelola model untuk mengoptimalkan hasil bisnis. Memungkinkan untuk terus mengevaluasi dan meningkatkan kinerja model dan mengembangkan model dengan lebih baik.
• Mitigasi Risiko: Dengan mengadopsi proses explainable AI, Anda memastikan bahwa model AI Anda dapat dijelaskan dan transparan. Anda dapat mengelola risiko regulasi, kepatuhan, dan persyaratan lainnya sambil meminimalkan overhead inspeksi manual. Semua ini juga membantu mitigasi risiko bias yang tidak disengaja. 
• Membangun Kepercayaan: Explainable AI membantu membangun kepercayaan dalam produksi AI. Model AI dapat dengan cepat dibawa ke produksi, Anda dapat memastikan interpretasi dan kemampuan menjelaskan, dan proses evaluasi model dapat disederhanakan dan dibuat lebih transparan.

Teknik untuk Explainable AI

Ada beberapa teknik XAI yang harus dipertimbangkan oleh semua organisasi, dan mereka terdiri dari tiga metode utama: akurasi prediksi, jejak, dan pemahaman keputusan.

Metode pertama, akurasi prediksi, sangat penting untuk menggunakan AI dengan sukses dalam operasi sehari-hari. Simulasi dapat dilakukan, dan output XAI dapat dibandingkan dengan hasil dalam set data pelatihan, yang membantu menentukan akurasi prediksi. Salah satu teknik yang lebih populer untuk mencapai ini disebut Local Interpretable Model-Agnostic Explanations (LIME), sebuah teknik yang menjelaskan prediksi klasifikasi oleh algoritma pembelajaran mesin.

Metode kedua adalah jejak, yang dicapai dengan membatasi bagaimana keputusan dapat dibuat, serta menetapkan ruang lingkup yang lebih sempit untuk aturan dan fitur pembelajaran mesin. Salah satu teknik jejak yang paling umum adalah DeepLIFT, atau Deep Learning Important FeaTures. DeepLIFT membandingkan aktivasi setiap neuron dengan neuron referensinya sambil menunjukkan jejak yang dapat dilacak antara setiap neuron yang diaktifkan. Ini juga menunjukkan ketergantungan antara mereka.

Metode ketiga dan terakhir adalah pemahaman keputusan, yang berfokus pada manusia, tidak seperti dua metode lainnya. Pemahaman keputusan melibatkan mendidik organisasi, khususnya tim yang bekerja dengan AI, untuk memungkinkan mereka memahami bagaimana dan mengapa AI membuat keputusan. Metode ini sangat penting untuk membangun kepercayaan dalam sistem.

Prinsip Explainable AI

Untuk memberikan pemahaman yang lebih baik tentang XAI dan prinsip-prinsipnya, National Institute of Standards (NIST), yang merupakan bagian dari Departemen Perdagangan AS, menyediakan definisi untuk empat prinsip explainable AI:

1. Sistem AI harus menyediakan bukti, dukungan, atau alasan untuk setiap output. 
2. Sistem AI harus memberikan penjelasan yang dapat dipahami oleh penggunanya. 
3. Penjelasan harus secara akurat mencerminkan proses yang digunakan oleh sistem untuk mencapai outputnya. 
4. Sistem AI hanya boleh beroperasi di bawah kondisi yang dirancang untuknya, dan tidak boleh memberikan output ketika kepercayaan diri dalam hasilnya tidak mencukupi.

Prinsip-prinsip ini dapat diorganisir lebih lanjut menjadi:

• Bermakna: Untuk mencapai prinsip bermakna, pengguna harus memahami penjelasan yang disediakan. Ini juga bisa berarti bahwa dalam kasus algoritma AI digunakan oleh berbagai jenis pengguna, mungkin ada beberapa penjelasan. Misalnya, dalam kasus mobil self-driving, satu penjelasan mungkin seperti…”AI mengategorikan kantong plastik di jalan sebagai batu, dan oleh karena itu mengambil tindakan untuk menghindarinya.” Sementara contoh ini akan bekerja untuk pengemudi, itu tidak akan sangat berguna bagi pengembang AI yang ingin memperbaiki masalah. Dalam kasus itu, pengembang harus memahami mengapa ada kesalahan klasifikasi. 
• Akurasi Penjelasan: Tidak seperti akurasi output, akurasi penjelasan melibatkan algoritma AI menjelaskan secara akurat bagaimana mencapai outputnya. Misalnya, jika algoritma persetujuan pinjaman menjelaskan keputusan berdasarkan pendapatan aplikasi ketika sebenarnya berdasarkan tempat tinggal aplikasi, penjelasan akan tidak akurat. 
• Batas Pengetahuan: Batas pengetahuan AI dapat dicapai dengan dua cara, dan melibatkan input yang berada di luar keahlian sistem. Misalnya, jika sistem dibangun untuk mengklasifikasikan spesies burung dan diberi gambar apel, itu harus dapat menjelaskan bahwa input bukanlah burung. Jika sistem diberi gambar yang buram, itu harus dapat melaporkan bahwa tidak dapat mengidentifikasi burung dalam gambar, atau alternatif, bahwa identifikasinya memiliki kepercayaan yang sangat rendah.

Peran Data dalam Explainable AI

Salah satu komponen paling penting dari explainable AI adalah data.

Menurut Google, mengenai data dan explainable AI, “sistem AI paling baik dipahami oleh data pelatihan yang mendasarinya dan proses pelatihan, serta model AI yang dihasilkan.” Pemahaman ini bergantung pada kemampuan untuk memetakan model AI yang dilatih ke dataset yang tepat yang digunakan untuk melatihnya, serta kemampuan untuk memeriksa data secara dekat.

Untuk meningkatkan kemampuan menjelaskan model, penting untuk memperhatikan data pelatihan. Tim harus menentukan asal data yang digunakan untuk melatih algoritma, legalitas dan etika seputar pengambilannya, kemungkinan bias dalam data, dan apa yang dapat dilakukan untuk memitigasi bias.

Aspek kritis lain dari data dan XAI adalah bahwa data yang tidak relevan dengan sistem harus dikecualikan. Untuk mencapai ini, data yang tidak relevan tidak boleh dimasukkan dalam set pelatihan atau data input.

Google telah merekomendasikan serangkaian praktik untuk mencapai interpretasi dan akuntabilitas:

• Rencanakan opsi Anda untuk mengejar interpretasi
• Perlakukan interpretasi sebagai bagian inti dari pengalaman pengguna
• Desain model untuk dapat diinterpretasikan
• Pilih metrik yang mencerminkan tujuan akhir dan tugas akhir
• Pahami model yang dilatih
• Komunikasikan penjelasan kepada pengguna model
• Lakukan banyak pengujian untuk memastikan sistem AI bekerja seperti yang diinginkan

Dengan mengikuti praktik yang direkomendasikan ini, organisasi Anda dapat memastikan bahwa Anda mencapai explainable AI, yang merupakan kunci untuk organisasi yang didorong AI di lingkungan hari ini.