Dasar-dasar AI
Apa itu AI yang Dapat Dijelaskan?
Tambahkan Unite.AI ke sumber pilihan Anda di Google
AI yang Dapat Dijelaskan (XAI) mencakup metode dan praktik yang membantu orang memahami perilaku atau output dari sistem AI. Sebuah penjelasan dapat menggambarkan input yang berpengaruh, menampilkan contoh serupa, menyajikan perubahan kontrafaktual, merangkum aturan global, atau mengkomunikasikan ketika sistem tidak mengetahui.
Tidak ada satu penjelasan yang paling baik secara universal. Seorang pengembang yang melakukan debug model, auditor yang menguji kepatuhan kebijakan, dan orang yang terdampak keputusan membutuhkan bukti yang berbeda. Oleh karena itu, penjelasan harus dievaluasi berdasarkan akurasi, makna, dan penggunaan yang dimaksud—bukan hanya daya tarik visual.
Poin-poin penting
- Transparansi menggambarkan informasi yang tersedia; interpretabilitas menyangkut makna; penjelasan menyampaikan bukti atau alasan.
- Metode global merangkum sebuah model, sementara metode lokal menangani satu prediksi atau wilayah kecil.
- Penjelasan post-hoc dapat berguna namun mungkin tidak stabil atau tidak setia pada model yang mendasarinya.
- Sebuah penjelasan tidak membuktikan keadilan, kausalitas, ketahanan, atau kebenaran.
Empat prinsip untuk penjelasan yang berguna
NIST mengusulkan bahwa sebuah sistem menyediakan penjelasan, membuatnya bermakna bagi pengguna yang dituju, memastikan penjelasan tersebut secara akurat mencerminkan proses sistem, dan mengkomunikasikan batas pengetahuan sistem. Prinsip-prinsip ini memisahkan keberadaan penjelasan dari kualitasnya.
Makna bersifat spesifik pada audiens. Kode alasan yang singkat dapat membantu pelamar, sementara pengembang model mungkin memerlukan distribusi, perilaku fitur, dan kelompok kegagalan. Keduanya harus terhubung pada sistem dan konteks keputusan yang sama yang terdokumentasi.
Metode intrinsik dan post-hoc
Model linier jarang atau pohon keputusan yang dibatasi dapat langsung dapat diinterpretasikan dalam ruang lingkupnya yang valid. Model kompleks dapat menggunakan atribusi fitur post-hoc, surrogate lokal, contoh, peta salient, atau kontrafaktual.
Kesederhanaan intrinsik tidak otomatis setia ketika fitur didefinisikan dengan buruk atau alur kerja tersembunyi. Kompleksitas post-hoc tidak otomatis menyesatkan. Metode harus diuji terhadap pertanyaan yang dimaksudkan untuk dijawab.
Atribusi fitur dan input yang berkorelasi
Metode atribusi menugaskan bagian output kepada fitur input berdasarkan asumsi eksplisit. LIME membangun surrogate lokal sederhana di sekitar sebuah prediksi; metode terkait SHAP menghubungkan atribusi aditif dengan konsep nilai Shapley.
Fitur yang berkorelasi dapat berbagi atau menukar atribusi, dan atribusi tinggi bukan berarti efek kausal. Mengubah satu fitur secara terpisah dapat menghasilkan orang, gambar, atau transaksi yang tidak mungkin. Penjelasan harus menyatakan asumsi dasar, sampling, dan ketergantungan mereka.
Kontrafaktual, contoh, dan perilaku global
Kontrafaktual menanyakan perubahan apa yang layak yang dapat mengubah hasil. Kendala sangat penting: penjelasan yang dapat ditindaklanjuti tidak boleh merekomendasikan perubahan yang tidak dapat diubah, ilegal, atau tidak realistis. Metode berbasis contoh menampilkan prototipe atau kasus pelatihan yang berpengaruh namun dapat mengungkap data pribadi.
Analisis global memeriksa kinerja, ketergantungan parsial, monotonitas, interaksi, dan perilaku subkelompok. Untuk ensemble seperti gradient boosting, gabungkan rangkuman dengan bukti lokal dan pengujian langsung terhadap kendala yang diharapkan.
Validasi penjelasan dan sistem
Uji kesetiaan, stabilitas terhadap gangguan kecil, konsistensi pada input yang setara, pemahaman pengguna, dan apakah penjelasan mendukung keputusan yang tepat. Pengujian adversarial harus memeriksa apakah penjelasan yang persuasif dapat menyertai output yang salah atau dimanipulasi.
XAI termasuk dalam evaluasi yang lebih luas: kualitas yang ditahan, kalibrasi, keadilan, privasi, keamanan, pemantauan, dan mekanisme banding. Penjelasan dapat mendukung akuntabilitas, namun tidak dapat menggantikan tata kelola yang bertanggung jawab.
Target penjelasan dan keluarga metode
AI yang Dapat Dijelaskan harus dimulai dengan pertanyaan dan audiens: mengapa satu keputusan terjadi, bagaimana model secara umum berperilaku, bukti apa yang memengaruhinya, apa yang akan mengubah hasil, atau apakah kebijakan diikuti. Penjelasan lokal menangani satu prediksi; penjelasan global merangkum perilaku yang lebih luas. Model yang dapat diinterpretasikan secara intrinsik menampilkan koefisien, aturan, atau struktur, sementara metode post-hoc memperkirakan model kompleks. Penjelasan perilaku model tidak otomatis menjadi penjelasan kausal tentang dunia atau justifikasi bahwa keputusan adil.
Metode atribusi fitur meliputi gradien, gradien terintegrasi, nilai bergaya SHAP, permutasi, dan model surrogate lokal. Penjelasan berbasis contoh mengambil kasus yang berpengaruh atau serupa; kontrafaktual mengusulkan perubahan yang terkait dengan output berbeda; metode konsep mengaitkan representasi internal dengan kategori manusia. Masing‑masing memiliki asumsi tentang baseline, independensi fitur, linearitas lokal, atau akses model. Variabel yang berkorelasi, interaksi, dan pra‑pemrosesan dapat membuat atribusi tidak stabil atau menyesatkan. Bandingkan metode dan ganggu input untuk menguji apakah penjelasan memprediksi perilaku.
Evaluasi dan faktor manusia
Evaluasi kesetiaan—apakah penjelasan cocok dengan model—secara terpisah dari kelayakan bagi seseorang. Uji stabilitas, sensitivitas, kelengkapan, kepadatan, dan kegunaan untuk tugas yang ditentukan seperti debugging atau banding. Studi manusia memerlukan partisipan yang representatif dan harus mengukur kualitas keputusan, deteksi kesalahan, ketergantungan, dan waktu, bukan apakah pengguna mengatakan grafik terlihat jelas. Penjelasan yang persuasif dapat meningkatkan kepercayaan pada model yang salah, sehingga antarmuka harus menampilkan ketidakpastian, alternatif, dan keterbatasan.
Kontrafaktual harus dapat diwujudkan, dapat ditindaklanjuti, dan tidak merekomendasikan perubahan pada sifat yang dilindungi atau tidak dapat diubah. Penjelasan dapat membocorkan informasi model atau pribadi serta membantu penyerang merekayasa balik keputusan. Terapkan kontrol akses dan minimisasi output. Untuk penggunaan yang diatur atau berdampak tinggi, pertahankan jejak data, versi model, ambang, dan logika keputusan sebenarnya; grafik pentingnya fitur yang generik tidak dapat menggantikan alasan yang bermakna secara hukum atau tinjauan manusia.
Menggunakan penjelasan secara bertanggung jawab
Pilih model paling sederhana yang memenuhi kebutuhan kinerja dan operasional, namun jangan mengorbankan validitas demi interpretabilitas yang dangkal. Gabungkan penjelasan dengan pengujian subkelompok, pemeriksaan ketahanan, analisis kausal bila relevan, dan pemantauan hasil. Dokumentasikan audiens yang dituju dan inferensi yang tidak valid. Jika sebuah penjelasan berubah setelah gangguan yang tidak berbahaya, selidiki sebelum penerapan. Explainability adalah bukti tentang sebuah sistem dengan suatu metode; ia berharga untuk debugging, pengawasan, dan komunikasi, namun tidak menjamin kebenaran, keadilan, keamanan, atau pemahaman.
Contoh kerja: menjelaskan model risiko kredit
Pemberi pinjaman pertama-tama mendefinisikan audiens dan alasan yang diperlukan: pemohon membutuhkan faktor keputusan yang akurat dan jalur koreksi, sementara pengembang membutuhkan diagnostik. Baseline yang dapat diinterpretasikan dan terkalibrasi dibandingkan dengan model boosted. Atribusi lokal, kontrafaktual, dan analisis kesalahan global diuji untuk kesetiaan, stabilitas, perilaku fitur yang berkorelasi, dan kegunaan. Penjelasan tidak dapat merekomendasikan perubahan usia, disabilitas, atau sifat tidak dapat diubah lainnya, dan tidak disajikan sebagai efek kausal.
Catatan keputusan produksi menyimpan data sumber, transformasi fitur, model, ambang, kebijakan, dan tindakan manusia. Pemohon dapat menantang data yang tidak tepat dan menerima tinjauan yang bermakna. Pemantauan memeriksa stabilitas hasil dan penjelasan di seluruh kelompok dan pembaruan model. Jika penjelasan yang masuk akal berubah akibat gangguan fitur yang tidak berbahaya atau mengabaikan aturan kebijakan yang menentukan, penerapan dihentikan. Explainability melengkapi validasi dan hak prosedural; ia tidak membenarkan target yang tidak valid, hasil diskriminatif, atau kurangnya otoritas manusia yang bertanggung jawab.
Bukti implementasi dan kesiapan operasional
Keputusan produksi membutuhkan lebih dari sekadar demonstrasi yang berhasil. Tentukan pengguna yang dimaksud, lingkungan operasional, input, output, ketergantungan, pemilik, dan konsekuensi dari setiap kegagalan penting. Bangun baseline yang dapat direproduksi dan set evaluasi berversi sebelum penyesuaian. Uji kasus biasa, kondisi batas, input yang rusak atau hilang, pergeseran distribusi, kegagalan ketergantungan, penyalahgunaan, serta kelompok atau lingkungan yang paling mungkin kurang terlayani. Ukur kualitas tugas bersama dengan kalibrasi atau ketidakpastian, latensi, throughput, biaya sumber daya, aksesibilitas, privasi, dan keamanan. Catat setiap transformasi dan ambang sehingga peninjau independen dapat mereproduksi hasil dan membedakan bukti dari prototipe yang menarik.
Sebelum peluncuran, tetapkan otoritas untuk rilis, pengecualian, perubahan, rollback, dan pensiun. Gunakan peluncuran bertahap, pertahankan fallback yang aman, dan verifikasi pemantauan dengan kegagalan yang sengaja disuntikkan. Telemetri operasional harus mengungkap kualitas input, perilaku output, versi model atau aturan, kesehatan ketergantungan, intervensi manusia, dan hasil yang dikonfirmasi tanpa mengumpulkan data sensitif yang tidak diperlukan. Tentukan ambang peringatan dan pemilik respons, lalu tinjau bukti dunia nyata setelah penerapan daripada mengasumsikan kinerja offline akan bertahan. Evaluasi kembali setiap kali sumber data, pengguna, model, vendor, kebijakan, perangkat keras, atau tujuan berubah. Sistem yang dipelihara juga memerlukan prosedur pemulihan yang terdokumentasi, pembelajaran insiden, penghapusan dan retensi, serta titik yang jelas kapan sistem harus dinonaktifkan atau diganti.
Pertanyaan yang sering diajukan
Apakah peta perhatian merupakan penjelasan?
Mereka dapat menjadi sinyal diagnostik, tetapi bobot perhatian saja tidak dijamin secara setia mewakili alasan output model.
Apakah AI yang Dapat Dijelaskan memerlukan model sederhana?
Tidak selalu. Model kompleks dapat dianalisis dengan metode post-hoc, namun penjelasan tersebut memerlukan validasi independen dan batas yang dinyatakan secara jelas.
Referensi utama
