Peneliti AI Mengembangkan Metode Cepat untuk Menghitung Interval Kepercayaan, Melaporkan Ketika Model Tidak Boleh Dipercaya

Peneliti dari MIT baru-baru ini mengembangkan teknik yang memungkinkan model jaringan pembelajaran dalam untuk dengan cepat menghitung tingkat kepercayaan, yang dapat membantu ilmuwan data dan pengguna AI lainnya mengetahui kapan untuk mempercayai prediksi yang dihasilkan oleh model.

Sistem AI yang berbasis pada jaringan saraf tiruan bertanggung jawab atas banyak keputusan hari ini, termasuk banyak keputusan yang melibatkan kesehatan dan keselamatan manusia. Karena itu, jaringan saraf tiruan harus memiliki beberapa metode untuk memperkirakan kepercayaan dalam output mereka, sehingga ilmuwan data dapat mengetahui seberapa dipercaya prediksi mereka. Baru-baru ini, tim peneliti dari Harvard dan MIT merancang cara cepat untuk jaringan saraf tiruan untuk menghasilkan indikasi kepercayaan model bersama dengan prediksi mereka.

Model pembelajaran dalam telah menjadi semakin canggih selama dekade terakhir, dan sekarang mereka dapat dengan mudah mengungguli manusia dalam tugas klasifikasi data. Model pembelajaran dalam digunakan dalam bidang di mana kesehatan dan keselamatan manusia dapat berisiko jika mereka gagal, mengemudi kendaraan otonom dan mendiagnosis kondisi medis dari pemindaian. Dalam kasus ini, tidak cukup bahwa model memiliki akurasi 99%, 1% waktu model gagal memiliki potensi untuk menyebabkan bencana. Oleh karena itu, perlu ada cara bagi ilmuwan data untuk menentukan seberapa dipercaya prediksi tertentu.

Ada beberapa cara untuk menghasilkan interval kepercayaan bersama dengan prediksi jaringan saraf tiruan, tetapi metode tradisional untuk memperkirakan ketidakpastian untuk jaringan saraf tiruan cukup lambat dan mahal secara komputasi. Jaringan saraf tiruan dapat sangat besar dan kompleks, diisi dengan miliaran parameter. Hanya menghasilkan prediksi dapat mahal secara komputasi dan memakan waktu lama, dan menghasilkan tingkat kepercayaan untuk prediksi memakan waktu lebih lama. Sebagian besar metode sebelumnya untuk mengkuantifikasi ketidakpastian bergantung pada sampling atau menjalankan jaringan berulang kali untuk mendapatkan perkiraan kepercayaan. Ini tidak selalu memungkinkan untuk aplikasi yang memerlukan lalu lintas tinggi.

Seperti dilaporkan oleh MIT News, Alexander Amini memimpin tim peneliti gabungan dari MIT dan Harvard, dan menurut Amini, metode yang dikembangkan oleh peneliti mereka mempercepat proses menghasilkan perkiraan ketidakpastian menggunakan teknik yang disebut “regresi evidensial dalam”. Amini menjelaskan melalui MIT bahwa ilmuwan data memerlukan model dengan kecepatan tinggi dan perkiraan ketidakpastian yang dapat diandalkan sehingga model yang tidak dapat dipercaya dapat dibedakan. Untuk mempertahankan kecepatan model dan menghasilkan perkiraan ketidakpastian, peneliti merancang cara untuk memperkirakan ketidakpastian dari hanya satu jalur model.

Peneliti merancang model jaringan saraf tiruan sehingga distribusi probabilistik dihasilkan bersama dengan setiap keputusan. Jaringan mempertahankan bukti untuk keputusan mereka selama proses pelatihan, menghasilkan distribusi probabilitas berdasarkan bukti. Distribusi evidensial mewakili kepercayaan model, dan mewakili ketidakpastian baik untuk keputusan akhir model maupun data input asli. Menangkap ketidakpastian untuk data input dan keputusan sangat penting, karena mengurangi ketidakpastian bergantung pada mengetahui sumber ketidakpastian.

Peneliti menguji teknik perkiraan ketidakpastian mereka dengan menerapkannya pada tugas penglihatan komputer. Setelah model dilatih pada serangkaian gambar, model menghasilkan prediksi dan perkiraan ketidakpastian. Jaringan secara benar memproyeksikan ketidakpastian tinggi untuk instance di mana prediksi yang salah dibuat. “Ini sangat terkait dengan kesalahan yang dibuat jaringan, yang kami percaya adalah salah satu hal terpenting dalam menilai kualitas estimator ketidakpastian baru,” kata Amini tentang hasil tes model.

Tim peneliti melanjutkan untuk melakukan tes lebih lanjut dengan arsitektur jaringan mereka. Untuk menekankan teknik tersebut, mereka juga menguji data pada “data di luar distribusi”, dataset yang terdiri dari objek yang tidak pernah dilihat sebelumnya oleh jaringan. Seperti yang diharapkan, jaringan melaporkan ketidakpastian yang lebih tinggi untuk objek yang tidak terlihat sebelumnya. Ketika dilatih pada lingkungan indoor, jaringan menampilkan ketidakpastian tinggi ketika diuji pada gambar dari lingkungan luar. Tes menunjukkan bahwa jaringan dapat menyoroti kapan keputusan mereka tunduk pada ketidakpastian tinggi dan tidak boleh dipercaya dalam situasi risiko tinggi.

Tim peneliti bahkan melaporkan bahwa jaringan dapat membedakan kapan gambar telah dimanipulasi. Ketika tim peneliti mengubah foto dengan noise adversarial, jaringan menandai gambar yang diubah dengan perkiraan ketidakpastian yang tinggi, meskipun efeknya terlalu halus untuk dilihat oleh pengamat manusia rata-rata.

Jika teknik tersebut terbukti dapat diandalkan, regresi evidensial dalam dapat meningkatkan keselamatan model AI secara umum. Menurut Amini, regresi evidensial dalam dapat membantu orang membuat keputusan yang hati-hati saat menggunakan model AI dalam situasi risiko. Seperti yang dijelaskan Amini melalui MIT News:

“Kami mulai melihat banyak model [jaringan saraf tiruan] ini bocor dari laboratorium penelitian dan ke dunia nyata, ke situasi yang menyentuh manusia dengan konsekuensi yang potensial mengancam jiwa. Setiap pengguna metode, apakah itu seorang dokter atau orang di kursi penumpang kendaraan, perlu menyadari setiap risiko atau ketidakpastian yang terkait dengan keputusan tersebut.”