Peneliti Tantang Asumsi Pembelajaran Mesin yang Berlangsung Lama

Peneliti di Carnegie Mellon University menantang asumsi pembelajaran mesin yang berlangsung lama bahwa ada pertukaran antara akurasi dan keadilan dalam algoritma yang digunakan untuk membuat keputusan kebijakan publik.

Penggunaan pembelajaran mesin meningkat di banyak bidang seperti keadilan pidana, perekrutan, pengiriman layanan kesehatan dan intervensi layanan sosial. Dengan pertumbuhan ini juga datang kekhawatiran yang meningkat tentang apakah aplikasi baru ini dapat memperburuk ketidaksetaraan yang ada. Mereka dapat sangat merugikan minoritas rasial atau individu dengan kekurangan ekonomi.

Mengatur Sistem

Ada penyesuaian konstan terhadap data, label, pelatihan model, sistem skor dan aspek lain dari sistem untuk melindungi terhadap bias. Namun, asumsi teoretis telah menjadi bahwa sistem menjadi kurang akurat ketika ada lebih banyak penyesuaian ini.

Tim di CMU berusaha untuk menantang teori ini dalam studi baru yang diterbitkan di Nature Machine Intelligence.

Rayid Ghani adalah profesor di Sekolah Ilmu Komputer Departemen Pembelajaran Mesin (MLD) dan Heinz College of Information Systems and Public Policy (PPHC ). Ia bergabung dengan Kit Rodolfa, ilmuwan peneliti di MLD; dan Hemank Lamba, peneliti pasca-doktor di SCS.

Menguji Aplikasi Dunia Nyata

Peneliti menguji asumsi ini dalam aplikasi dunia nyata, dan apa yang mereka temukan adalah bahwa pertukaran antara akurasi dan keadilan tidak signifikan di banyak domain kebijakan.

“Anda sebenarnya dapat mendapatkan keduanya. Anda tidak perlu mengorbankan akurasi untuk membangun sistem yang adil dan setara,” kata Ghani. “Tapi itu memerlukan Anda untuk secara sengaja merancang sistem untuk adil dan setara. Sistem siap-pakai tidak akan bekerja.”

Tim ini fokus pada situasi di mana sumber daya yang dibutuhkan terbatas. Alokasi sumber daya ini dibantu oleh pembelajaran mesin.

Mereka fokus pada sistem di empat bidang:

• memprioritaskan layanan kesehatan mental yang terbatas berdasarkan risiko seseorang untuk kembali ke penjara untuk mengurangi penahanan kembali;
• memprediksi pelanggaran keselamatan yang serius untuk lebih baik menerapkan inspektor perumahan terbatas kota;
• menggunakan model untuk memprediksi risiko siswa tidak lulus sekolah menengah atas pada waktunya untuk mengidentifikasi mereka yang paling membutuhkan dukungan tambahan;
• dan membantu guru mencapai tujuan penggalangan dana untuk kebutuhan kelas.

Peneliti menemukan bahwa model yang dioptimalkan untuk akurasi dapat secara efektif memprediksi hasil yang diinginkan. Namun, mereka juga menunjukkan ketidaksetaraan yang signifikan dalam rekomendasi untuk intervensi.

Hasil penting datang ketika peneliti menerapkan penyesuaian terhadap output model yang ditargetkan untuk meningkatkan keadilan. Mereka menemukan bahwa tidak ada kehilangan akurasi ketika ketidaksetaraan yang dibuat berdasarkan ras, usia, atau pendapatan dihilangkan.

“Kami ingin komunitas kecerdasan buatan, ilmu komputer, dan pembelajaran mesin untuk berhenti menerima asumsi tentang pertukaran antara akurasi dan keadilan dan untuk memulai merancang sistem yang secara sengaja memaksimalkan keduanya,” kata Rodolfa. “Kami berharap para pembuat kebijakan akan menerima pembelajaran mesin sebagai alat dalam pengambilan keputusan mereka untuk membantu mereka mencapai hasil yang adil.”