Koalisi Etika AI Mengutuk Algoritma Prediksi Kriminalitas

Pada hari Selasa, sejumlah peneliti AI, etikus, ilmuwan data, dan ilmuwan sosial mengeluarkan posting blog yang berargumen bahwa peneliti akademis harus berhenti mengejar penelitian yang berusaha untuk memprediksi kemungkinan bahwa seorang individu akan melakukan tindakan kriminal, berdasarkan variabel seperti statistik kejahatan dan pemindaian wajah.

Posting blog tersebut ditulis oleh Koalisi untuk Teknologi Kritis, yang berargumen bahwa penggunaan algoritma tersebut memperpetuasi siklus prasangka terhadap minoritas. Banyak studi tentang efikasi pengenalan wajah dan algoritma polisi prediktif menemukan bahwa algoritma tersebut cenderung menghakimi minoritas lebih keras, yang menurut penulis posting blog tersebut disebabkan oleh ketidaksetaraan dalam sistem peradilan pidana. Sistem peradilan pidana menghasilkan data yang bias, dan oleh karena itu algoritma yang dilatih pada data tersebut memperbarui bias tersebut, Koalisi untuk Teknologi Kritis berargumen. Koalisi tersebut berargumen bahwa konsep “kriminalitas” seringkali didasarkan pada ras, dan oleh karena itu penelitian yang dilakukan pada teknologi tersebut menganggap netralitas algoritma ketika sebenarnya tidak ada netralitas seperti itu.

Seperti yang dilaporkan oleh The Verge, sebuah penerbit besar karya akademis, Springer, berencana untuk menerbitkan sebuah studi berjudul “A Deep Neural Network Model to Predict Criminality using Image Processing”. Penulis studi tersebut mengklaim telah mengembangkan algoritma pengenalan wajah yang dapat memprediksi kemungkinan bahwa seorang individu akan melakukan kejahatan tanpa bias dan dengan akurasi sekitar 80%. Namun, Koalisi untuk Teknologi Kritis menulis surat terbuka kepada Springer, mendesak penerbit untuk tidak menerbitkan studi tersebut atau penelitian lain yang melibatkan penelitian serupa.

“Penerbitan karya ini oleh penerbit besar seperti Springer akan mewakili langkah besar menuju legitimasi dan penerapan penelitian yang telah dibantah berulang kali, merusak masyarakat, dalam dunia nyata,” argumen koalisi tersebut.

Springer menyatakan bahwa mereka tidak akan menerbitkan makalah tersebut, seperti yang dilaporkan oleh MIT Technology Review. Springer menyatakan bahwa makalah tersebut dikirim untuk sebuah konferensi yang akan datang, tetapi setelah proses peer review, makalah tersebut ditolak untuk dipublikasikan.

Koalisi untuk Teknologi Kritis berargumen bahwa makalah prediksi kriminalitas tersebut hanya merupakan contoh dari tren yang lebih besar dan merusak, di mana insinyur AI dan peneliti mencoba memprediksi perilaku berdasarkan data yang terdiri dari variabel sosial yang sensitif dan dikonstruksi secara sosial. Koalisi tersebut juga berargumen bahwa banyak penelitian didasarkan pada ide dan teori yang tidak ilmiah, yang tidak didukung oleh bukti yang tersedia dalam biologi dan psikologi. Sebagai contoh, peneliti dari Princeton dan Google menerbitkan sebuah artikel yang memperingatkan bahwa algoritma yang mengklaim dapat memprediksi kriminalitas berdasarkan fitur wajah didasarkan pada pseudosains yang telah dibantah dan berbahaya seperti fisiognomi. Peneliti tersebut memperingatkan terhadap penggunaan machine learning untuk menghidupkan kembali teori yang telah dibantah yang digunakan untuk mendukung sistem rasialis.

Momentum baru-baru ini dari gerakan Black Lives Matter telah mendorong banyak perusahaan yang menggunakan algoritma pengenalan wajah untuk mengevaluasi kembali penggunaan sistem tersebut. Penelitian telah menemukan bahwa algoritma tersebut seringkali bias, berdasarkan data pelatihan yang tidak representatif dan bias.

Penandatangan surat tersebut, selain berargumen bahwa peneliti AI harus menghindari penelitian pada algoritma prediksi kriminalitas, mereka juga merekomendasikan bahwa peneliti harus mengevaluasi kembali bagaimana keberhasilan model AI diukur. Anggota koalisi tersebut merekomendasikan bahwa dampak sosial dari algoritma harus menjadi metrik keberhasilan, selain metrik seperti presisi, recall, dan akurasi. Seperti yang ditulis oleh penulis makalah tersebut:

“Jika machine learning ingin membawa ‘kebaikan sosial’ yang diteriakan dalam proposal dan rilis pers, peneliti dalam ruang ini harus secara aktif merefleksikan struktur kekuasaan (dan penindasan yang menyertainya) yang membuat pekerjaan mereka memungkinkan.”