Koalisi Etika AI Mengutuk Algoritma Prediksi Kriminalitas

Pada hari Selasa, sejumlah peneliti AI, etika, ilmuwan data, dan ilmuwan sosial mengeluarkan posting blog yang berargumen bahwa peneliti akademis harus berhenti mengejar penelitian yang berusaha untuk memprediksi kemungkinan bahwa seorang individu akan melakukan tindakan kriminal, berdasarkan variabel seperti statistik kejahatan dan pemindaian wajah.

Posting blog tersebut ditulis oleh Koalisi untuk Teknologi Kritis, yang berargumen bahwa penggunaan algoritma tersebut memperkuat siklus prasangka terhadap minoritas. Banyak studi tentang efektivitas algoritma pengenalan wajah dan polisi prediktif menemukan bahwa algoritma tersebut cenderung menghakimi minoritas lebih keras, yang menurut penulis posting blog tersebut disebabkan oleh ketidakadilan dalam sistem peradilan pidana. Sistem peradilan pidana menghasilkan data yang bias, dan oleh karena itu algoritma yang dilatih pada data tersebut memperkuat bias tersebut, demikian Koalisi untuk Teknologi Kritis berargumen. Koalisi tersebut berargumen bahwa konsep “kriminalitas” seringkali didasarkan pada ras, dan oleh karena itu penelitian yang dilakukan pada teknologi tersebut menganggap netralitas algoritma ketika sebenarnya tidak ada netralitas seperti itu.

Seperti yang dilaporkan oleh The Verge, sebuah penerbit besar karya akademis, Springer, berencana untuk menerbitkan sebuah studi berjudul “A Deep Neural Network Model to Predict Criminality using Image Processing”. Penulis studi tersebut mengklaim telah mengembangkan algoritma pengenalan wajah yang dapat memprediksi kemungkinan bahwa seorang individu akan melakukan tindakan kriminal dengan akurasi sekitar 80% dan tanpa bias. Namun, Koalisi untuk Teknologi Kritis menulis surat terbuka kepada Springer, mendesak penerbit tersebut untuk tidak menerbitkan studi tersebut atau penelitian serupa di masa depan.

“Penerbitan karya ini oleh penerbit besar seperti Springer akan merupakan langkah besar menuju legitimasi dan penerapan penelitian yang telah dibantah, berbahaya, dan merusak masyarakat,” demikian koalisi tersebut berargumen.

Springer menyatakan bahwa mereka tidak akan menerbitkan makalah tersebut, seperti yang dilaporkan oleh MIT Technology Review. Springer menyatakan bahwa makalah tersebut telah dikirim untuk sebuah konferensi yang akan datang, namun setelah proses peer review, makalah tersebut ditolak untuk diterbitkan.

Koalisi untuk Teknologi Kritis berargumen bahwa makalah prediksi kriminalitas tersebut hanya satu contoh dari tren yang lebih besar dan berbahaya, di mana insinyur AI dan peneliti berusaha untuk memprediksi perilaku berdasarkan data yang terdiri dari variabel sosial yang sensitif. Koalisi tersebut juga berargumen bahwa banyak penelitian tersebut didasarkan pada gagasan yang tidak ilmiah dan tidak didukung oleh bukti yang tersedia dalam biologi dan psikologi. Sebagai contoh, peneliti dari Princeton dan Google (GOOGL ) menerbitkan sebuah artikel yang memperingatkan bahwa algoritma yang mengklaim dapat memprediksi kriminalitas berdasarkan fitur wajah didasarkan pada pseudosains yang telah dibantah dan berbahaya seperti fisiognomi. Peneliti tersebut memperingatkan agar tidak membiarkan machine learning digunakan untuk menghidupkan kembali teori yang telah dibantah yang digunakan untuk mendukung sistem rasisme.

Momentum baru-baru ini dari gerakan Black Lives Matter telah mempromps banyak perusahaan yang menggunakan algoritma pengenalan wajah untuk mengevaluasi kembali penggunaan sistem tersebut. Penelitian telah menemukan bahwa algoritma tersebut seringkali bias, berdasarkan data pelatihan yang tidak representatif dan bias.

Penandatangan surat tersebut, selain berargumen bahwa peneliti AI harus menghentikan penelitian tentang algoritma prediksi kriminalitas, juga merekomendasikan bahwa peneliti harus mengevaluasi kembali bagaimana kesuksesan model AI diukur. Anggota koalisi merekomendasikan bahwa dampak sosial dari algoritma harus menjadi metric kesuksesan, selain metric seperti presisi, recall, dan akurasi. Seperti yang ditulis oleh penulis makalah tersebut:

“Jika machine learning ingin membawa ‘kebaikan sosial’ yang dicanangkan dalam proposal grant dan rilis pers, peneliti dalam ruang ini harus secara aktif merefleksikan struktur kekuasaan (dan penindasan yang menyertainya) yang membuat pekerjaan mereka memungkinkan.”