Ilmuwan Komputer Menangani Bias pada Kecerdasan Buatan

Ilmuwan komputer dari Princeton dan Stanford University sekarang menangani masalah bias pada kecerdasan buatan (AI). Mereka bekerja pada metode yang menghasilkan dataset yang lebih adil yang berisi gambar orang. Peneliti bekerja sama dengan ImageNet, yang merupakan database lebih dari 13 juta gambar. Selama dekade terakhir, ImageNet telah membantu kemajuan penglihatan komputer. Dengan menggunakan metode mereka, peneliti kemudian merekomendasikan perbaikan untuk database. 

ImageNet termasuk gambar benda, lanskap, dan orang. Peneliti yang membuat algoritma pembelajaran mesin yang mengklasifikasikan gambar menggunakan ImageNet sebagai sumber data. Karena ukuran database yang sangat besar, diperlukan pengumpulan gambar otomatis dan anotasi gambar crowdsourced. Sekarang, tim ImageNet bekerja untuk memperbaiki bias dan masalah lainnya. Gambar sering berisi orang yang merupakan konsekuensi tidak sengaja dari konstruksi ImageNet.

Olga Russakovsky adalah co-penulis dan asisten profesor ilmu komputer di Princeton. 

“Penglihatan komputer sekarang bekerja sangat baik, yang berarti itu sedang diterapkan di mana-mana dalam berbagai konteks,” katanya. “Ini berarti bahwa sekarang adalah waktu untuk berbicara tentang dampaknya pada dunia dan memikirkan tentang masalah keadilan ini.”

Dalam makalah baru, tim ImageNet secara sistematis mengidentifikasi konsep non-visual dan kategori ofensif. Kategori ini termasuk karakterisasi rasial dan seksual, dan tim mengusulkan menghapusnya dari database. Tim juga telah mengembangkan alat yang memungkinkan pengguna untuk menentukan dan mengambil set gambar orang, dan dapat dilakukan berdasarkan usia, ekspresi gender, dan warna kulit. Tujuannya adalah untuk membuat algoritma yang lebih adil mengklasifikasikan wajah dan kegiatan orang dalam gambar. 

Penelitian yang dilakukan oleh peneliti dipresentasikan pada 30 Januari di Konferensi Asosiasi untuk Komputasi Mesin tentang Keadilan, Akuntabilitas, dan Transparansi di Barcelona, Spanyol. 

“Ada kebutuhan besar bagi peneliti dan laboratorium dengan keahlian teknis inti dalam hal ini untuk terlibat dalam diskusi semacam ini,” kata Russakovsky. “Mengingat kenyataan bahwa kita perlu mengumpulkan data dalam skala besar, mengingat kenyataan bahwa itu akan dilakukan dengan crowdsourcing karena itu adalah pipa yang paling efisien dan mapan, bagaimana kita melakukannya dengan cara yang lebih adil — yang tidak jatuh ke dalam lubang bias sebelumnya? Pesan inti dari makalah ini adalah tentang solusi konstruktif.”

ImageNet diluncurkan pada 2009 oleh sekelompok ilmuwan komputer di Princeton dan Stanford. Ini dimaksudkan untuk berfungsi sebagai sumber daya untuk peneliti akademis dan pendidik. Pembuatan sistem ini dipimpin oleh alumni dan anggota fakultas Princeton Fei-Fei Li. 

ImageNet dapat menjadi database gambar yang sangat besar melalui penggunaan crowdsourcing. Salah satu platform utama yang digunakan adalah Amazon (AMZN ) Mechanical Turk (MTurk), dan pekerja dibayar untuk memverifikasi gambar kandidat. Ini menyebabkan beberapa masalah, dan ada banyak bias dan kategorisasi yang tidak tepat. 

Penulis utama Kaiyu Yang adalah mahasiswa pascasarjana ilmu komputer. 

“Ketika Anda meminta orang untuk memverifikasi gambar dengan memilih gambar yang benar dari set besar kandidat, orang merasa terpaksa untuk memilih beberapa gambar dan gambar tersebut cenderung menjadi gambar dengan fitur yang khas atau stereotip,” katanya. 

Bagian pertama dari studi ini melibatkan penyaringan kategori orang yang berpotensi ofensif atau sensitif dari ImageNet. Kategori ofensif didefinisikan sebagai kategori yang berisi kata-kata kasar atau kata-kata rasial atau gender. Salah satu kategori sensitif adalah klasifikasi orang berdasarkan orientasi seksual atau agama. Dua belas mahasiswa pascasarjana dari latar belakang yang beragam dibawa untuk menganotasi kategori, dan mereka diinstruksikan untuk menandai kategori sebagai sensitif jika mereka tidak yakin. Sekitar 54% dari kategori dihapus, atau 1.593 dari 2.932 kategori orang di ImageNet. 

Pekerja MTurk kemudian menilai “gambaran” kategori yang tersisa pada skala 1 hingga 5. 158 kategori diklasifikasikan sebagai aman dan dapat digambar, dengan peringkat 4 atau lebih tinggi. Set kategori yang disaring ini termasuk lebih dari 133.000 gambar, yang dapat sangat berguna untuk melatih algoritma penglihatan komputer. 

Peneliti mempelajari representasi demografi orang dalam gambar, dan tingkat bias di ImageNet dievaluasi. Konten yang disumber dari mesin pencari sering memberikan hasil yang overrepresentasi laki-laki, orang dengan kulit terang, dan orang dewasa berusia 18-40 tahun.

“Orang telah menemukan bahwa distribusi demografi dalam hasil pencarian gambar sangat bias, dan ini adalah alasan mengapa distribusi di ImageNet juga bias,” kata Yang. “Dalam makalah ini kami mencoba memahami seberapa bias itu, dan juga untuk mengusulkan metode untuk menyeimbangkan distribusi.”

Peneliti mempertimbangkan tiga atribut yang juga dilindungi oleh hukum anti-diskriminasi AS: warna kulit, ekspresi gender, dan usia. Pekerja MTurk kemudian menganotasi setiap atribut dari setiap orang dalam gambar. 

Hasilnya menunjukkan bahwa konten ImageNet memiliki bias yang cukup besar. Yang paling underrepresentasi adalah orang dengan kulit gelap, perempuan, dan orang dewasa di atas usia 40 tahun.

Alat antarmuka web dirancang yang memungkinkan pengguna untuk mendapatkan set gambar yang seimbang secara demografi dengan cara yang dipilih pengguna. 

“Kami tidak ingin mengatakan apa yang merupakan cara yang benar untuk menyeimbangkan demografi, karena itu bukanlah masalah yang sederhana,” kata Yang. “Distribusi bisa berbeda di berbagai bagian dunia — distribusi warna kulit di AS berbeda dengan di negara-negara Asia, misalnya. Jadi kami meninggalkan pertanyaan itu kepada pengguna kami, dan kami hanya menyediakan alat untuk mendapatkan subset gambar yang seimbang.”

Tim ImageNet sekarang bekerja pada pembaruan teknis untuk perangkat keras dan database mereka. Mereka juga berusaha untuk menerapkan penyaringan kategori orang dan alat penyeimbangan yang dikembangkan dalam penelitian ini. ImageNet akan segera dirilis ulang dengan pembaruan, bersama dengan panggilan untuk umpan balik dari komunitas penelitian penglihatan komputer. 

Makalah ini juga ditulis oleh mahasiswa Ph.D. Princeton Klint Qinami dan Asisten Profesor Ilmu Komputer Jia Deng. Penelitian ini didukung oleh National Science Foundation.