Apakah Dataset AI Hiperskala yang Kurang Dikurasi Lebih Buruk Daripada Internet Itself?

Peneliti dari Irlandia, Inggris, dan AS telah memperingatkan bahwa pertumbuhan dataset AI hiperskala dapat menyebarkan aspek terburuk dari sumber internet, dengan mengklaim bahwa dataset akademis yang baru dirilis mengandung ‘gambar dan teks yang bermasalah dan eksplisit, termasuk pemerkosaan, pornografi, stereotip jahat, kata-kata kasar rasial dan etnis, dan konten lain yang sangat bermasalah’.

Peneliti tersebut percaya bahwa gelombang baru dataset multimodal yang besar dan tidak dikurasi dengan baik dapat lebih merusak dalam kemampuan mereka untuk memperkuat efek konten negatif, karena dataset tersebut mempertahankan gambar dan konten lain yang mungkin telah dihapus dari platform online melalui keluhan pengguna, moderasi lokal, atau algoritma.

Mereka lebih lanjut mengamati bahwa dapat memakan waktu bertahun-tahun – dalam kasus dataset ImageNet yang kuat, selama satu dekade – untuk keluhan tentang konten dataset yang ada untuk ditangani, dan bahwa revisi tersebut tidak selalu tercermin bahkan dalam dataset baru yang dihasilkan dari mereka.

Makalah ini, berjudul Dataset Multimodal: misogini, pornografi, dan stereotip jahat, berasal dari peneliti di University College Dublin & Lero, University of Edinburgh, dan Ilmuwan Utama di platform autentikasi UnifyID.

Meskipun pekerjaan ini berfokus pada rilis baru dataset CLIP-filtered LAION-400M, penulis berargumen melawan tren umum melemparkan jumlah data yang semakin besar ke kerangka kerja pembelajaran mesin seperti model bahasa neural GPT-3, dan berpendapat bahwa dorongan hasil-berorientasi untuk inferensi yang lebih baik (dan bahkan menuju Kecerdasan Buatan Umum [AGI]), menghasilkan penggunaan data sumber yang merusak dengan pengawasan hak cipta yang ceroboh; potensi untuk menimbulkan dan mempromosikan kerusakan; dan kemampuan untuk tidak hanya mempertahankan data ilegal yang mungkin telah menghilang dari domain publik, tetapi untuk benar-benar menggabungkan model moral data tersebut ke dalam implementasi AI hilir.

LAION-400M

Bulan lalu, dataset LAION-400M dirilis, menambah jumlah dataset multimodal linguistik yang besar yang bergantung pada Common Crawl repository, yang mengikis internet tanpa pandang bulu dan meneruskan tanggung jawab untuk filtering dan kurasi ke proyek yang menggunakan dataset tersebut. Dataset yang dihasilkan berisi 400 juta pasangan teks/gambar.

LAION-400M adalah varian sumber terbuka dari dataset WIT (WebImageText) Google AI yang tertutup, yang dirilis pada Maret 2021, dan menampilkan pasangan teks-gambar, di mana gambar dalam database telah dikaitkan dengan teks yang menyertainya (misalnya, teks alt dari gambar dalam galeri web). Ini memungkinkan pengguna untuk melakukan pencarian gambar berbasis teks, mengungkapkan asosiasi yang telah dibentuk oleh AI dasar tentang domain tersebut (yaitu ‘hewan’, ‘sepeda’, ‘orang’, ‘pria’, ‘wanita’).

Hubungan antara gambar dan teks, dan kesamaan kosinus yang dapat memasukkan bias ke dalam hasil pencarian, ada di jantung seruan makalah untuk metodologi yang ditingkatkan, karena kueri sederhana ke database LAION-400M dapat mengungkapkan bias.

Sebagai contoh, gambar astronaut wanita pionir Eileen Collins dalam perpustakaan scitkit-image mengambil dua caption yang terkait dalam LAION-400M: ‘Ini adalah potret seorang astronaut dengan bendera Amerika’ dan ‘Ini adalah foto seorang istri yang tersenyum dalam jumpsuit oranye dengan bendera Amerika’.

Astronot Amerika Eileen Collins mendapatkan dua pandangan yang sangat berbeda tentang prestasinya sebagai wanita pertama di luar angkasa di bawah LAION-400M. Sumber: https://arxiv.org/pdf/2110.01963.pdf

Kesamaan kosinus yang dilaporkan yang membuat kedua caption tersebut mungkin untuk diterapkan sangat dekat satu sama lain, dan penulis berpendapat bahwa sistem AI yang menggunakan LAION-400M relatif mungkin untuk menyajikan salah satunya sebagai caption yang sesuai.

Pornografi Muncul ke Atas Lagi

LAION-400M telah membuat antarmuka pencarian tersedia, di mana menonaktifkan tombol ‘pencarian aman’ mengungkapkan seberapa besar gambar dan asosiasi teks pornografi mendominasi label dan kelas. Sebagai contoh, mencari ‘biarawati’ (NSFW jika Anda kemudian menonaktifkan mode aman) dalam database mengembalikan hasil yang sebagian besar terkait dengan horor, cosplay, dan kostum, dengan sangat sedikit biarawati yang sebenarnya tersedia.

Mematikan Mode Aman pada pencarian yang sama mengungkapkan sejumlah besar gambar pornografi yang terkait dengan istilah tersebut, yang mendorong gambar non-porn ke bawah halaman hasil pencarian, mengungkapkan seberapa besar LAION-400M telah memberikan bobot yang lebih besar pada gambar-gambar pornografi, karena mereka lebih umum untuk istilah ‘biarawati’ dalam sumber online.

Aktivasi default Mode Aman adalah menipu dalam antarmuka pencarian online, karena mewakili kekhasan antarmuka pengguna, filter yang tidak hanya tidak akan diaktifkan dalam sistem AI yang dihasilkan, tetapi yang telah digeneralisasi ke domain ‘biarawati’ dengan cara yang tidak mudah difilter atau dibedakan dari hasil SFW yang relatif dalam hal penggunaan algoritmik.

Makalah ini menampilkan contoh yang kabur melintasi berbagai istilah pencarian dalam bahan tambahan di akhir. Mereka tidak dapat ditampilkan di sini, karena bahasa dalam teks yang menyertainya, tetapi peneliti mencatat biaya yang dikenakan pada mereka selama proses pemeriksaan dan pengaburan gambar, dan mengakui tantangan dalam mengkurasi materi tersebut untuk pengawasan manusia atas database skala besar:

‘Kami (serta rekan kami yang membantu kami) mengalami berbagai tingkat ketidaknyaman, mual, dan sakit kepala selama proses penyelidikan dataset. Selain itu, pekerjaan ini secara tidak proporsional mengalami kritik negatif yang signifikan di seluruh bidang AI akademis saat dirilis, yang tidak hanya menambah beban emosional pada tugas yang sudah berat untuk mempelajari dan menganalisis dataset tersebut, tetapi juga mencegah pekerjaan serupa di masa depan, yang sangat merugikan bidang AI dan masyarakat pada umumnya.’

Peneliti tersebut berpendapat bahwa sementara kurasi manusia-dalam-layanan adalah mahal dan memiliki biaya pribadi, sistem filtering otomatis yang dirancang untuk menghapus atau mengatasi materi tersebut jelas tidak memadai untuk tugas tersebut, karena sistem NLP memiliki kesulitan mengisolasi atau mengabaikan materi ofensif yang mungkin mendominasi dataset yang diikis, dan kemudian dianggap signifikan karena volume yang besar.

Mengabadikan Konten yang Dilarang dan Menghilangkan Perlindungan Hak Cipta

Makalah tersebut berpendapat bahwa dataset yang tidak dikurasi dengan baik seperti ini ‘sangat mungkin’ untuk mempertahankan eksploitasi individu minoritas, dan menanyakan apakah proyek data sumber terbuka serupa memiliki hak, secara hukum atau moral, untuk meneruskan tanggung jawab atas materi tersebut kepada pengguna akhir:

‘Individu mungkin menghapus data mereka dari situs web dan menganggap bahwa itu telah hilang selamanya, sementara itu masih ada di server beberapa peneliti dan organisasi. Ada pertanyaan tentang siapa yang bertanggung jawab untuk menghapus data tersebut dari penggunaan dalam dataset? Untuk LAION-400M, pembuatnya telah mendelegasikan tugas ini kepada pengguna dataset. Diberikan proses ini sengaja dibuat kompleks dan bahwa pengguna rata-rata tidak memiliki pengetahuan teknis untuk menghapus data mereka, apakah ini pendekatan yang masuk akal?’

Mereka lebih lanjut berpendapat bahwa LAION-400M mungkin tidak cocok untuk dirilis di bawah model lisensi Creative Common CC-BY 4.0 yang diadopsinya, meskipun potensi manfaat untuk demokratisasi dataset skala besar, sebelumnya domain eksklusif perusahaan yang dibiayai dengan baik seperti Google dan OpenAI.

Domain LAION-400M menyatakan bahwa gambar dataset ‘berada di bawah hak cipta mereka sendiri’ – mekanisme ‘pass-through’ yang sebagian besar diaktifkan oleh putusan pengadilan dan pedoman pemerintah baru-baru ini yang secara luas menyetujui web-scraping untuk tujuan penelitian. Sumber: https://rom1504.github.io/clip-retrieval/

Penulis tersebut menyarankan bahwa sukarelawan dapat menangani beberapa masalah dataset, dan bahwa peneliti dapat mengembangkan teknik filtering yang ditingkatkan.

‘Namun, hak subjek data tetap tidak teratasi di sini. Ini tidak bertanggung jawab dan berbahaya untuk memandang ringan bahaya yang melekat dalam dataset skala besar seperti ini dan mendorong penggunaannya dalam pengaturan industri dan komersial. Tanggung jawab skema lisensi di bawah dataset yang disediakan sepenuhnya berada pada pembuat dataset’.

Masalah Demokratisasi Data Hiperskala

Makalah tersebut berpendapat bahwa dataset visio-linguistik sebesar LAION-400M sebelumnya tidak tersedia di luar perusahaan teknologi besar, dan jumlah institusi penelitian yang terbatas yang memiliki sumber daya untuk mengumpulkan, mengkurasi, dan memprosesnya. Mereka lebih lanjut menyambut semangat rilis baru, sementara mengkritik eksekusinya.

Penulis tersebut berpendapat bahwa definisi ‘demokratisasi’ yang diterima, sebagaimana diterapkan pada dataset hiperskala sumber terbuka, terlalu terbatas, dan ‘gagal untuk memperhitungkan hak, kesejahteraan, dan kepentingan individu dan komunitas yang rentan, banyak di antaranya kemungkinan akan menderita paling parah dari dampak hilir dataset dan model yang dilatih di atasnya’.

Karena pengembangan model open source skala GPT-3 pada akhirnya dirancang untuk disebarluaskan kepada jutaan (dan dengan proksi, mungkin milyaran) pengguna di seluruh dunia, dan karena proyek penelitian mungkin mengadopsi dataset sebelum mereka diedit atau bahkan dihapus, penulis berpendapat bahwa rilis ceroboh dari dataset yang tidak dikurasi dengan baik tidak boleh menjadi fitur yang biasa dalam pembelajaran mesin sumber terbuka.

Mengembalikan Jin ke Dalam Botol

Beberapa dataset yang ditekan lama setelah kontennya telah berlalu, mungkin ke dalam proyek AI jangka panjang, telah termasuk dataset Duke MTMC (Multi-Target, Multi-Camera), yang akhirnya ditarik karena keluhan berulang dari organisasi hak asasi manusia seputar penggunaannya oleh otoritas represif di Tiongkok; Microsoft Celeb (MS-Celeb-1M), dataset 10 juta gambar wajah ‘selebriti’ yang ternyata termasuk jurnalis, aktivis, pembuat kebijakan, dan penulis, yang paparan data biometriknya dalam rilis sangat dikritik; dan dataset Tiny Images, ditarik pada 2020 karena ‘bias, gambar ofensif, dan terminologi yang merendahkan’.

Menyangkut dataset yang diedit daripada ditarik setelah dikritik, contoh termasuk dataset ImageNet yang sangat populer, yang, menurut peneliti, membutuhkan sepuluh tahun (2009-2019) untuk menanggapi kritik berulang tentang privasi dan kelas non-gambar.

Makalah tersebut mengamati bahwa LAION-400M secara efektif membatalkan perbaikan tersebut, dengan ‘sebagian besar mengabaikan’ revisi yang disebutkan dalam representasi ImageNet dalam rilis baru, dan mengintip tren yang lebih luas dalam hal ini*:

‘Hal ini ditekankan dalam munculnya dataset yang lebih besar seperti dataset gambar ML Tencent (pada Februari 2020) yang mencakup sebagian besar kelas non-gambar ini, ketersediaan terus-menerus model yang dilatih pada dataset ImageNet-21k penuh di repositori seperti TF-hub, penggunaan terus-menerus ImageNet-21k yang tidak disaring dalam model SotA terbaru (seperti EfficientNetV2 dan model CoAtNet) dan pengumuman eksplisit yang memungkinkan penggunaan pre-training ImageNet-21k yang tidak disaring dalam kontes terkemuka seperti tantangan LVIS 2021.

‘Kami menekankan pengamatan penting ini: Tim dengan reputasi ImageNet yang mengelola kurang dari 15 juta gambar telah bergelut dan gagal dalam upaya detoksifikasi ini sehingga saat ini.

‘Skala upaya hati-hati yang diperlukan untuk mendetoksifikasi dataset multimodal besar ini dan model hilir yang dilatih pada dataset ini yang mencakup miliaran pasangan gambar-keterangan akan undeniably astronomis.’

* Konversi saya dari kutipan inline penulis ke tautan.