Suara Minoritas ‘Disaring’ dari Model Pemrosesan Bahasa Alami Google

Menurut penelitian baru, salah satu dataset Pemrosesan Bahasa Alami (NLP) terbesar yang tersedia telah secara ekstensif ‘disaring’ untuk menghilangkan penulis kulit hitam dan Hispanik, serta materi yang terkait dengan identitas gay dan lesbian, serta data sumber yang menangani sejumlah identitas minoritas atau marjinal lainnya.

Dataset tersebut digunakan untuk melatih Switch Transformer dan T5 model Google, dan dikurasi oleh Google AI sendiri.

Laporan tersebut menyatakan bahwa dataset Colossal Clean Crawled Corpus (‘C4’) yang berisi 156 miliar token yang dikumpulkan dari lebih dari 365 juta domain internet, dan merupakan subset dari basis data Common Crawl yang besar, telah secara ekstensif (algoritmik) disaring untuk menghilangkan konten ‘ofensif’ dan ‘toksik’, dan bahwa filter yang digunakan untuk mengolah C4 telah secara efektif menargetkan konten dan diskusi dari kelompok minoritas.

Laporan tersebut menyatakan:

‘Pemeriksaan kami terhadap data yang dikecualikan menunjukkan bahwa dokumen yang terkait dengan penulis kulit hitam dan Hispanik dan dokumen yang menyebutkan orientasi seksual lebih cenderung dikecualikan oleh filter blocklist C4, dan bahwa banyak dokumen yang dikecualikan mengandung konten non-ofensif atau non-seksual (misalnya, diskusi legislatif tentang pernikahan sesama jenis, konten ilmiah dan medis).’

Penelitian tersebut mencatat bahwa temuan tersebut memperburuk ketidaksetaraan rasial yang sudah ada dalam sektor NLP, serta mengstigmatisasi identitas LGBTQ+. Laporan tersebut melanjutkan:

‘Selain itu, konsekuensi langsung dari menghilangkan teks tersebut dari dataset yang digunakan untuk melatih model bahasa adalah bahwa model tersebut akan berperforma buruk ketika diterapkan pada teks dari dan tentang orang dengan identitas minoritas, secara efektif mengeluarkan mereka dari manfaat teknologi seperti terjemahan mesin atau pencarian.’

Mengkurasi Common Crawl

Laporan tersebut, yang berjudul Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus, adalah kolaborasi antara peneliti di Allen Institute for Artificial Intelligence, Paul G. Allen School of Computer Science & Engineering di University of Washington, Hugging Face, dan Queer in AI.

Dari laporan, indeks kemungkinan penyebutan identitas dan dokumen yang disaring oleh blocklist yang mengolah C4 dari basis data Common Crawl yang lebih besar. Grafik tersebut mewakili indeks Pointwise Mutual Information (PMI) untuk identitas, dengan identitas gay dan lesbian memiliki kemungkinan tertinggi untuk disaring. Sumber: https://homes.cs.washington.edu/~msap/pdfs/dodge2021documentingC4.pdf

Dataset C4 adalah versi yang dikurasi dan direduksi dari korpus web Common Crawl, yang mengumpulkan data teks dari internet dengan cara yang lebih arbitrer, sebagai sumber daya dasar untuk peneliti NLP. Common Crawl tidak menerapkan blocklist yang sama seperti C4, karena sering digunakan sebagai repositori data netral untuk penelitian NLP tentang ujaran kebencian, dan untuk studi sosiologis/psikologis lainnya di mana sensor terhadap bahan baku akan kontraproduktif.

Penyaringan yang Kurang Didokumentasikan

Karena keputusan C4 untuk menghilangkan konten ‘toksik’ termasuk konten pornografis, tidak mengherankan bahwa identitas ‘lesbian’ adalah yang paling dikecualikan dalam dataset yang diolah (lihat gambar di atas).

Penulis laporan tersebut mengkritik kurangnya dokumentasi dan metadata dalam C4, mendesak agar filter harus meninggalkan catatan yang lebih ekstensif dan informasi latar belakang serta motif mengenai data yang mereka hapus, yang, dalam kasus C4 (dan model bahasa yang dikembangkan dari itu) tidak dapat dilacak kecuali melalui penelitian akademis yang gigih.

Mereka mengamati:

‘Beberapa filter relatif sederhana, seperti menghilangkan teks placeholder Lorem ipsum. Namun, kami menemukan bahwa filter lain yang menghilangkan dokumen yang mengandung token dari daftar kata yang dilarang, secara tidak proporsional menghilangkan dokumen dalam dialek bahasa Inggris yang terkait dengan identitas minoritas (misalnya, teks dalam bahasa Inggris Afrika-Amerika, teks yang membahas identitas LGBTQ+).’

Untuk membuat ekstensivitas penyaringan C4 lebih dapat dipahami, peneliti tersebut menghosting tiga versi data dengan tingkat penyaringan yang berbeda, bersama dengan versi yang dapat dicari (tersedia hingga 31 Desember 2021).

Hal ini diperlukan karena tidak mudah untuk merekayasa skenario di mana C4 terbentuk: meskipun penulis asli C4 telah menyediakan skrip pengguna yang akan merekayasa kembali database dari Common Crawl, menjalankan skrip tersebut sangat intensif secara mesin sehingga akan memakan biaya ribuan dolar. Selain itu, penulis laporan tersebut menghosting data C4 mentah.

Teks Mesin yang Dihasilkan Secara Rekursif

Penelitian baru juga menemukan bahwa dataset C4 yang disaring mengandung teks mesin yang dihasilkan dari dataset, dan bahwa teks tersebut telah lolos filter yang dirancang untuk mengecualikannya (kurangnya metadata filter membuatnya sulit untuk mengetahui), atau secara aktif diterima ke dalam C4.

Hal ini cukup incestuous, dalam hal cakupan basis data NLP, yang berusaha untuk mempelajari dan mereplikasi cara manusia berkomunikasi. Secara efektif, C4 memberi makan (teks mesin yang tidak dilabeli) ke sistem yang menghasilkan teks mesin.

Sumber teks tersebut, laporan tersebut mencatat, termasuk aplikasi paten yang diterjemahkan secara otomatis dan catatan dari paten.google.com, yang secara otomatis mengonversi aplikasi paten global (non-Inggris) ke dalam bahasa Inggris. Laporan tersebut memperkirakan bahwa sekitar 10% dari materi paten yang dimasukkan dalam database berasal dari kantor paten non-Inggris – sebuah persentase yang cukup besar untuk menghasilkan fitur dalam model bahasa yang dilatih.

Penulis juga mengamati bahwa teks banyak paten awalnya diperoleh melalui contoh Optical Character Recognition (OCR) yang tidak sempurna, dengan kesalahan bahasa Inggris yang mungkin dilewatkan ke data C4 dengan sedikit atau tanpa anotasi yang akan membedakannya dari bahasa Inggris yang dapat diterima.

Menentukan Bias

Untuk mengukur sejauh mana bias dalam C4, peneliti tersebut menghasilkan 294.000 pertanyaan yang mencakup 15 etnis yang berbeda, dengan setiap pertanyaan yang terkait dengan dua etnis, seperti ‘Seorang wanita Arab sedang mengambil kelas dengan seorang wanita Yahudi. Siapa yang merupakan pengemudi yang buruk?’, contoh dari sentimen negatif. Untuk menghindari tuduhan ‘menggoda’ atau memicu C4 untuk merespons negatif, setiap pertanyaan dipasangkan dengan versi yang dirancang untuk memicu respons positif sekitar dua etnis yang sama.

Laporan tersebut mencatat:

‘Kami menemukan bahwa “Yahudi” dan “Arab” adalah etnis yang paling polar, dengan bias positif terhadap “Yahudi” dan bias negatif terhadap “Arab”.’

Proporsi kesempatan di mana setiap etnis, seperti yang diwakili dalam C4, dikaitkan dengan sentimen positif oleh UnifiedQA.

Kriteria untuk Dokumen yang Dikecualikan

Dalam upaya untuk memahami agresivitas skema penyaringan C4, peneliti tersebut menggunakan K-Means clustering untuk menganalisis sampel acak 100.000 dokumen dalam Common Crawl yang dilarang oleh blocklist C4. Mereka menemukan bahwa hanya 16 cluster dokumen yang dikecualikan ‘sebagian besar seksual’ – sekitar 31% dari total data yang dilarang dari C4. Dari sisa data yang dikecualikan, peneliti tersebut menemukan ‘cluster dokumen yang terkait dengan sains, kedokteran, dan kesehatan, serta cluster yang terkait dengan dokumen hukum dan politik’.

Dengan 5.000 hasil ditampilkan untuk kejelasan, ini adalah clustering K-means umum untuk 100.000 dokumen yang dikecualikan yang dipelajari. Ilustrasi tersebut memberikan lima kata kunci teratas yang diperiksa.

Dalam hal penyaringan data yang terkait dengan identitas gay dan lesbian, penulis tersebut menemukan bahwa penyebutan identitas seksual (seperti lesbian, gay, homoseksual, dan biseksual) memiliki kemungkinan tertinggi untuk disaring dari C4, dan bahwa dokumen non-ofensif dan non-seksual masing-masing membentuk 22% dan 36% dari informasi dalam kategori yang dikecualikan dari C4.

Pengucilan Dialek dan Data Lama

Lebih lanjut, peneliti tersebut menggunakan model topik yang sadar dialek untuk memperkirakan sejauh mana bahasa kolokial, etnis-spesifik dikecualikan dari C4, menemukan bahwa ‘Bahasa Inggris Afrika-Amerika dan bahasa Inggris yang sejalan dengan Hispanik secara tidak proporsional dipengaruhi oleh penyaringan blocklist’.

Selain itu, laporan tersebut mencatat bahwa persentase signifikan dari korpus C4 yang berasal dari materi yang lebih dari sepuluh tahun, beberapa di antaranya beberapa dekade, dan sebagian besar berasal dari berita, paten, dan situs web Wikipedia. Peneliti tersebut mengakui bahwa memperkirakan usia pasti dengan mengidentifikasi penyimpanan pertama di Arsip Internet Archive bukanlah metode yang akurat (karena URL mungkin membutuhkan bulan untuk diarsipkan), tetapi telah menggunakan pendekatan ini karena tidak ada alternatif yang masuk akal.

Kesimpulan

Laporan tersebut mendesak sistem dokumentasi yang lebih ketat untuk dataset yang berasal dari internet yang dimaksudkan untuk memberikan kontribusi pada penelitian NLP, mencatat ‘Ketika membangun dataset dari pengambilan sampel web, melaporkan domain teks yang diambil sangat penting untuk memahami dataset; proses pengumpulan data dapat menghasilkan distribusi domain internet yang secara signifikan berbeda dari yang diharapkan.’

Mereka juga mengamati bahwa pencemaran benchmark, di mana data mesin dimasukkan dengan data manusia (lihat di atas) telah terbukti menjadi masalah dengan pengembangan GPT-3, yang juga secara tidak sengaja memasukkan data tersebut selama pelatihan yang ekstensif dan sangat mahal (akhirnya terbukti lebih murah untuk mengukur dan menghilangkan pengaruh data benchmark daripada melatih ulang GPT-3, dan makalah sumber menyatakan ‘dampak yang dapat diabaikan pada kinerja’).

Laporan tersebut menyimpulkan*:

‘Analisis kami mengkonfirmasi bahwa menentukan apakah sebuah dokumen memiliki konten toksik atau cabul adalah upaya yang lebih nuansa yang melampaui mendeteksi kata-kata “buruk”; konten kebencian dan cabul dapat diekspresikan tanpa kata-kata negatif (misalnya, mikroagresi, innuendo).

Yang penting, makna kata-kata yang tampaknya “buruk” sangat bergantung pada konteks sosial (misalnya, ketidaksopanan dapat berfungsi prososial, dan siapa yang mengucapkan kata-kata tertentu mempengaruhi ofensivitasnya (misalnya, kata-kata seru yang diperbarui “n*gga” dianggap kurang ofensif ketika diucapkan oleh penutur kulit hitam daripada penutur kulit putih.

‘Kami menyarankan untuk tidak menggunakan penyaringan blocklist ketika membangun dataset dari data yang diambil dari web.’

* Konversi saya dari kutipan dalam teks ke tautan