‘Invisible’, Kerja Paksa yang Sering Tidak Bahagia yang Menentukan Masa Depan AI

Dua laporan baru, termasuk makalah yang dipimpin oleh Google Research, mengungkapkan kekhawatiran bahwa tren saat ini untuk mengandalkan kolam pekerja lepas yang murah dan sering tidak berdaya untuk menciptakan kebenaran dasar untuk sistem pembelajaran mesin dapat memiliki implikasi hilir yang signifikan untuk AI.

Di antara berbagai kesimpulan, penelitian Google menemukan bahwa bias pekerja kerumunan sendiri kemungkinan akan menjadi tersemat dalam sistem AI yang kebenaran dasarnya akan didasarkan pada respons mereka; bahwa praktik kerja yang tidak adil yang meluas (termasuk di AS) pada platform kerja kerumunan kemungkinan akan menurunkan kualitas respons; dan bahwa sistem ‘konsensus’ (secara efektif ‘pemilihan mini’ untuk beberapa kebenaran dasar yang akan mempengaruhi sistem AI hilir) yang saat ini menyelesaikan sengketa sebenarnya dapat membuang respons terbaik dan/atau paling berpengetahuan.

Itu adalah kabar buruk; kabar buruknya adalah bahwa hampir semua solusi yang ada mahal, memakan waktu, atau keduanya.

Ketidakamanan, Penolakan Acak, dan Kemarahan

Makalah pertama paper, dari lima peneliti Google, berjudul Siapa Kebenaran? Akuntansi untuk Identitas Individu dan Kolektif yang Mendasari Anotasi Dataset; yang kedua kedua, dari dua peneliti di Syracuse University di New York, berjudul Asal dan Nilai Perbedaan di Antara Pemberi Label Data: Studi Kasus Perbedaan Individu dalam Anotasi Ucapan Kebencian.

Penelitian Google mencatat bahwa pekerja kerumunan – yang evaluasi mereka sering membentuk dasar penentuan sistem pembelajaran mesin yang mungkin akhirnya mempengaruhi kehidupan kita – sering beroperasi di bawah berbagai kendala yang mungkin mempengaruhi cara mereka merespons tugas eksperimental.

Misalnya, kebijakan saat ini dari Amazon Mechanical Turk memungkinkan pemberi tugas (mereka yang memberikan tugas) untuk menolak pekerjaan anotator tanpa pertanggungjawaban*:

‘[S]ebagian besar pekerja kerumunan (94%) telah memiliki pekerjaan yang ditolak atau untuk yang mereka tidak dibayar. Namun, pemberi tugas mempertahankan hak penuh atas data yang mereka terima terlepas dari apakah mereka menerima atau menolaknya; Roberts (2016) menggambarkan sistem ini sebagai satu yang “memungkinkan pencurian upah”.

‘Selain itu, menolak pekerjaan dan menahan gaji menyakitkan karena penolakan sering disebabkan oleh instruksi yang tidak jelas dan kurangnya saluran umpan balik yang berarti; banyak pekerja kerumunan melaporkan bahwa komunikasi yang buruk mempengaruhi pekerjaan mereka secara negatif.’

Para peneliti merekomendasikan bahwa peneliti yang menggunakan layanan outsourcing untuk mengembangkan dataset harus mempertimbangkan bagaimana platform kerja kerumunan memperlakukan pekerjanya. Mereka lebih lanjut mencatat bahwa di Amerika Serikat, pekerja kerumunan diklasifikasikan sebagai ‘kontraktor independen’, dengan pekerjaan yang tidak diatur, dan tidak tercakup dalam upah minimum yang ditentukan oleh Undang-Undang Standar Kerja Adil.

Konteks Penting

Makalah ini juga mengkritik penggunaan ad hoc tenaga kerja global untuk tugas anotasi, tanpa mempertimbangkan latar belakang anotator.

Di mana anggaran memungkinkan, umum bagi peneliti menggunakan AMT dan platform kerja kerumunan serupa untuk memberikan tugas yang sama kepada empat anotator, dan memutuskan ‘aturan mayoritas’ pada hasilnya.

Pengalaman kontekstual, makalah ini berpendapat, secara signifikan diabaikan. Misalnya, jika pertanyaan tugas terkait seksisme didistribusikan secara acak antara tiga pria yang setuju berusia 18-57 dan satu perempuan yang tidak setuju berusia 29, putusan pria memenangkan, kecuali dalam kasus yang relatif jarang di mana peneliti memperhatikan kualifikasi anotator mereka.

Demikian pula, jika pertanyaan tentang perilaku geng di Chicago didistribusikan antara seorang wanita pedesaan AS berusia 36, seorang pria penduduk Chicago berusia 42, dan dua anotator dari Bangalore dan Denmark, orang yang paling terpengaruh oleh masalah (pria Chicago) hanya memegang bagian seperempat dari hasil, dalam konfigurasi outsourcing standar.

Para peneliti menyatakan:

‘[K]onsep “satu kebenaran” dalam respons kerumunan adalah mitos; perbedaan antara anotator, yang sering dianggap negatif, sebenarnya dapat memberikan sinyal yang berharga. Kedua, karena banyak kolam anotator kerumunan yang miring secara sosio-demografis, ada implikasi untuk populasi yang diwakili dalam dataset serta populasi yang menghadapi tantangan [kerja kerumunan].

‘Mengakui skew dalam demografi anotator adalah penting untuk mengkontekstualisasi dataset dan memastikan penggunaan yang bertanggung jawab di hilir. Singkatnya, ada nilai dalam mengakui, dan mengakui, latar belakang sosio-budaya pekerja — baik dari perspektif kualitas data dan dampak sosial.’

Tidak Ada ‘Opini Netral’ pada Topik Panas

Bahkan di mana opini empat anotator tidak miring, baik secara demografis atau oleh beberapa metrik lain, makalah Google mengekspresikan kekhawatiran bahwa peneliti tidak mempertimbangkan pengalaman hidup atau disposisi filosofis anotator:

‘Sementara beberapa tugas cenderung meminta pertanyaan objektif dengan jawaban yang benar (apakah ada wajah manusia dalam gambar?), seringkali dataset bertujuan untuk menangkap penilaian pada tugas subjektif dengan tidak ada jawaban yang universal benar (apakah teks ini ofensif?). Penting untuk memiliki niat untuk mengandalkan penilaian subjektif anotator.’

Mengenai ambisinya yang spesifik untuk menangani masalah dalam pelabelan ucapan kebencian, makalah Syracuse mencatat bahwa pertanyaan yang lebih kategoris seperti Apakah ada kucing dalam foto ini? secara signifikan berbeda dari meminta pekerja kerumunan untuk menentukan apakah sebuah frasa ‘toksik’:

‘Memperhitungkan kerumitan kenyataan sosial, persepsi orang tentang toksisitas bervariasi secara signifikan. Label mereka tentang konten toksik didasarkan pada persepsi mereka sendiri.’

Menemukan bahwa kepribadian dan usia memiliki ‘pengaruh signifikan’ pada pelabelan dimensional ucapan kebencian, peneliti Syracuse menyimpulkan:

‘Temuan ini menunjukkan bahwa upaya untuk mendapatkan konsistensi anotasi di antara pemberi label dengan latar belakang dan kepribadian yang berbeda untuk ucapan kebencian mungkin tidak pernah sepenuhnya berhasil.’

Hakim Juga Mungkin Berbias

Ketiadaan objektivitas ini kemungkinan akan berulang ke atas juga, menurut makalah Syracuse, yang berpendapat bahwa intervensi manual (atau kebijakan otomatis, yang juga diputuskan oleh manusia) yang menentukan ‘pemenang’ dari suara konsensus juga harus dikenakan pengawasan.

Mengibaratkan proses ini dengan moderasi forum, para penulis menyatakan*:

‘[M]oderator komunitas dapat menentukan nasib postingan dan pengguna dalam komunitas mereka dengan mempromosikan atau menyembunyikan postingan, serta menghormati, memalukan, atau melarang pengguna. Keputusan moderator mempengaruhi konten yang disampaikan kepada anggota komunitas dan audiens dan oleh ekstensi juga mempengaruhi pengalaman komunitas dalam diskusi.

‘Menganggap bahwa moderator manusia adalah anggota komunitas yang memiliki homogenitas demografis dengan anggota komunitas lain, tampaknya mungkin bahwa skema mental yang mereka gunakan untuk mengevaluasi konten akan sesuai dengan skema yang digunakan oleh anggota komunitas lain.’

Hal ini memberikan beberapa petunjuk tentang mengapa peneliti Syracuse telah mencapai kesimpulan yang sangat pesimis tentang masa depan anotasi ucapan kebencian; implikasinya adalah bahwa kebijakan dan keputusan tentang opini kerja kerumunan yang tidak setuju tidak dapat hanya diterapkan secara acak menurut ‘prinsip yang dapat diterima’ yang tidak diatur di mana pun (atau tidak dapat direduksi menjadi skema yang dapat diterapkan, bahkan jika mereka ada).

Orang-orang yang membuat keputusan (pekerja kerumunan) memiliki bias, dan akan tidak berguna untuk tugas tersebut jika mereka tidak memiliki bias, karena tugasnya adalah untuk memberikan penilaian nilai; orang-orang yang menengahi sengketa dalam hasil kerja kerumunan juga membuat penilaian nilai dalam menetapkan kebijakan untuk sengketa.

Mungkin ada ratusan kebijakan dalam satu kerangka deteksi ucapan kebencian, dan kecuali setiap kebijakan diambil kembali ke Mahkamah Agung, di mana ‘konsensus yang berwenang’ dapat berasal?

Peneliti Google menyarankan bahwa ‘[perbedaan antara anotator mungkin menyematkan nuansa berharga tentang tugas’. Makalah ini mengusulkan penggunaan metadata dalam dataset yang mencerminkan dan mengkontekstualisasi sengketa.

Namun, sulit untuk melihat bagaimana lapisan data kontekstual seperti itu dapat pernah mengarah pada metrik yang serupa, beradaptasi dengan tuntutan tes standar yang mapan, atau mendukung hasil definitif – kecuali dalam skenario yang tidak realistis dengan mengadopsi kelompok peneliti yang sama di seluruh pekerjaan berikutnya.

Mengkurasi Kolam Anotator

Semua ini menganggap bahwa ada anggaran dalam proyek penelitian untuk anotasi ganda yang akan mengarah pada suara konsensus. Dalam banyak kasus, peneliti mencoba ‘mengkurasi’ kolam anotasi yang diserahkan dengan lebih murah dengan menentukan ciri-ciri yang harus dimiliki pekerja, seperti lokasi geografis, jenis kelamin, atau faktor budaya lainnya, menukar pluralitas untuk spesifisitas.

Makalah Google berpendapat bahwa cara maju dari tantangan ini bisa dengan membangun kerangka komunikasi yang diperluas dengan anotator, serupa dengan komunikasi minimal yang aplikasi Uber fasilitasi antara pengemudi dan penumpang.

Pertimbangan yang hati-hati terhadap anotator akan, secara alami, menjadi hambatan bagi pengalihan anotasi skala hiperskala, menghasilkan dataset yang lebih terbatas dan volume rendah yang memiliki alasan yang lebih baik untuk hasilnya, atau ‘evaluasi yang terburu-buru’ dari anotator yang terlibat, memperoleh detail terbatas tentang mereka, dan menggambarkan mereka sebagai ‘cocok untuk tugas’ berdasarkan informasi yang tidak cukup.

Itu jika anotator jujur.

‘Pembuat Orang’ dalam Pelabelan Dataset yang Diserahkan

Dengan tenaga kerja yang tersedia yang underpaid, di bawah persaingan yang ketat untuk tugas yang tersedia, dan terdepresi oleh perspektif karir yang terbatas, anotator termotivasi untuk memberikan ‘jawaban yang benar’ dan melanjutkan ke tugas mini berikutnya.

Jika ‘jawaban yang benar’ adalah sesuatu yang lebih rumit daripada Ada kucing/Tidak ada kucing, makalah Syracuse berpendapat bahwa pekerja akan mencoba untuk menentukan ‘jawaban yang dapat diterima’ berdasarkan konten dan konteks pertanyaan*:

‘[B]aik proliferasi konseptualisasi alternatif dan penggunaan metode anotasi yang sederhana secara luas secara nyata menghambat kemajuan penelitian tentang ucapan kebencian online. Misalnya, Ross, et al. menemukan bahwa menunjukkan definisi Twitter tentang tindakan kebencian kepada anotator menyebabkan mereka sebagian untuk menyelaraskan opini mereka dengan definisi. Penyelarasan ini menghasilkan reliabilitas antar-penilai yang sangat rendah dari anotasi.’

* Konversi saya dari kutipan dalam teks makalah ke tautan.

Diterbitkan 13 Desember 2021 – Diperbarui 18 Desember 2021: Tag ditambahkan