Kekurangan Amazon Mechanical Turk Mungkin Mengancam Sistem Pembangkitan Bahasa Alami

Sebuah studi baru dari Universitas Massachusetts Amherst telah membandingkan guru bahasa Inggris dengan pekerja crowdsourced di Amazon Mechanical Turk dalam menilai output sistem Pembangkitan Bahasa Alami (NLG), menyimpulkan bahwa standar yang longgar dan ‘permainan’ tugas yang dihargai di antara pekerja AMT dapat menghambat pengembangan sektor ini.

Laporan ini menyimpulkan beberapa kesimpulan yang menghancurkan sejauh mana ‘outsourcing skala industri’ yang murah dari tugas evaluasi NLG terbuka dapat menyebabkan hasil dan algoritma yang inferior dalam sektor ini.

Para peneliti juga mengumpulkan daftar 45 makalah tentang pembangkitan teks terbuka di mana penelitian telah menggunakan AMT, dan menemukan bahwa ‘sebagian besar’ tidak melaporkan detail kritis tentang penggunaan layanan kerumunan Amazon, membuatnya sulit untuk mereproduksi temuan makalah tersebut.

Tenaga Kerja Sweat-Shop

Laporan ini mengkritik baik sifat sweat-shop dari Amazon Mechanical Turk, maupun proyek akademis yang (mungkin terbatas anggaran) memberikan AMT kredibilitas tambahan dengan menggunakan (dan mengutip) sebagai sumber daya penelitian yang valid dan konsisten. Penulis mencatat:

‘Sementara AMT adalah solusi yang nyaman dan terjangkau, kami mengamati bahwa varians tinggi antara pekerja, kalibrasi yang buruk, dan tugas yang menantang kognitif dapat menyebabkan peneliti menarik kesimpulan ilmiah yang menyesatkan (misalnya, bahwa teks yang ditulis oleh manusia “lebih buruk” daripada GPT-2).’

Laporan ini menyalahkan permainan daripada pemainnya, dengan peneliti mengamati:

‘Pekerja kerumunan sering kali underpaid untuk pekerjaan mereka, yang merugikan kualitas penelitian, dan lebih penting lagi, kemampuan pekerja kerumunan untuk mendapatkan penghasilan yang memadai.’

Makalah ini, berjudul Bahaya Menggunakan Mechanical Turk untuk Menilai Pembangkitan Teks Terbuka, lebih lanjut menyimpulkan bahwa ‘penilai ahli’ seperti guru bahasa dan ahli bahasa harus digunakan untuk menilai konten NLG buatan terbuka, bahkan jika AMT lebih murah.

Tugas Uji

Dalam membandingkan kinerja AMT dengan pembaca ahli yang kurang terbatas waktu, peneliti menghabiskan $144 untuk layanan AMT yang digunakan dalam tes perbandingan (meskipun lebih banyak yang dihabiskan untuk ‘hasil tidak dapat digunakan’ – lihat di bawah), meminta ‘Turks’ acak untuk menilai salah satu dari 200 teks, dibagi antara konten teks yang dibuat oleh manusia dan teks yang dihasilkan secara buatan.

Tugas meminta guru profesional dengan pekerjaan yang sama biaya $187,50, dan mengkonfirmasi kinerja yang unggul (dibandingkan dengan pekerja AMT) dengan mempekerjakan freelancer Upwork untuk mengulangi tugas biaya tambahan $262,50.

Setiap tugas terdiri dari empat kriteria evaluatif: tata bahasa (‘Seberapa benar tata bahasa teks fragmen cerita?’); kohesi (‘Seberapa baik kalimat dalam fragmen cerita fit bersama?’); kemampuan disukai (‘Seberapa menyenangkan Anda menemukan fragmen cerita?’); dan relevansi (‘Seberapa relevan fragmen cerita dengan prompt?’).

Menghasilkan Teks

Untuk mendapatkan bahan NLG untuk tes, peneliti menggunakan dataset Hierarchical Neural Story Generation Facebook AI Research 2018 ini, yang terdiri dari 303.358 cerita bahasa Inggris yang disusun oleh pengguna di subreddit r/writingprompts yang sangat populer (15m+ pengguna), di mana cerita pengguna ‘dibuat’ oleh kalimat ‘prompt’ tunggal dalam cara yang sama dengan praktik saat ini dalam pembangkitan teks-ke-gambar – dan, tentu saja, dalam sistem Pembangkitan Bahasa Alami terbuka.

200 prompt dari dataset dipilih secara acak dan dilewatkan melalui model GPT-2 berukuran sedang menggunakan perpustakaan Hugging-Face Transformers ini. Dengan demikian, dua set hasil diperoleh dari prompt yang sama: esai diskursif yang ditulis oleh manusia dari pengguna Reddit, dan teks yang dihasilkan oleh GPT-2.

Untuk mencegah pekerja AMT yang sama menilai cerita yang sama beberapa kali, tiga penilaian pekerja AMT diminta per contoh. Bersama dengan eksperimen mengenai kemampuan bahasa Inggris pekerja (lihat akhir artikel) dan menghilangkan hasil dari pekerja dengan upaya yang rendah (lihat ‘Waktu Singkat’ di bawah), ini meningkatkan total pengeluaran pada AMT menjadi sekitar $1.500 USD.

Untuk menciptakan lapangan yang adil, semua tes dilakukan pada hari kerja antara pukul 11.00-11.30 pagi PST.

Hasil dan Kesimpulan

Studi yang luas ini mencakup banyak hal, tetapi poin kunci adalah sebagai berikut:

Waktu Singkat

Makalah ini menemukan bahwa waktu tugas rata-rata yang dilaporkan Amazon sebesar 360 detik menyusut menjadi waktu kerja nyata sebesar 22 detik, dan waktu kerja median sebesar hanya 13 detik – seperempat waktu yang dihabiskan oleh guru bahasa Inggris tercepat yang mengulangi tugas.

Dari Hari 2 studi: pekerja individu (berwarna oranye) menghabiskan waktu yang jauh lebih sedikit untuk menilai setiap tugas daripada guru yang lebih terbayar, dan (kemudian) kontraktor Upwork yang lebih terbayar.

Karena AMT tidak membatasi Human Intelligence Tasks (HITs) yang dapat diambil oleh pekerja individu, ‘pemain besar’ AMT telah muncul, dengan reputasi yang menguntungkan untuk menyelesaikan jumlah tugas yang tinggi per eksperimen. Untuk mengkompensasi tugas yang diterima oleh pekerja yang sama, peneliti mengukur waktu antara HIT yang dikirimkan secara berturut-turut, membandingkan waktu mulai dan akhir dari setiap HIT. Dengan cara ini, kekurangan antara waktu kerja yang dilaporkan AMT dan waktu yang sebenarnya dihabiskan untuk tugas menjadi jelas.

Karena pekerjaan seperti itu tidak dapat diselesaikan dalam kerangka waktu yang dikurangi, peneliti harus mengkompensasi hal ini:

‘Karena tidak mungkin untuk membaca dengan hati-hati sebuah paragraf teks dan menilai semua empat properti dalam waktu 13 detik, kami mengukur dampak pada peringkat rata-rata ketika menyaring pekerja yang menghabiskan waktu terlalu sedikit per HIT…Secara khusus, kami menghilangkan penilaian dari pekerja yang waktu median di bawah 40s (yang merupakan batas yang rendah), dan menemukan bahwa rata-rata sekitar 42% dari peringkat kami disaring (berkisar dari 20%-72% di semua eksperimen).’

Makalah ini menyatakan bahwa waktu kerja nyata yang dilaporkan AMT adalah ‘masalah besar’ yang biasanya diabaikan oleh peneliti yang menggunakan layanan tersebut.

Membutuhkan Bimbingan

Temuan ini lebih lanjut menunjukkan bahwa pekerja AMT tidak dapat secara andal membedakan antara teks yang ditulis oleh manusia dan teks yang ditulis oleh mesin, kecuali mereka melihat kedua teks secara berdampingan, yang pada dasarnya akan mengompromikan skenario evaluasi yang khas (di mana pembaca harus dapat membuat penilaian berdasarkan sampel teks tunggal, ‘nyata’ atau dihasilkan secara buatan).

Penerimaan Kasual dari Teks Buatan Berkualitas Rendah

Pekerja AMT secara konsisten menilai teks buatan berkualitas rendah yang dihasilkan oleh GPT sejajar dengan teks yang lebih berkualitas dan kohesif yang ditulis oleh manusia, berbeda dengan guru bahasa Inggris, yang dengan mudah dapat membedakan perbedaan kualitas.

Tanpa Waktu Persiapan, Tanpa Konteks

Memasuki pola pikir yang benar untuk tugas abstrak seperti evaluasi keaslian tidak datang secara alami; guru bahasa Inggris memerlukan 20 tugas untuk mengkalibrasi kepekaan mereka terhadap lingkungan evaluatif, sedangkan pekerja AMT biasanya tidak mendapatkan ‘waktu orientasi’ sama sekali, menurunkan kualitas input mereka.

Memainkan Sistem

Laporan ini menyatakan bahwa waktu total yang dihabiskan pekerja AMT pada tugas individu diperbesar oleh pekerja yang menerima beberapa tugas secara bersamaan, dan menjalankan tugas-tugas tersebut di tab yang berbeda di browser mereka, bukan berkonsentrasi pada satu tugas untuk durasi tugas yang dicatat.

Asal Negara Penting

Pengaturan default AMT tidak memfilter pekerja berdasarkan asal negara, dan laporan ini mencatat pekerjaan sebelumnya yang menunjukkan bahwa pekerja AMT menggunakan VPN untuk bekerja di sekitar pembatasan geografis, memungkinkan penutur non-asli untuk menyajikan diri sebagai penutur asli (dalam sistem yang, mungkin agak naif, mengaitkan bahasa ibu pekerja dengan lokasi geografis berdasarkan IP).

Oleh karena itu, peneliti menjalankan kembali tes evaluasi pada AMT dengan filter yang membatasi calon penerima untuk non-negara berbahasa Inggris, menemukan bahwa ‘pekerja dari negara non-berbahasa Inggris menilai kohesi, relevansi, dan tata bahasa…secara signifikan lebih rendah daripada pekerja yang sama-sama memenuhi syarat dari negara berbahasa Inggris’.

Laporan ini menyimpulkan:

‘Penilai ahli seperti ahli bahasa atau guru bahasa sebaiknya digunakan kapan pun memungkinkan karena mereka telah dilatih untuk menilai teks tertulis, dan tidak terlalu mahal…’.

Diterbitkan 16 September 2021 – Diperbarui 18 Desember 2021: Menambahkan tag