'Ghaib', Tenaga Kerja Mindeng Bingah Anu Nangtukeun Masa Depan AI

Dua laporan anyar, kalebet makalah anu dipimpin ku Google Research, nyatakeun prihatin yén tren ayeuna ngandelkeun kolam renang anu murah sareng sering dilempengkeun pagawé manggung global acak pikeun nyiptakeun bebeneran pikeun sistem pembelajaran mesin tiasa gaduh implikasi hilir utama pikeun AI.

Di antara sauntuyan conclusions, ulikan Google manggihan yén biases crowdworkers sorangan kamungkinan jadi study kana sistem AI anu truths grounds bakal dumasar kana réspon maranéhna; yén prakték gawé teu adil nyebar (kaasup di AS) dina platform crowdworking kamungkinan nguraikeun kualitas réspon; sarta yén sistem 'konsensus' (éféktif mangrupa 'mini-pamilihan' pikeun sababaraha sapotong bebeneran taneuh anu bakal mangaruhan sistem AI hilir) nu ayeuna solves sengketa sabenerna bisa balédog réspon anu pangsaéna sareng / atanapi paling terang.

Éta warta goréng; warta goréng éta lumayan loba sagala remedies mahal, consuming waktu, atawa duanana.

Kaamanan, Panolakan Acak, sareng Rancor

Kahiji keretas, ti lima peneliti Google, disebutna Kaleresan Tanah Saha? Akunting pikeun Idéntitas Pribadi sareng Koléktif Anu Ngadasarkeun Anotasi Dataset; éta kadua, ti dua peneliti di Universitas Syracuse di New York, disebut Asal jeung Ajén Teu Satuju diantara Labelers Data: Hiji Studi Kasus ngeunaan Bedana Individual dina Hate Speech Annotation.

Tulisan Google nyatakeun yén pagawé balaréa - anu evaluasi sering janten dasar anu netepkeun sistem pembelajaran mesin anu antukna mangaruhan kahirupan urang - sering beroperasi dina sauntuyan konstrain anu tiasa mangaruhan cara aranjeunna ngabales tugas ékspérimén.

Salaku conto, kabijakan Amazon Mechanical Turk ayeuna ngamungkinkeun anu nyuhunkeun (anu masihan tugas) nampik karya annotator tanpa tanggung jawab*:

'[A] mayoritas badag crowdworkers (94%) ngagaduhan padamelan anu ditolak atanapi anu henteu dibayar. Acan, requesters nahan hak pinuh leuwih data aranjeunna nampi paduli naha maranéhna narima atawa nolak eta; Roberts (2016) ngajelaskeun sistem ieu salaku salah sahiji anu "ngaktifkeun maling upah".

'Leuwih ti éta, nolak gawé jeung nahan gaji téh nyeri sabab rejections mindeng disababkeun ku parentah teu jelas jeung kurangna saluran eupan balik bermakna; loba crowdworkers ngalaporkeun yén komunikasi goréng négatip mangaruhan karya maranéhanana.'

Panulis nyarankeun yén panalungtik anu ngagunakeun jasa outsourcing pikeun ngembangkeun datasets kudu mertimbangkeun kumaha platform crowdworking ngubaran pagawe na. Aranjeunna salajengna dicatet yén di Amérika Serikat, crowdworkers digolongkeun salaku 'kontraktor bebas', jeung karya kituna unregulated, sarta teu katutupan ku upah minimum mandated ku Fair Standar Buruh Act.

Perkara Kontéks

makalah ogé criticizes pamakéan AD hoc tanaga gawé global pikeun tugas annotation, tanpa tinimbangan tukang annotator urang.

Dimana anggaran ngamungkinkeun, éta umum pikeun panalungtik ngagunakeun AMT sarta platform crowdwork sarupa méré tugas sarua opat annotators, sarta abide ku 'aturan mayoritas' dina hasil.

Pangalaman kontékstual, saur makalah, utamina teu dianggap. Contona, upami patarosan tugas patali jeung sexism disebarkeun sacara acak antara tilu lalaki satuju umur 18-57 sarta hiji awéwé dissenting yuswa 29, vonis lalaki 'meunangkeun, iwal dina kasus kawilang jarang dimana peneliti nengetan kualifikasi annotators maranéhanana.

Kitu ogé, lamun patarosan on kabiasaan geng di Chicago disebarkeun antara awéwé padesaan AS yuswa 36, ​​lalaki Chicago nyicingan yuswa 42, sarta dua annotators masing-masing ti Bangalore jeung Denmark, jalma nu dipikaresep paling kapangaruhan ku masalah (lalaki Chicago) ngan nyepeng bagian saparapat dina hasilna, dina konfigurasi outsourcing baku.

Para panalungtik nyatakeun:

'[The] Pamanggih ngeunaan "hiji bebeneran" dina réspon crowdsourcing mangrupakeun mitos; kaayaan teu satuju antara annotators, nu mindeng ditempo salaku négatip, sabenerna bisa nyadiakeun sinyal berharga. Bréh, sabab loba pools annotator crowdsourced anu sosio-demografis skewed, aya implikasi nu populasi digambarkeun dina datasets ogé nu populasi nyanghareupan tantangan [crowdwork].

'Akuntansi pikeun skews dina annotator demografi kritis pikeun contextualizing datasets sarta mastikeun pamakéan hilir tanggung jawab. Pondokna, aya nilai di acknowledging, sarta akuntansi pikeun, kasang tukang sosio-kultural worker urang - duanana tina sudut pandang kualitas data jeung dampak societal.'

Taya 'Nétral' Pamadegan on Topik Hot

Malah dimana pamadegan opat annotators teu skewed, boh demografis atawa ku sababaraha métrik séjén, makalah Google expresses perhatian yén peneliti teu akuntansi pikeun pangalaman hirup atawa disposition filosofis annotators:

'Sedengkeun sababaraha tugas condong pasang aksi patarosan obyektif kalayan jawaban nu bener (Naha aya raray manusa dina gambar?), sering-sering set data tujuanana pikeun nyandak kaputusan ngeunaan tugas anu rélatif subjektif tanpa jawaban anu leres sacara universal (naha tulisan ieu ngaganggu?). Kadé janten ngahaja ngeunaan naha mun lean on judgments subjektif annotators '.'

Ngeunaan ambisi khususna pikeun ngabéréskeun masalah dina panyiri ucapan hate, makalah Syracuse nyatakeun yén patarosan langkung kategoris sapertos Naha aya ucing dina poto ieu? béda utamana ti nanya ka crowdworker naha frasa téh 'toksik':

'Nganggap kacau tina kanyataan sosial, persepsi jalma ngeunaan karacunan béda-béda. labél maranéhanana eusi toksik dumasar kana persepsi sorangan.'

Pananjung yén kapribadian sareng umur gaduh 'pangaruh anu ageung' dina panyiri dimensi ucapan hate, peneliti Syracuse nyimpulkeun:

'Papanggihan ieu nunjukkeun yén usaha pikeun ménta konsistensi annotation diantara labél kalawan backgrounds béda jeung personalities pikeun ucapan hate bisa pernah pinuh sukses.'

Hakim bisa jadi bias teuing

Kurangna objektivitas ieu sigana bakal ningkat ogé, dumasar kana kertas Syracuse, anu nyatakeun yén campur tangan manual (atanapi kabijakan otomatis, ogé diputuskeun ku manusa) anu nangtukeun 'meunang' sora konsensus ogé kedah ditaliti. .

Ngibaratkeun prosés kana moderasi forum, panulis nyatakeun:

'[A] moderator komunitas tiasa mutuskeun takdir duanana tulisan sareng pangguna di komunitasna ku cara ngamajukeun atanapi nyumputkeun tulisan, ogé ngahormatan, ngahina, atanapi ngalarang pangguna. Kaputusan moderator mangaruhan eusi anu dikirimkeun anggota masarakat jeung audiences  sarta ku extension ogé mangaruhan pangalaman masarakat ngeunaan diskusi.

'Anggap yén moderator manusa mangrupakeun anggota komunitas anu boga homogénitas demografi jeung anggota komunitas séjén, sigana mungkin yén schema mental aranjeunna ngagunakeun pikeun evaluate eusi bakal cocog pamadegan anggota komunitas lianna.'

Ieu méré sababaraha clue naha peneliti Syracuse geus datang ka kacindekan despondent misalna ngeunaan masa depan annotation ucapan hate; implikasi nya éta kawijakan jeung judgment-panggero dina dissenting pendapat crowdwork teu bisa ngan bisa dilarapkeun sacara acak nurutkeun prinsip 'ditampi' nu teu enshrined mana (atawa teu reducible kana hiji schema lumaku, sanajan aranjeunna aya).

Jalma anu nyieun kaputusan (nu crowdworkers) bias, sarta bakal euweuh gunana pikeun tugas-tugas misalna lamun maranéhna teu bias, saprak tugas nyadiakeun judgment nilai; jalma anu adjudicated on sengketa dina hasil crowdwork ogé nyieun judgments nilai dina netepkeun kawijakan pikeun sengketa.

Bisa jadi aya ratusan kawijakan dina ngan hiji kerangka deteksi ucapan hate, sarta iwal tiap sarta unggal hiji dibawa kabeh jalan balik ka Mahkamah Agung, dimana konsensus 'otoritatif' bisa asalna?

Panaliti Google nyarankeun éta '[The] disagreements antara annotators bisa embed nuances berharga ngeunaan tugas'. Makalah ieu ngusulkeun panggunaan metadata dina set data anu ngagambarkeun sareng kontekstualisasi sengketa.

Tapi, hese ningali kumaha lapisan data kontéks-spésifik sapertos kitu tiasa nyababkeun métrik anu sami-sami, adaptasi kana tungtutan tés standar anu ditetepkeun, atanapi dukungan. sagala hasil definitif - iwal dina skenario unrealistic nganut grup sarua peneliti sakuliah karya saterusna.

Curating Kolam Annotator

Sadaya ieu nganggap yén aya malah anggaran dina proyék panalungtikan pikeun sababaraha annotations nu bakal ngakibatkeun hiji sora konsensus. Dina loba kasus, panalungtik nyobian 'curate' kolam renang annotation outsourced leuwih murah ku nangtukeun Tret nu pagawe kudu boga, kayaning lokasi geografis, gender, atawa faktor budaya sejen, dagang pluralitas pikeun spésifisitas.

Makalah Google negeskeun yén jalan maju tina tantangan ieu tiasa ku cara ngadegkeun kerangka komunikasi anu diperpanjang sareng annotator, sami sareng komunikasi minimal anu digampangkeun ku aplikasi Uber antara supir sareng pengendara.

Pertimbangan anu ati-ati sapertos annotators, sacara alami, janten halangan pikeun outsourcing annotation hyperscale, nyababkeun set data anu langkung terbatas sareng volume-rendah anu gaduh rasional anu langkung saé pikeun hasilna, atanapi evaluasi 'buru-buru' para annotator anu kalibet, kéngingkeun detil terbatas. ngeunaan aranjeunna, sareng ngacirian aranjeunna salaku 'cocok pikeun tugas' dumasar kana sakedik inpormasi.

Éta lamun annotators jujur.

The 'People Pleasers' dina labél dataset outsourced

Kalayan tenaga kerja anu sayogi éta teu mayar, di handap kompetisi parah pikeun assignments sadia, sarta depresi ku prospek karir saeutik, annotators anu ngamotivasi pikeun gancang nyadiakeun jawaban 'katuhu' sarta ngaléngkah ka mini-tugas salajengna.

Lamun 'jawaban bener' nanaon leuwih pajeulit batan Boga ucing/Euweuh ucing, kertas Syracuse contends yén worker nu dipikaresep nyobian deduce jawaban 'ditampi' dumasar kana eusi jeung konteks patarosan *:

'Boh proliferasi konseptualisasi alternatif sareng pamakean metode anotasi saderhana tiasa ngahalangan kamajuan panalungtikan ngeunaan ucapan hate online. Contona, Ross, et al. kapanggih yén nunjukkeun definisi Twitter ngeunaan kalakuan anu hatena ka annotator nyababkeun aranjeunna sawaréh ngajajarkeun pendapat sorangan sareng definisi éta. Realignment ieu ngakibatkeun reliabiliti interrater pisan low tina anotasi.'

* Konversi kuring tina citations inline makalah urang kana hyperlinks.

Diterbitkeun 13 Désémber 2021 - Diropéa 18 Désémber 2021: Tambihkeun tag