“Neredzamais”, bieži vien nelaimīgais darbaspēks, kas lemj par AI nākotni

Divos jaunos ziņojumos, tostarp Google Research vadītajā dokumentā, ir paustas bažas, ka pašreizējā tendence paļauties uz lētu un bieži vien bezspēcīgu nejaušu globālu koncertu darbinieku kopumu, lai radītu patiesību mašīnmācīšanās sistēmām, varētu būtiski ietekmēt AI.

Starp vairākiem secinājumiem Google pētījums atklāj, ka pašu pūļa darbinieku aizspriedumi, visticamāk, tiks iekļauti AI sistēmās, kuru pamatpatiesības būs balstītas uz viņu atbildēm; ka plaši izplatīta negodīga darba prakse (tostarp ASV) pūļa darba platformās, iespējams, pasliktinās atbilžu kvalitāti; un ka “vienprātības” sistēma (faktiski “mini vēlēšanas” kādai pamata patiesībai, kas ietekmēs pakārtotās AI sistēmas), kas pašlaik atrisina strīdus, faktiski var izmest labākās un/vai informētākās atbildes.

Tās ir sliktās ziņas; sliktākā ziņa ir tā, ka gandrīz visi līdzekļi ir dārgi, laikietilpīgi vai abi.

Nedrošība, nejauša noraidīšana un sašutums

1. papīrs, no pieciem Google pētniekiem, sauc Kura pamatpatiesība? Datu kopas anotācijas pamatā esošo individuālo un kolektīvo identitāti uzskaite; otrais, no diviem pētniekiem Sirakūzu universitātē Ņujorkā, sauc Datu marķētāju domstarpību izcelsme un vērtība: gadījuma izpēte par individuālajām atšķirībām naida runas anotācijā.

Google dokumentā ir norādīts, ka pūļa darbinieki, kuru novērtējumi bieži ir mašīnmācīšanās sistēmu noteicošais pamats, kas galu galā var ietekmēt mūsu dzīvi, bieži darbojas saskaņā ar dažādiem ierobežojumiem, kas var ietekmēt veidu, kā viņi reaģē uz eksperimentāliem uzdevumiem.

Piemēram, pašreizējā Amazon Mechanical Turk politika ļauj pieprasītājiem (tiem, kas piešķir uzdevumus) noraidīt anotatora darbu bez atbildības*:

“[A] liela daļa pūļa darbinieku (94%) ir bijis darbs, kas tika noraidīts vai par kuru viņiem nav samaksāts. Tomēr pieprasītāji saglabā visas tiesības uz saņemtajiem datiem neatkarīgi no tā, vai viņi tos pieņem vai noraida; Roberts (2016) apraksta šo sistēmu kā tādu, kas “iespējo algu zādzību”.

“Turklāt atteikšanās no darba un atalgojuma ieturēšana ir sāpīga, jo noraidījumus bieži izraisa neskaidri norādījumi un jēgpilnu atgriezeniskās saites kanālu trūkums; daudzi pūļa darbinieki ziņo, ka slikta komunikācija negatīvi ietekmē viņu darbu.

Autori iesaka pētniekiem, kuri izmanto ārpakalpojumus, lai izstrādātu datu kopas, apsvērt, kā pūļa darba platforma izturas pret saviem darbiniekiem. Viņi arī atzīmē, ka Amerikas Savienotajās Valstīs pūļa strādnieki tiek klasificēti kā “neatkarīgi darbuzņēmēji”, tāpēc darbs netiek regulēts un uz to neattiecas minimālā alga, kas noteikta Likumā par godīgiem darba standartiem.

Kontekstam ir nozīme

Papīrs arī kritizē izmantošanu ad hoc globālais darbs anotācijas uzdevumiem, neņemot vērā anotētāja pieredzi.

Ja budžets atļauj, pētnieki, kas izmanto AMT un līdzīgas pūļa darba platformas, uzdod vienu un to pašu uzdevumu četriem anotatoriem un ievēro “vairākuma noteikumu” attiecībā uz rezultātiem.

Rakstā apgalvots, ka kontekstuālā pieredze ir īpaši nepietiekami novērtēta. Piemēram, ja uzdevuma jautājums ir saistīts ar seksismu ir nejauši sadalīts starp trim piekrītošiem vīriešiem vecumā no 18 līdz 57 gadiem un vienu sievieti, kas nepiekrīt 29 gadu vecumam, vīriešu spriedums uzvar, izņemot salīdzinoši retos gadījumus, kad pētnieki pievērš uzmanību savu anotatoru kvalifikācijai.

Tāpat, ja jautājums par bandas uzvedība Čikāgā tiek izplatīta starp 36 gadus vecu ASV lauku sievieti, 42 gadus vecu Čikāgas iedzīvotāju vīrieti un diviem komentētājiem attiecīgi no Bengalūras un Dānijas. Personai, kuru problēma, visticamāk, skars visvairāk (Čikāgas vīrietim), pieder tikai ceturtā daļa no iznākuma. standarta ārpakalpojumu konfigurācija.

Pētnieki norāda:

“[Jēdziens “viena patiesība” pūļa avotu atbildēs ir mīts; domstarpības starp anotatoriem, kas bieži tiek uzskatītas par negatīvām, patiesībā var sniegt vērtīgu signālu. Otrkārt, tā kā daudzas pūļa anotatoru kopas ir sociāli demogrāfiski novirzītas, ir ietekme uz to, kuras populācijas ir pārstāvētas datu kopās, kā arī par to, kuras populācijas saskaras ar [pūļa darba] ​​izaicinājumiem.

“Anotatora demogrāfisko datu novirzes uzskaite ir ļoti svarīga datu kopu kontekstualizēšanai un atbildīgas pakārtotas izmantošanas nodrošināšanai. Īsāk sakot, ir vērts atzīt un ņemt vērā darbinieku sociāli kulturālo izcelsmi — gan no datu kvalitātes, gan sabiedrības ietekmes viedokļa.

Nav “neitrālu” viedokļu par aktuālajām tēmām

Pat tad, ja četru anotatoru viedokļi nav izkropļoti ne demogrāfiski, ne pēc kāda cita metrika, Google dokumentā ir paustas bažas, ka pētnieki neņem vērā anotētāju dzīves pieredzi vai filozofisko attieksmi:

Lai gan daži uzdevumi mēdz uzdot objektīvus jautājumus ar pareizu atbildi (vai attēlā ir cilvēka seja?), bieži datu kopu mērķis ir iegūt vērtējumu par salīdzinoši subjektīviem uzdevumiem bez vispārēji pareizas atbildes (vai šis teksta fragments ir aizskarošs?). Ir svarīgi apzināti paļauties uz anotatoru subjektīviem spriedumiem.

Attiecībā uz tā īpašo mērķi risināt problēmas saistībā ar naida runas marķēšanu, Sirakūzu dokumentā ir norādīts, ka kategoriskāki jautājumi, piemēram, Vai šajā fotogrāfijā ir kaķis? ievērojami atšķiras no jautāšanas pūļa darbiniekam, vai frāze ir “toksiska”:

“Ņemot vērā sociālās realitātes nekārtību, cilvēku uztvere par toksicitāti ievērojami atšķiras. Viņu toksiskā satura etiķetes ir balstītas uz viņu pašu uztveri.

Sirakūzu pētnieki secina, ka personībai un vecumam ir “būtiska ietekme” uz naida runas dimensiju marķēšanu:

"Šie atklājumi liecina, ka centieni panākt anotāciju konsekvenci starp naida runas etiķetēm ar dažādu izcelsmi un personībām, iespējams, nekad nebūs pilnībā sekmīgi."

Arī tiesnesis var būt neobjektīvs

Šis objektivitātes trūkums, iespējams, atkārtosies arī uz augšu, saskaņā ar Sirakūzu dokumentu, kurā tiek apgalvots, ka manuāla iejaukšanās (vai automatizēta politika, ko arī nosaka cilvēks), kas nosaka vienprātības balsojumu "uzvarētāju", arī būtu rūpīgi jāpārbauda. .

Salīdzinot procesu ar foruma regulēšanu, autori norāda*:

“[A] kopienas moderatori var izlemt gan ziņu, gan lietotāju likteni savā kopienā, reklamējot vai slēpjot ziņas, kā arī godinot, apkaunot vai aizliedzot lietotājus. Moderatoru lēmumi ietekmē piegādāto saturu kopienas locekļi un auditorija  un līdz ar to arī ietekmēt kopienas diskusiju pieredzi.

"Pieņemot, ka cilvēks moderators ir kopienas loceklis, kuram ir demogrāfiska viendabība ar citiem kopienas locekļiem, šķiet iespējams, ka garīgā shēma, ko viņi izmanto satura novērtēšanai, sakritīs ar citu kopienas locekļu mentālo shēmu."

Tas dod zināmu pavedienu, kāpēc Sirakūzu pētnieki ir nonākuši pie tik izmisuma secinājuma par naida runas anotācijas nākotni; tas nozīmē, ka politiku un spriedumus par atšķirīgiem pūļa darba viedokļiem nevar vienkārši nejauši piemērot saskaņā ar “pieņemamiem” principiem, kas nekur nav nostiprināti (vai nav reducējami līdz piemērojamai shēmai, pat ja tādi pastāv).

Cilvēki, kas pieņem lēmumus (pūļa darbinieki), ir neobjektīvi un būtu bezjēdzīgi šādiem uzdevumiem, ja viņi būtu nav neobjektīvs, jo uzdevums ir sniegt vērtējumu; cilvēki, kas spriež par strīdiem pūļa darba rezultātos, arī pieņem vērtību spriedumus, nosakot strīdu politiku.

Vienā naida runas noteikšanas sistēmā var būt simtiem politiku, un, ja vien katra no tām netiek atgriezta Augstākajā tiesā, kur var rasties “autoritatīva” vienprātība?

Google pētnieki to iesaka "[] nesaskaņas starp anotatoriem var ietvert vērtīgas nianses saistībā ar uzdevumu". Rakstā ir ierosināts izmantot metadatus datu kopās, kas atspoguļo un kontekstualizē strīdus.

Tomēr ir grūti saprast, kā šāds kontekstam specifisks datu slānis varētu radīt līdzīgus rādītājus, pielāgoties noteikto standarta testu prasībām vai atbalstam. jebkurš galīgos rezultātus – izņemot nereālo scenāriju, kad turpmākajā darbā tiek izmantota viena un tā pati pētnieku grupa.

Anotatoru kopas atlase

Tas viss paredz, ka pētniecības projektā ir pat budžets vairākām anotācijām, kas novestu pie vienprātīga balsojuma. Daudzos gadījumos pētnieki mēģina lētāk “izveidot” ārpakalpojumu anotāciju kopu, norādot iezīmes, kurām vajadzētu būt darbiniekiem, piemēram, ģeogrāfisko atrašanās vietu, dzimumu vai citus kultūras faktorus, mainot daudzveidību pret specifiku.

Google dokumentā ir apgalvots, ka ceļš uz priekšu no šīm problēmām varētu būt, izveidojot paplašinātas saziņas sistēmas ar anotatoriem, kas ir līdzīgas minimālajai saziņai, ko Uber lietotne atvieglo starp vadītāju un braucēju.

Šāda rūpīga anotatoru apsvēršana, protams, būtu šķērslis hipermēroga anotāciju ārpakalpojumiem, kā rezultātā rastos vai nu ierobežotākas un mazāka apjoma datu kopas, kurām ir labāks pamatojums to rezultātiem, vai arī iesaistīto anotatoru “sasteigta” novērtēšana, iegūstot ierobežotu informāciju. par tiem un raksturojot tos kā “piemērotus uzdevumam”, pamatojoties uz pārāk maz informācijas.

Tas ir, ja anotatori ir godīgi.

"Cilvēki, kas iepriecināti" ārpakalpojumu datu kopu marķēšanā

Ar pieejamo darbaspēku tas ir zemu atalgojumu, zem smaga konkurence par pieejamajiem uzdevumiem, un nomākts ar niecīgas karjeras izredzes, anotatori ir motivēti ātri sniegt “pareizo” atbildi un pāriet uz nākamo mini uzdevumu.

Ja “pareizā atbilde” ir kaut kas sarežģītāks par Ir kaķis/nav kaķa, Sirakūzu dokuments apgalvo, ka darbinieks, visticamāk, mēģinās secināt “pieņemamu” atbildi, pamatojoties uz jautājuma saturu un kontekstu*:

“Gan alternatīvu konceptualizāciju izplatība, gan vienkāršotu anotāciju metožu plašā izmantošana neapšaubāmi kavē tiešsaistes naida runas pētījumu progresu. Piemēram, Ross u.c. dibināt ka, parādot komentētājiem Twitter definīciju par naidpilnu rīcību, viņi daļēji saskaņoja savus uzskatus ar definīciju. Šī pārkārtošana izraisīja ļoti zemu anotāciju savstarpējo uzticamību.

* Mana raksta iekļauto citātu pārvēršana par hipersaitēm.

Publicēts 13. gada 2021. decembrī – Atjaunināts 18. gada 2021. decembrī: pievienotas atzīmes