Il-Forza tax-Xogħol 'Inviżibbli', Spiss Mhux Kuntenti Dak Jiddeċiedi l-Futur tal-AI

Żewġ rapporti ġodda, inkluż dokument immexxi minn Google Research, jesprimu tħassib li t-tendenza attwali li tiddependi fuq ġabra rħisa u ta' spiss bla setgħa ta' ħaddiema tal-gig globali każwali biex toħloq verità fuq l-art għas-sistemi ta' tagħlim bil-magni jista' jkollha implikazzjonijiet downstream kbar għall-AI.

Fost firxa ta 'konklużjonijiet, l-istudju Google jsib li l-preġudizzji tal-crowdworkers stess x'aktarx jiġu inkorporati fis-sistemi AI li l-veritajiet bażiċi tagħhom se jkunu bbażati fuq it-tweġibiet tagħhom; li prattiki tax-xogħol inġusti mifruxa (inkluż fl-Istati Uniti) fuq pjattaformi ta' crowdworking x'aktarx li jiddegradaw il-kwalità tar-risponsi; u li s-sistema ta' 'kunsens' (effettivament 'mini-elezzjoni' għal xi biċċa verità ta' l-art li se tinfluwenza s-sistemi ta' AI downstream) li bħalissa ssolvi t-tilwim tista' fil-fatt armi l-aħjar u/jew l-aktar tweġibiet infurmati.

Dik hija l-aħbar ħażina; l-agħar aħbar hija li kważi r-rimedji kollha huma għaljin, jieħdu ħafna ħin, jew it-tnejn.

Insigurtà, Ċaħda każwali, u Rancor

L-ewwel karta, minn ħames riċerkaturi tal-Google, jissejjaħ Ta’ min il-Verità tal-Art? Kontabilità għal Identitajiet Individwali u Kollettivi Sottostanti Annotazzjoni tas-Sett tad-Data; il tieni, minn żewġ riċerkaturi fl-Università ta 'Syracuse fi New York, jissejjaħ L-Oriġini u l-Valur tan-Nuqqas ta' Qbil fost il-Labelers tad-Data: Studju ta' Każ ta' Differenzi Individwali fl-Annotazzjoni tad-Diskors ta' Mibegħda.

Id-dokument ta’ Google jinnota li l-ħaddiema tal-folla – li l-evalwazzjonijiet tagħhom ħafna drabi jiffurmaw il-bażi ta’ definizzjoni ta’ sistemi ta’ tagħlim bil-magni li eventwalment jistgħu jaffettwaw ħajjitna – ta’ spiss qed joperaw taħt firxa ta’ restrizzjonijiet li jistgħu jaffettwaw il-mod kif jirrispondu għal inkarigi sperimentali.

Pereżempju, il-politiki attwali ta' Amazon Mechanical Turk jippermettu lil min jagħmel it-talba (dawk li jagħtu l-inkarigi) jirrifjutaw ix-xogħol ta' annotatur mingħajr responsabbiltà*:

“[A] maġġoranza kbira ta’ crowdworkers (94%) kellhom xogħol li ġie miċħud jew li għalih ma tħallsux. Madankollu, dawk li jagħmlu t-talba jżommu drittijiet sħaħ fuq id-dejta li jirċievu irrispettivament minn jekk jaċċettawx jew jirrifjutawx; Roberts (2016) jiddeskrivi din is-sistema bħala waħda li “jippermetti s-serq tal-pagi”.

“Barra minn hekk, iċ-ċaħda tax-xogħol u ż-żamma tal-paga hija ta' uġigħ minħabba li ċ-ċaħdiet ħafna drabi huma kkawżati minn struzzjonijiet mhux ċari u n-nuqqas ta' mezzi ta' feedback sinifikanti; ħafna crowdworkers jirrappurtaw li komunikazzjoni ħażina taffettwa b'mod negattiv ix-xogħol tagħhom.'

L-awturi jirrakkomandaw li r-riċerkaturi li jużaw servizzi esternalizzati biex jiżviluppaw settijiet ta 'dejta għandhom jikkunsidraw kif pjattaforma ta' crowdworking tittratta lill-ħaddiema tagħha. Jinnutaw ukoll li fl-Istati Uniti, il-crowdworkers huma kklassifikati bħala ‘kuntratturi indipendenti’, bix-xogħol għalhekk mhux regolat, u mhux kopert mill-paga minima mandatata mill-Att dwar Standards tax-Xogħol Ġust.

Kwistjonijiet ta 'Kuntest

Il-karta tikkritika wkoll l-użu ta ad hoc xogħol globali għall-kompiti ta' annotazzjoni, mingħajr konsiderazzjoni tal-isfond tal-annotatur.

Fejn il-baġit jippermetti, huwa komuni li riċerkaturi li jużaw AMT u pjattaformi simili ta' crowdwork jagħtu l-istess kompitu lil erba' annotaturi, u jirrispettaw ir-'regola tal-maġġoranza' fuq ir-riżultati.

L-esperjenza kuntestwali, jargumenta l-karta, hija notevolment sottovalutata. Per eżempju, jekk mistoqsija kompitu relatata ma sessiżmu huwa mqassam b'mod każwali bejn tliet irġiel li jaqblu bejn 18-57 u mara waħda li ma jaqblux ta' 29 sena, il-verdett tal-irġiel jirbaħ, ħlief fil-każijiet relattivament rari fejn ir-riċerkaturi jagħtu attenzjoni lill-kwalifiki tal-annotaturi tagħhom.

Bl-istess mod, jekk mistoqsija fuq imġieba gang f'Chicago hija mqassma bejn mara rurali fl-Istati Uniti ta' 36 sena, raġel residenti f'Chicago ta' 42 sena, u żewġ annotaturi rispettivament minn Bangalore u d-Danimarka, il-persuna li x'aktarx tkun l-aktar affettwata mill-kwistjoni (ir-raġel ta' Chicago) għandha biss kwart tas-sehem fir-riżultat, f' konfigurazzjoni standard ta 'esternalizzazzjoni.

Ir-riċerkaturi jgħidu:

'[Il-] kunċett ta' "verità waħda" fir-reazzjonijiet ta' crowdsourcing huwa ħrafa; in-nuqqas ta' qbil bejn l-annotaturi, li ħafna drabi jitqies bħala negattiv, jista' fil-fatt jipprovdi sinjal ta' valur. It-tieni nett, peress li ħafna gruppi ta' annotaturi crowdsourced huma soċjodemografikament distorti, hemm implikazzjonijiet li għalihom il-popolazzjonijiet huma rappreżentati f'settijiet ta' dejta kif ukoll liema popolazzjonijiet jiffaċċjaw l-isfidi ta' [crowdwork].

“Il-kontabilità għal distorsjonijiet fid-demografija tal-annotaturi hija kritika għall-kuntestwali tas-settijiet tad-dejta u biex jiġi żgurat użu downstream responsabbli. Fil-qosor, hemm valur fir-rikonoxximent, u l-kontabilità ta', l-isfond soċjokulturali tal-ħaddiem — kemm mill-perspettiva tal-kwalità tad-dejta kif ukoll mill-impatt fuq is-soċjetà.'

Ebda Opinjonijiet 'Newtrali' dwar Suġġetti Taħraq

Anke fejn l-opinjonijiet ta’ erba’ annotaturi mhumiex imxekkla, la demografikament jew b’xi metrika oħra, id-dokument ta’ Google jesprimi tħassib li r-riċerkaturi mhumiex qed jagħtu kont tal-esperjenzi tal-ħajja jew id-dispożizzjoni filosofika tal-annotaturi:

'Filwaqt li xi kompiti għandhom it-tendenza li joħolqu mistoqsijiet oġġettivi bi tweġiba korretta (hemm wiċċ uman f’immaġini?), ħafna drabi s-settijiet tad-dejta għandhom l-għan li jaqbdu ġudizzju fuq ħidmiet relattivament suġġettivi mingħajr l-ebda tweġiba universalment korretta (din il-biċċa test hija offensiva?). Huwa importanti li tkun intenzjonat dwar jekk tistrieħx fuq il-ġudizzji suġġettivi tal-annotaturi.'

Rigward l-ambitu speċifiku tiegħu li jindirizza problemi fl-ittikkettar tad-diskors ta’ mibegħda, id-dokument ta’ Sirakuża jinnota li mistoqsijiet aktar kategoriċi bħal Hemm qattus f'dan ir-ritratt? huma notevolment differenti milli jistaqsu lil ħaddiem tal-folla jekk frażi hijiex 'tossika':

'B'kont meħud tat-tfixkil tar-realtà soċjali, il-perċezzjonijiet tan-nies tat-tossiċità jvarjaw sostanzjalment. It-tikketti tagħhom ta' kontenut tossiku huma bbażati fuq il-perċezzjonijiet tagħhom stess.'

Sabu li l-personalità u l-età għandhom 'influwenza sostanzjali' fuq it-tikkettar dimensjonali tad-diskors ta' mibegħda, ir-riċerkaturi ta' Sirakuża jikkonkludu:

"Dawn is-sejbiet jissuġġerixxu li l-isforzi biex tinkiseb konsistenza ta' annotazzjoni fost labelers bi sfondi u personalitajiet differenti għal diskors ta' mibegħda qatt ma jista' jirnexxi għal kollox."

L-Imħallef Jista’ Jkun Preġudikat Wisq

Dan in-nuqqas ta’ oġġettività x’aktarx itenni ‘l fuq ukoll, skont id-dokument ta’ Syracuse, li jargumenta li l-intervent manwali (jew il-politika awtomatizzata, deċiża wkoll minn bniedem) li jiddetermina r-‘rebbieħ’ tal-voti ta’ kunsens għandu wkoll ikun suġġett għal skrutinju. .

Meta jqabblu l-proċess mal-moderazzjoni tal-forum, l-awturi jiddikjaraw*:

“Il-moderaturi tal-komunità [A] jistgħu jiddeċiedu d-destin kemm tal-postijiet kif ukoll tal-utenti fil-komunità tagħhom billi jippromwovu jew jaħbu l-postijiet, kif ukoll jonoraw, jgħajtu jew jipprojbixxu lill-utenti. Id-deċiżjonijiet tal-moderaturi jinfluwenzaw il-kontenut li jingħata membri tal-komunità u udjenzi  u b'estensjoni wkoll jinfluwenzaw l-esperjenza tal-komunità tad-diskussjoni.

'Jekk wieħed jassumi li moderatur uman huwa membru tal-komunità li għandu omoġeneità demografika ma' membri oħra tal-komunità, jidher possibbli li l-iskema mentali li jużaw biex jevalwaw il-kontenut taqbel ma' dawk ta' membri oħra tal-komunità.'

Dan jagħti xi ħjiel għala r-riċerkaturi ta' Sirakuża waslu għal konklużjoni daqshekk skoraġġanti rigward il-futur tal-annotazzjoni tad-diskors ta' mibegħda; l-implikazzjoni hija li l-politiki u s-sejħiet ta' ġudizzju fuq opinjonijiet ta' crowdwork li ma jaqblux ma jistgħux jiġu applikati b'mod każwali skont prinċipji 'aċċettabbli' li m'huma minquxa imkien (jew ma jistgħux jitnaqqsu għal skema applikabbli, anki jekk jeżistu).

In-nies li jieħdu d-deċiżjonijiet (il-crowdworkers) huma preġudikati, u jkunu inutli għal kompiti bħal dawn kieku kienu mhux preġudikata, peress li l-kompitu huwa li jipprovdi ġudizzju ta' valur; in-nies li jaġġudikaw fuq tilwim fir-riżultati tal-crowdwork qed jagħmlu wkoll ġudizzji ta' valur fl-istabbiliment ta' politiki għat-tilwim.

Jista' jkun hemm mijiet ta' politiki f'qafas wieħed biss ta' skoperta ta' diskors ta' mibegħda, u sakemm kull wieħed u waħda ma jittieħedx lura lejn il-Qorti Suprema, minn fejn jista' joriġina kunsens 'awtoritattiv'?

Ir-riċerkaturi tal-Google jissuġġerixxu li "[in-]nuqqas ta' qbil bejn l-annotaturi jistgħu jinkorporaw sfumaturi ta' valur dwar il-kompitu". Id-dokument jipproponi l-użu ta' metadata f'settijiet ta' data li jirrifletti u jikkontestwalizza t-tilwim.

Madankollu, huwa diffiċli li wieħed jara kif tali saff ta' dejta speċifiku għall-kuntest jista' qatt iwassal għal metriċi simili, jadatta ruħu għat-talbiet ta' testijiet standard stabbiliti, jew jappoġġja kwalunkwe riżultati definittivi – ħlief fix-xenarju mhux realistiku li jiġi adottat l-istess grupp ta’ riċerkaturi matul ix-xogħol sussegwenti.

Curating tal-Pool tal-Annotaturi

Dan kollu jassumi li hemm anke baġit fi proġett ta’ riċerka għal annotazzjonijiet multipli li jwasslu għal vot ta’ kunsens. F'ħafna każijiet, ir-riċerkaturi jippruvaw 'ikkurar' il-ġabra ta' annotazzjoni esternalizzata b'mod aktar irħis billi jispeċifikaw il-karatteristiċi li l-ħaddiema għandu jkollhom, bħall-lokazzjoni ġeografika, is-sess, jew fatturi kulturali oħra, jinnegozjaw il-pluralità għall-ispeċifiċità.

Il-karta ta 'Google isostni li t-triq 'il quddiem minn dawn l-isfidi tista' tkun billi jiġu stabbiliti oqfsa ta 'komunikazzjoni estiżi b'annotaturi, simili għall-komunikazzjonijiet minimi li l-app Uber tiffaċilita bejn sewwieq u rikkieb.

Tali konsiderazzjoni bir-reqqa tal-annotaturi tkun, naturalment, ostaklu għall-esternalizzazzjoni tal-annotazzjoni fuq skala kbira, li tirriżulta jew f'settijiet ta' dejta aktar limitati u ta' volum baxx li għandhom raġuni aħjar għar-riżultati tagħhom, jew evalwazzjoni 'mgħaġġla' tal-annotaturi involuti, li jiksbu dettalji limitati. dwarhom, u tikkaratterizzahom bħala 'tajbin għall-ħidma' abbażi ta' ftit wisq informazzjoni.

Dak jekk l-annotaturi qed ikunu onesti.

Il-'People Pleasers' fl-ittikkettar tas-sett tad-dejta esternalizzati

B'forza tax-xogħol disponibbli dak mhux imħallsa, taħt kompetizzjoni severa għall-inkarigi disponibbli, u depressi minn prospetti ta’ karriera skarsi, l-annotaturi huma motivati ​​biex jipprovdu malajr it-tweġiba 'tajba' u jgħaddu għall-mini-inkarigu li jmiss.

Jekk it-'tweġiba t-tajba' hija xi ħaġa aktar ikkumplikata minn Għandu qattus/L-ebda qattus, id-dokument ta’ Sirakuża jsostni li l-ħaddiem x’aktarx jipprova jiddeduċi tweġiba “aċċettabbli” ibbażata fuq il-kontenut u l-kuntest tal-mistoqsija*:

“Kemm il-proliferazzjoni ta’ kunċettwali alternattivi kif ukoll l-użu mifrux ta’ metodi ta’ annotazzjoni simplistiċi bla dubju qed ifixklu l-progress tar-riċerka dwar id-diskors ta’ mibegħda online. Per eżempju, Ross, et al. sabet li l-wiri tad-definizzjoni ta 'Twitter ta' kondotta ta 'mibegħda lill-annotaturi wassalhom biex jallinjaw parzjalment l-opinjonijiet tagħhom stess mad-definizzjoni. Dan l-allinjament mill-ġdid irriżulta f'affidabbiltà baxxa ħafna ta' interrater tal-annotazzjonijiet.'

* Il-konverżjoni tiegħi taċ-ċitazzjonijiet inline tal-karta għal hyperlinks.

Ippubblikat fit-13 ta' Diċembru 2021 – Aġġornata fit-18 ta’ Diċembru 2021: Tikketti miżjuda