An luchd-obrach ‘Invisible’, Gu tric mì-thoilichte a tha a’ co-dhùnadh àm ri teachd AI

Tha dà aithisg ùr, a’ toirt a-steach pàipear air a stiùireadh le Google Research, a’ nochdadh dragh gum faodadh buaidh mhòr sìos an abhainn a bhith aig a’ ghluasad a th’ ann an-dràsta a bhith an urra ri cruinneachadh saor agus gu tric neo-chumhachdach de luchd-obrach gig cruinne gus fìrinn talmhainn a chruthachadh airson siostaman ionnsachaidh innealan airson AI.

Am measg raon de cho-dhùnaidhean, lorg sgrùdadh Google gu bheil coltas ann gum bi claon-bhreith an luchd-obrach fhèin air am fighe a-steach do na siostaman AI aig am bi na fìrinnean talmhainn stèidhichte air na freagairtean aca; gu bheil cleachdaidhean obrach mì-chothromach farsaing (a’ gabhail a-steach sna SA) air àrd-ùrlaran obair sluaigh dualtach càileachd fhreagairtean a lughdachadh; agus gum faod an siostam ‘co-aontachd’ (gu h-èifeachdach ‘mion-thaghadh’ airson pìos de fhìrinn talmhainn a bheir buaidh air siostaman AI sìos an abhainn) a tha an-dràsta a’ fuasgladh connspaidean. Tilg air fallbh na freagairtean as fheàrr agus/no as fiosraichte.

Sin an droch naidheachd; is e an naidheachd as miosa gu bheil cha mhòr a h-uile leigheas daor, a’ toirt ùine, no an dà chuid.

Neo-thèarainteachd, diùltadh air thuaiream, agus Rancor

A 'chiad pàipear, bho chòignear luchd-rannsachaidh Google, air a ghairm Cò dha an Talamh Fìrinn? A’ cumail cunntas air dearbh-aithne fa leth agus co-phàirteach a tha mar bhunait ri comharrachadh seata dàta; an an dàrna, bho dhithis luchd-rannsachaidh aig Oilthigh Syracuse ann an New York, ris an canar Tùs agus luach eas-aonta am measg luchd-luachaidh dàta: Sgrùdadh cùise air eadar-dhealachaidhean fa leth ann an notaichean cainnt fuath.

Tha pàipear Google a’ toirt fa-near gu bheil luchd-obrach sluaigh - aig a bheil measaidhean gu tric mar bhunait chinnteach air siostaman ionnsachaidh innealan a dh’ fhaodadh buaidh a thoirt air ar beatha mu dheireadh - gu tric ag obair fo raon de chuingealachaidhean a dh’ fhaodadh buaidh a thoirt air an dòigh sa bheil iad a’ dèiligeadh ri sònrachaidhean deuchainneach.

Mar eisimpleir, tha poileasaidhean gnàthach Amazon Mechanical Turk a’ leigeil le luchd-iarrtais (an fheadhainn a tha a’ toirt seachad na sònrachaidhean) obair neach-notaichean a dhiùltadh gun chunntas*:

'[A] mòr-chuid mhòr de luchd-obrach sluagh (94%) air obair fhaighinn a chaidh a dhiùltadh no airson nach deach am pàigheadh. Ach, tha làn chòraichean aig luchd-iarrtais air an dàta a gheibh iad ge bith a bheil iad a’ gabhail ris no a’ diùltadh; Roberts (2016) a’ toirt cunntas air an t-siostam seo mar aon a tha “a’ comasachadh goid tuarastail”.

“A bharrachd air an sin, tha e dòrainneach a bhith a’ diùltadh obair agus a bhith a’ cumail pàigheadh ​​air ais leis gu bheil diùltadh gu tric air adhbhrachadh le stiùireadh neo-shoilleir agus dìth dhòighean fios-air-ais brìoghmhor; tha mòran de luchd-obrach sluaigh ag aithris gu bheil droch chonaltradh a' toirt droch bhuaidh air an cuid obrach.'

Tha na h-ùghdaran a’ moladh gum bu chòir do luchd-rannsachaidh a bhios a’ cleachdadh seirbheisean taobh a-muigh gus stòran-dàta a leasachadh beachdachadh air mar a bhios àrd-ùrlar obair sluaigh a’ làimhseachadh an luchd-obrach. Tha iad a’ toirt fa-near cuideachd, anns na Stàitean Aonaichte, gu bheil luchd-obrach sluagh air an seòrsachadh mar ‘cunnradairean neo-eisimeileach’, leis an obair mar sin gun riaghladh, agus nach eil air a chòmhdach leis an tuarastal as ìsle a tha air òrdachadh le Achd Inbhean Làbarach Cothromach.

Cùisean Co-theacsa

Tha am pàipear cuideachd a' càineadh cleachdadh Ad hoc saothair chruinneil airson gnìomhan notaichean, gun a bhith beachdachadh air cùl an neach-notaichean.

Far a bheil buidseat a’ ceadachadh, tha e cumanta do luchd-rannsachaidh a bhios a’ cleachdadh AMT agus àrd-ùrlaran obair-sluaigh coltach ris an aon obair a thoirt do cheathrar luchd-nòt, agus cumail ri ‘riaghailt mòr-chuid’ air na toraidhean.

Tha eòlas co-theacsail, tha am pàipear ag argamaid, gu sònraichte gann de mheas. Mar eisimpleir, ma tha ceist gnìomh co-cheangailte ri gnèitheachas air a chuairteachadh air thuaiream eadar triùir fhireannaich aontaichte aois 18-57 agus aon bhoireannach eas-aontach aois 29, bidh co-dhùnadh nam fireannach a’ buannachadh, ach a-mhàin anns na cùisean a tha gu math tearc far a bheil luchd-rannsachaidh a’ toirt aire do theisteanasan an luchd-nòtachaidh.

Mar an ceudna, ma tha ceist air giùlan gang ann an Chicago air a chuairteachadh eadar boireannach dùthchail na SA aig aois 36, neach-còmhnaidh fireann ann an Chicago aig aois 42, agus dà neach-notaichean fa leth à Bangalore agus an Danmhairg, an neach as coltaiche a tha fo bhuaidh na cùise (am fireannach à Chicago) a’ cumail dìreach cairteal cuibhreann den bhuil, ann an a rèiteachadh àbhaisteach taobh a-muigh.

Tha an luchd-rannsachaidh ag ràdh:

‘Is e uirsgeul a th’ anns a’ bheachd air “aon fhìrinn” ann am freagairtean sluaigh; faodaidh eas-aonta eadar luchd-notaichean, a tha gu tric air fhaicinn mar àicheil, comharra luachmhor a thoirt seachad. San dàrna h-àite, leis gu bheil mòran de amaran notaichean làn sluaigh air an sgàineadh gu sòisealta-deamografach, tha buaidh ann air dè na h-àireamhan a tha air an riochdachadh ann an stòran-dàta a bharrachd air dè na h-àireamhan a tha mu choinneamh dhùbhlain [obair-sluaigh].

“Tha cunntas airson skews ann an deamografaigs notator deatamach airson a bhith a’ suidheachadh stòran-dàta agus a’ dèanamh cinnteach à cleachdadh cunntachail sìos an abhainn. Ann an ùine ghoirid, tha luach ann a bhith ag aithneachadh, agus a' toirt cunntas air, cùl-fhiosrachadh sòisio-chultarach an neach-obrach - an dà chuid a thaobh càileachd dàta agus buaidh shòisealta.'

Gun bheachdan 'Neodrach' air cuspairean teth

Eadhon far nach eil beachdan ceathrar luchd-nota air an sgàineadh, gu deamografach no le meatrach eile, tha pàipear Google a’ nochdadh dragh nach eil luchd-rannsachaidh a’ toirt cunntas air eòlasan beatha no suidheachadh feallsanachail luchd-nòt:

'Ged a tha cuid de ghnìomhan buailteach a bhith a' cur cheistean cothromach le freagairt cheart (Am bheil aghaidh duine ann an dealbh?), gu tric bidh stòran-dàta ag amas air breithneachadh a ghlacadh air gnìomhan a tha an ìre mhath cuspaireil gun fhreagairt cheart uile-choitcheann (a bheil am pìos teacsa seo oilbheumach?). Tha e cudromach a bhith a dh'aona ghnothaich a thaobh am bu chòir dhut cumail ri breithneachaidhean cuspaireil luchd-notaichean.'

A thaobh an raon sònraichte aige gus dèiligeadh ri duilgheadasan ann a bhith a’ labail cainnt fuath, tha pàipear Syracuse a’ toirt fa-near gu bheil ceistean nas cinntiche leithid A bheil cat anns an dealbh seo? gu math eadar-dhealaichte bho bhith a’ faighneachd do neach-obrach a bheil abairt ‘puinnseanta’:

“A’ toirt aire do bhreugan na fìrinn shòisealta, tha beachdan dhaoine air puinnseanta ag atharrachadh gu mòr. Tha na bileagan aca de shusbaint puinnseanta stèidhichte air na beachdan aca fhèin.'

A’ faighinn a-mach gu bheil ‘buaidh mhòr’ aig pearsantachd agus aois air bileag meudachd cainnt gràin, tha luchd-rannsachaidh Syracuse a’ co-dhùnadh:

'Tha na co-dhùnaidhean seo a' moladh gur dòcha nach soirbhich le oidhirpean gus cunbhalachd notaichean fhaighinn am measg luchd-reic le diofar chùl-raointean agus pearsantachdan airson cainnt fuath.'

Faodaidh am britheamh a bhi claon cuideachd

Tha e coltach gun èirich an dìth neo-ionannachd seo suas cuideachd, a rèir pàipear Syracuse, a tha ag argamaid gum bu chòir an eadar-theachd làimhe (no poileasaidh fèin-ghluasadach, cuideachd air a cho-dhùnadh le mac an duine) a bhios a’ dearbhadh ‘buannaiche’ bhòtaichean co-aontachd a bhith fo sgrùdadh cuideachd. .

A’ dèanamh coimeas eadar a’ phròiseas agus measadh fòraim, tha na h-ùghdaran ag ràdh*:

“Faodaidh modaireatairean coimhearsnachd [A] co-dhùnadh dè an dàn don dà chuid artaigilean agus luchd-cleachdaidh sa choimhearsnachd aca le bhith a’ brosnachadh no a’ falach artaigilean, a bharrachd air a bhith a’ toirt urram, a’ càineadh no a’ toirmeasg an luchd-cleachdaidh. Bidh co-dhùnaidhean modaireatairean a’ toirt buaidh air an t-susbaint a thèid a lìbhrigeadh buill coimhearsnachd agus luchd-èisteachd  agus le leudachadh bheir buaidh cuideachd air eòlas na coimhearsnachd air an deasbad.

'A' gabhail ris gur e ball coimhearsnachd a th' ann am modaireatair daonna aig a bheil co-sheòrsachd deamografach ri buill eile den choimhearsnachd, tha coltas ann gum bi an sgeama inntinn a chleachdas iad airson susbaint a mheasadh a' freagairt ri sgeama buill eile den choimhearsnachd.'

Tha seo a’ toirt beagan beachd air carson a tha an luchd-rannsachaidh Syracuse air tighinn gu co-dhùnadh cho dòrainneach a thaobh na tha an dàn do òraid gràin; tha e a’ ciallachadh nach urrainnear poileasaidhean agus gairmean breithneachaidh mu bhith ag aontachadh ri beachdan obair sluaigh a chuir an sàs air thuaiream a rèir prionnsapalan ‘iomchaidh’ nach eil air an gabhail a-steach an àite sam bith (no nach gabh a lughdachadh ann an sgeama iomchaidh, eadhon ged a tha iad ann).

Tha na daoine a nì na co-dhùnaidhean (an luchd-obrach sluaigh) claon, agus bhiodh iad gun fheum airson gnìomhan mar sin nam biodh iad chan eil claon, leis gur e an obair breith luach a thoirt seachad; tha na daoine a bhios a’ breithneachadh air connspaidean ann an toraidhean obair sluaigh cuideachd a’ dèanamh breithneachaidhean luach ann a bhith a’ suidheachadh phoileasaidhean airson connspaidean.

Is dòcha gu bheil ceudan de phoileasaidhean ann an dìreach aon fhrèam lorg cainnt fuath, agus mura tèid a h-uile duine a thoirt air ais fad na slighe chun na h-Àrd Chùirt, càite an tig co-aontachd ‘ùghdarrail’?

Tha luchd-rannsachaidh Google a’ moladh sin ‘Faodaidh [na] eas-aonta eadar luchd-notaichean nòsan luachmhor a thoirt a-steach mun obair’. Tha am pàipear a’ moladh cleachdadh meata-dàta ann an stòran-dàta a tha a’ nochdadh agus a’ suidheachadh connspaidean.

Ach, tha e duilich fhaicinn mar a dh’ fhaodadh sreath de dhàta a tha sònraichte don cho-theacsa leantainn gu meatrach coltach ri chèile, atharrachadh a rèir iarrtasan deuchainnean àbhaisteach stèidhichte, no taic. sam bith toraidhean deimhinnte - ach a-mhàin ann an suidheachadh neo-phractaigeach a thaobh gabhail ris an aon bhuidheann de luchd-rannsachaidh thairis air obair às deidh sin.

A' glèidheadh ​​an Annotator Pool

Tha seo uile a’ gabhail ris gu bheil eadhon buidseat ann am pròiseact rannsachaidh airson ioma notaichean a bheireadh gu bhòt co-aontachd. Ann an iomadh cùis, bidh luchd-rannsachaidh a’ feuchainn ris a’ cho-chruinneachadh de notaichean taobh a-muigh a ‘leigheas’ nas saoire le bhith a’ sònrachadh feartan a bu chòir a bhith aig an luchd-obrach, leithid suidheachadh cruinn-eòlasach, gnè, no feartan cultarail eile, a’ malairt iomadalachd airson sònrachas.

Tha pàipear Google a’ cumail a-mach gur dòcha gur e an t-slighe air adhart bho na dùbhlain sin le bhith a’ stèidheachadh frèaman conaltraidh leudaichte le luchd-nòtaichean, coltach ris a’ chonaltradh as lugha a bhios an app Uber a’ comasachadh eadar draibhear agus marcaiche.

Bhiodh beachdachadh gu faiceallach air luchd-notaichean, gu nàdarra, na chnap-starra do bhith a’ toirt a-mach notaichean hyperscale, a’ ciallachadh an dàrna cuid gu stòran-dàta nas cuingealaichte agus nas ìsle aig a bheil feallsanachd nas fheàrr airson na toraidhean aca, no measadh ‘luath’ air na notaichean a tha an sàs, a’ faighinn mion-fhiosrachadh cuibhrichte. mun deidhinn, agus gan comharrachadh mar ‘freagarrach airson obair’ stèidhichte air ro bheag fiosrachaidh.

Sin ma tha na notaicheanairean a bhith onarach.

Na ‘People Pleasers’ ann an bileagan dàta taobh a-muigh

Le sgioba-obrach ri fhaighinn tha sin gun phàigheadh, fo farpais chruaidh airson sònrachaidhean a tha rim faighinn, agus dubhach le glè bheag de chothroman dreuchdail, tha luchd-notaichean air am brosnachadh gus am freagairt ‘ceart’ a thoirt seachad gu sgiobalta agus gluasad air adhart chun ath mhion-sònrachadh.

Ma tha am ‘freagairt cheart’ dad nas toinnte na Tha cat/Chan eil cat, tha pàipear Syracuse a’ cumail a-mach gu bheil an neach-obrach dualtach feuchainn ri freagairt ‘iomchaidh’ a lorg stèidhichte air susbaint agus co-theacsa na ceiste*:

“Dh’ fhaodadh an dà chuid iomadachadh bun-bheachdan eile agus cleachdadh farsaing de dhòighean notaichean simplidh a bhith a’ cur bacadh air adhartas rannsachadh air cainnt fuath air-loidhne. Mar eisimpleir, Ross, et al. lorg le bhith a’ sealltainn mìneachadh Twitter air giùlan gràin do luchd-nòtaichean air toirt orra am beachdan fhèin a cho-thaobhadh gu ìre ris a’ mhìneachadh. Mar thoradh air an ath-thaobhadh seo bha earbsa glè ìosal eadar eadar-theangairean nan notaichean.'

* An tionndadh agam de luaidh in-loidhne a’ phàipeir gu hyperlinks.

Air fhoillseachadh air 13 Dùbhlachd 2021 - Air ùrachadh 18 Dùbhlachd 2021: Tags air an cur ris