Ko nga ngoikoretanga o Amazon Mechanical Turk Ka Whakawehi Nga punaha Whakatupu Reo Maori

He rangahau hou mai i te Whare Wananga o Massachusetts Amherst kua tohe nga kaiako Ingarihi ki nga kaimahi maataki i Amazon Mechanical Turk i roto i te aromatawai i te putanga o te Whakatupuranga Reo Maori (NLG) nga punaha, me te whakatau ko nga paerewa ngoikore me te 'takaro' o nga mahi utu nui i waenga i nga kaimahi AMT ka aukati i te whanaketanga o te waahanga.

Ka tae mai te ripoata ki te maha o nga whakatau kino e pa ana ki te whanuitanga o te 'ahumahi-tauine' te utu iti o nga mahi arotakenga NLG ka taea te arahi ki nga hua iti me nga algorithm i tenei waahanga.

I whakahiatohia e nga kairangahau he rarangi o nga pepa 45 i runga i te reanga tuhinga tuwhera i reira i whakamahia ai e te rangahau te AMT, a ka kitea ko 'te nuinga' i rahua ki te whakaatu i nga korero whakahirahira mo te whakamahinga o te ratonga mano a Amazon, he uaua ki te whakaputa uri. nga kitenga o nga pepa.

Reipa Toa-Sweat

Ko te purongo e whakatau ana i nga whakahee mo te ahua o te hoko werawera o Amazon Mechanical Turk, me nga kaupapa matauranga (kua herea pea te putea) e tuku atu ana i te AMT te whakaponotanga ma te whakamahi (me te kii) hei rauemi rangahau whaimana me te riterite. Ka tuhi nga kaituhi:

'Ahakoa he otinga pai, he utu utu hoki te AMT, ka kite matou ko te rereketanga nui i waenga i nga kaimahi, te iti o te whakatikatika, me nga mahi hiahia-a-hinengaro ka arahi i nga kairangahau ki te whakaputa whakatau pohehe (hei tauira, he "kino" te tuhinga a te tangata i te GPT-2. ).'

Ko te purongo e whakahee ana i te keemu kaua i nga kaitakaro, me nga kairangahau e kii ana:

'He maha nga wa ka iti ake te utu o nga kaimahi mo a raatau mahi, e kino ana te kounga o te rangahau, me te mea nui, ko te kaha o enei kaimahi tini ki te whiwhi oranga tika.'

te pepa, taitara Nga Morearea o te Whakamahi i te Mechanical Turk ki te Aromātai i te Whakatupu Kuputuhi Tuwhera, ka whakatau ano me whakamahi nga 'kaiwhakatau tohunga' penei i nga kaiako reo me nga tohunga reo ki te arotake i nga ihirangi NLG horihori tuwhera, ahakoa he iti ake te utu o te AMT.

Nga Mahi Whakamatau

I te whakatairite i nga mahi a te AMT ki te iti ake o te wa, nga kaipanui tohunga, i whakapaua e nga kairangahau te $144 mo nga ratonga AMT i whakamahia i roto i nga whakamatautau whakatairite (ahakoa he nui ake te whakapaunga mo nga hua 'kaore e taea te whakamahi' - tirohia i raro nei), me hiahia matapōkeretia 'Turks' ki te arotake i tetahi o nga tuhinga 200, ka wehea i waenga i nga tuhinga tuhinga i hangaia e te tangata me nga tuhinga i hangaia horihori.

He $187.50 te utu mo te mahi i nga kaiako ngaio me nga mahi rite, me te whakapumau i o raatau mahi pai ake (whakaritea ki nga kaimahi AMT) ma te utu i nga Kaitoha Upwork ki te whakahoki i nga mahi he $262.50 te utu.

Ko ia mahi e wha nga paearu arotake: wetereo ('He pehea te tika o te wetereo o te tuhinga o te wahanga korero?'); hononga ('He pehea te pai o te hono o nga rerenga korero o te wahanga korero?'); pai ('He aha te ahuareka o to kite i te wahanga korero?'); me te whaitake ('He pehea te whaitake o te wahanga korero ki te aki?').

Te whakaputa i nga Kuputuhi

Ki te whiwhi rauemi NLG mo nga whakamatautau, i whakamahia e nga kairangahau te Facebook AI Research's 2018 Hierarchical Neural Story Generation takakau, kei roto 303,358 nga korero reo Ingarihi i titoa e nga kaiwhakamahi i te tino rongonui (15m+ kaiwhakamahi) r/writingprompts subreddit, ko nga korero a nga kaiohauru he 'whakapuranga' e nga rerenga korero kotahi e rite ana ki nga mahi o naianei hanga kupu-ki-ahua – me, o te akoranga, i roto i tuwhera-mutunga Whakatupu Reo maori pūnaha.

200 nga akiaki mai i te huingararaunga i kowhiria matapōkeretia ka tukuna i roto i te tauira GPT-2 reo-rahi ma te whakamahi i nga Hugging-Face Transformers whare pukapuka. No reira e rua nga huinga o nga hua i puta mai i nga kupu akiaki: ko nga tuhinga korero a te tangata mai i nga kaiwhakamahi Reddit, me nga tuhinga i hangaia e te GPT-2.

Kia kore ai nga kaimahi AMT kotahi e whakawa i taua korero i nga wa maha, e toru nga whakatau a nga kaimahi AMT i tono mo ia tauira. I te taha o nga whakamatautau mo te reo Ingarihi o nga kaimahi (tirohia te mutunga o te tuhinga) me te whakaheke i nga hua mai i nga kaimahi iti-mahi (tirohia te 'Wā Poto' i raro nei), na tenei i piki ake te katoa o nga whakapaunga mo te AMT ki te $1,500 USD.

Hei waihanga i te papa taumata, i whakahaerehia nga whakamatautau katoa i nga ra wiki i waenga i te 11.00am-11:30am PST.

Nga Hua me Nga Whakamutunga

He maha nga waahanga o te rangahau whanui, engari ko nga kaupapa matua e whai ake nei:

He wa poto

I kitea e te pepa ko te 360 ​​hēkona te roa o te wa mahi a Amazon kua tukuna ki te waa mahi o te ao mo te 22 hēkona noa, me te wa mahi waenga o te 13 hēkona anake – te hauwhā o te wā i tangohia e te tere Kaiako Ingarihi e whakahoki ana i te mahi.

Mai i te Ra tuarua o te ako: he iti ake te wa i whakapaua e nga kaimahi takitahi (he karaka) ki te arotake i ia mahi i nga kaiako utu pai ake, a (i muri mai) ko nga Kaikirimana Upwork he pai ake te utu. Puna: https://arxiv.org/pdf/2109.06835.pdf

I te mea karekau he herenga a te AMT ki nga Mahi Maramatanga Tangata (HIT) ka taea e te kaimahi takitahi te mahi, kua puta ake nga 'rangatira nui' AMT, me nga ingoa (he pai) mo te whakaoti i nga mahi maha mo ia whakamatautau. Hei utu mo nga whiu kua whakaaetia e te kaimahi kotahi, ka ine nga kairangahau i te wa i waenga i nga HIT kua tukuna, ka whakataurite i te wa tiimata me te mutunga o ia HIT. I tenei ara, ko te ngoikoretanga i waenga i nga korero a AMT WorkTimeInSeconds a, ko te tino wa i whakapaua ki te mahi i aro mai.

I te mea kaore e taea te whakatutuki i enei mahi i roto i enei waahanga iti, me utu nga kairangahau mo tenei:

'I te mea e kore e taea te ata panui i tetahi korero roa-kowae me te aromatawai i nga taonga e wha i roto i te 13 hēkona, ka inehia e matou te paanga ki runga i nga reiti toharite ina taraihia nga kaimahi he iti rawa te wa mo ia HIT… Ko nga kaimahi kei raro iho i te 40s te wa waenga (he pae iti), ka kitea i te toharite tata ki te 42% o a maatau whakatau ka taraihia (mai i te 20%-72% puta noa i nga whakamatautau katoa).'

E kii ana te pepa ko te pohehe i te wa mahi i roto i te AMT 'he take nui' ka warewarehia e nga kairangahau e whakamahi ana i nga ratonga.

Me Pupuri Ringa

E ai ki nga kitenga kaore e taea e nga kaimahi AMT te wehewehe pono i waenga i nga tuhinga i tuhia e te tangata me nga tuhinga i tuhia e te miihini, mena ka kite ratou i nga tuhinga e rua i te taha ki te taha, ka tino whakararu i te ahuatanga o te aro mātai (i reira ka taea e te kaipanui te mahi. whakatau i runga i te tauira kotahi o te tuhinga, 'pono', he mea hanga horihori ranei).

Te Whakaaetanga Ake mo nga Kuputuhi Artificial Kounga-iti

He rite tonu te whakatau a nga kaimahi AMT i nga tuhinga hangai-a-GPT iti-kounga i runga i te ahua o te kounga teitei ake, nga tuhinga hono i tuhia e te tangata, he rereke ki nga kaiako Ingarihi, he maamaa te mohio ki te rereketanga o te kounga.

Karekau he wa Takotoranga, Kore Horopaki

Ko te whakauru i te whakaaro-whakaaro tika mo te mahi waitara penei karekau e puta noa mai te arotake i te pono; E 20 nga mahi e hiahiatia ana e nga kaiako Ingarihi kia taea ai te whakarite i o raatau whakaaro ki te taiao arotake, engari ko te nuinga o nga kaimahi AMT karekau he 'waa whakatakotoranga', ka whakaheke i te kounga o a raatau whakaurunga.

Taakaro Te Punaha

E kii ana te ripoata ko te wa katoa e whakapaua ana e nga kaimahi AMT ki nga mahi takitahi ka whakanuia e nga kaimahi e whakaae ana ki nga mahi maha i te wa kotahi, me te whakahaere i nga mahi i roto i nga ripa rereke i runga i o raatau tirotiro, kaua ki te aro ki tetahi mahi mo te roanga mahi kua tuhia.

He mea nui te Whenua Taketake

Ko nga tautuhinga taunoa o te AMT karekau e tātari i nga kaimahi ma te whenua i takea mai ai, ka tuhia e te ripoata mahi o mua e tohu ana ka whakamahi nga kaimahi AMT i nga VPN ki te mahi i nga here whenua, ka taea e nga kaikorero ehara i te tangata whenua ki te whakaatu hei kaikorero reo Ingarihi taketake (i roto i te punaha e taurite ana te reo whaea o te kaimahi me o raatau waahi matawhenua IP).

Na nga kairangahau i whakahaere ano i nga whakamatautau aro mātai i runga i te AMT me nga whiriwhiringa e whakawhāiti ana i te hunga ka taea te tango kore-Ko nga whenua korero Ingarihi, ka kitea tera 'I whakatauhia e nga kaimahi mai i nga whenua kore reo Ingarihi te hono, te whai take, me te wetereo...he iti ake i nga kaimahi whai tohu rite o nga whenua reo Ingarihi'.

Ka mutu te ripoata:

'Me whakamahi nga kai-whakatau [tohunga] penei i nga kai-whakaako reo, i nga kaiako reo ranei i nga wa katoa e taea ana i te mea kua whakangungua ratou ki te arotake i nga tuhinga tuhi, kaore he utu nui atu…'.

I whakaputaina i te 16 o Mahuru 2021 - Whakahoutia 18 Hakihea 2021: Kua taapirihia nga tohu