Amazon Mechanical Turk maksaa alle 40% Yhdysvaltain minimipalkasta, tutkimus ehdottaa

Tutkimuksen tulokset, jotka on suorittanut tutkijaryhmä Yhdysvalloissa ja Meksikossa, viittaavat siihen, että joukkoistamisen työntekijät Amazon Mechanical Turk -markkinapaikalla, joista 75 % on Yhdysvalloissa, ansaitsevat vain keskimäärin 2,83 dollaria tunnilta – noin 39,5 % liittovaltion määräämästä minimipalkasta 7,25 dollaria tunnilta, koska etätyöntekijät viettävät kolmanneksen työajastaan tarkastamalla pyyntöluetteloita, hallitsemalla maksuja ja suorittamalla muita “näkymättömiä” työtehtäviä.

Tulokset ovat ilmestyneet Massachusetsin yliopiston Amherstin tutkimuksen jälkeen, jossa arvosteltiin matalaa palkkaa ja etuja, jotka liittyvät “turkeriksi” oleminen, ja jossa luonnehditaan AMT-ekosysteemiä tehokkaasti matalan laatuisksi hikityöksi alirahoitetuille akateemisille tutkijoille.

Vuonna 2005 käynnistetty Amazon Mechanical Turk (AMT) tarjoaa joukkoistamisen työntekijöille ad hoc -tehtäviä, joita käytetään usein koneoppimisen tutkijoiden kanssa “edullisten” tutkimusryhmien yhteydessä tehtävissä, kuten kuvatunnistuksessa, luonnollisen kielen prosessoinnissa (NLP) ja muiden järjestelmällisten, ohjelmallisten tehtävissä, jotka on suunniteltu auttamaan algoritmien muodostamisessa tai testaamisessa (vaikka palvelua käytetään myös laajasti roskapostin luomiseen).

Näkymätön työ MTurkissa

Uusi tutkimus, jonka otsikko on Näkymättömän työn määritys joukkoistamisessa, on tehty tutkijaryhmän toimesta Northeasternin yliopistosta Bostonissa, Microsoft Researchista ja Universidad Nacional Autonoma de Mexico (UNAM):sta.

Näkymätön työ, jota 100 työntekijää suoritti yli 40 000 HIT-tehtävän aikana yhden viikon ajan. Lähde: https://arxiv.org/pdf/2110.00169.pdf

Artikkeli kertoo näkymättömän työn laajuudesta, joka muodostaa 33 % työntekijän työajasta, kuten tutkimuksessa todettiin. Suurin “kadonnut” aika edusti sitä aikaa, jonka AMT-työntekijät viettivät tarkastamalla maksutietojaan varmistamaan, että he saivat palkan tehtävästä. Raportti toteaa, että ’97 % työntekijöistä harjoitti näkymätöntä työtä vieraillessaan ansioitaan koskevalla sivulla (ehkä varmistamaan, että he olivat saaneet palkan reilusti)’.

Työntekijöiden toiseksi suurin ajanvietto oli “hyper-valppaus”, joka oli välttämätöntä työn saamiseksi, jossa työntekijät päivittivät sivuja pyynnön tekijöiden profiileista ja etsivät uusia tehtäviä AMT-HIT-luetteloista.

Turkien valvonta

Tutkijat kehittivät Chrome-laajennuksen, jonka he ovat myöhemmin julkaisseet GitHubissa, aiemman tutkimuksen pohjalta, joka tutki AMT-työntekijöiden huomioivan käyttäytymistä, mutta joka ei ollut arvioinut näkymätöntä työtä. Laajennus asennettiin 100 osallistuvan Mechanical Turk -työntekijän järjestelmiin, jotka suorittivat yhteensä 40 903 HIT-tehtävää yhden viikon aikana.

Laajennuksen päätehtävä on arvioida aikaa, jonka työntekijä viettää HIT-tehtävässä, ja tähän tarkoituksiin se valvoo AMT-sivujen tilaa skannaamalla ja parsimalla sivun HTML-sisältöä, jota työntekijä tarkastelee parhaillaan, jotta voidaan ymmärtää työntekijän vuorovaikutusta siihen. Laajennuksessa on myös aikaperusteinen taustaprosessi, joka kirjaa selaimen tapahtumia MTurk-verkkotunnuksella ja sivun tilan (eli aktiivinen, epäaktiivinen, suljettu).

Ajanviettoon kuuluvat työntekijöiden tarkastus “kelpoisuustilasta” (tarkastamaan, onko vastikään suoritettu työ “päivittänyt” heidät ja antanut heille pääsyn laadukkaampiin HIT-tehtäviin); “uijumista” ja “järjestelyä” HIT-ilmoituksissa hakusuodattimien avulla etsimään mahdollista seuraavaa työtä ja poistamaan epätoivottu työ; ja suodattamasta “petollisia” HIT-tehtäviä ja yleisesti hallitsemasta jonossa olevista HIT-tehtävistä.

Viiveet ja hidastukset

Järjestelmä tunnistaa myös “viive”-tapahtumia ja “väärä” aloituksia, kuten kun työntekijä palauttaa aiemmin hyväksytyn tehtävän HIT-pooliin, koska se osoittautui erilaiseksi kuin odotettiin; aika, joka kuluu “esikatselun” tekemiseen, tai lukemiseen tietoa tehtävistä; lähettämiseen viestejä HIT-lähteenä olevalle henkilölle tehtävän vaatimusten selventämiseksi; ja lukemiseen yleistä ohjeistusta Mechanical Turk -ohjesivuilta.

“Maksujen” erittäin aikaa vievässä luokassa tutkimus osoitti, että AMT-työntekijät tarkastivat usein työtauluaan varmistamaan, että he olivat saaneet palkan tehtävästä, koska on mahdollista, että suoritetusta työstä voidaan kieltäytyä maksamasta, ja työntekijä ei koskaan tiedä syitä tähän; tarkastamalla ansioitaan, joilla on omat kohdat MTurk-työtaulussa, verrattuna uusien maksujen ilmoituksiin; ja suorittamalla HIT-tehtäviä, jotka “vanhenevat” – kun työntekijä ei pysty suorittamaan HIT-tehtävää sille määrättyyn aikaan, ja hänelle ei makseta mitään suoritetusta työstä (luokka, jonka tutkijat katsovat kuuluvan “maksujen” kohtaan).

Tutkimuksen tulokset osoittavat, että näkymätön työ alentaa aiemmin arvioituja keskimääräistä palkkaa AMT-työntekijöille (3,76 dollaria) 39,5 %:lla, kun se lasketaan työsessioon, ja se myös toteaa, että työntekijöiden käsitys siitä, kuinka paljon aikaa he ovat käyttäneet maksamattomaan työhön istunnossa, on huomattavasti vähäisempi kuin se, mitä valvontasessiot paljastavat.

Tutkijat toteavat, että he ovat pyöristäneet kaikki arviot menetelmällisissä tuloksissaan alaspäin varmistamaan “konservatiivisen” lähestymistavan työhön ja välttämään syytöksiä liioittelusta. He toteavat:

‘Koska työntekijöiden keskimääräinen tunnituntipalkka on vain 3,76 dollaria (ilman näkymätöntä työtä), on selvää, että joukkoistamisen työntekijöiden on edelleen tarve dramaattiseen palkankorotukseen, jotta voimme pitää tätä työtä reiluna. Tämä ei kuitenkaan ole vain pyynnön tekijöiden asia, vaan myös alustoja, työntekijöitä ja jopa viranomaisten asia.’

Amazon Mechanical Turk -työntekijöiden tila

Muiden kirjoittajien ja organisaatioiden arvioiden mukaan keskivertoturkeri ansaitsee jopa vähemmän kuin uuden raportin arvio – vain 1 dollaria tunnilta.

AMT:n hyödyistä puolustavat väittävät usein, että kiistat turkereiden heikosta palkkauksesta ovat liioiteltuja. Yksi tutkimus vuodelta 2020 kartoitti Yhdysvaltain MTurk-työntekijöiden osaa ja totesi, että ‘turkereiden taloudellinen tilanne heijastaa yleisväestön tilannetta’, ja että turkerit ‘eivät vaihtaisi MTurkin joustavuutta vähempää kuin 25 dollaria tunnilta’.

Työ tehtiin CloudResearchin (aiemmin TurkPrime) työntekijöiden toimesta, jonka palveluihin kuuluvat “työkalut, jotka mahdollistavat tutkijoiden suorittaa tutkimuksia Mechanical Turkissa”.

Koska AMT-työntekijät katsotaan itsenäisiksi urakoitsijoiksi, he eivät yleensä kuulu työlainsäädännön piiriin Yhdysvalloissa. Pew Research -keskuksen tutkimuksessa vuonna 2016 yli puolet AMT-työntekijöistä (52 %) ilmoitti ansaitsevansa vähemmän kuin 4,99 dollaria tunnilta, mikä – olettaen täysipäiväistä työtä ilman lomaa tai sairauspoissaoloa – vastaa vuosittaisessa tulossa 10 379,20 dollaria.

Tutkimuksen mukaan monille työntekijöille Mechanical Turk edusti “kaikkea tai suurinta osaa” heidän tulostaan, ja tämä työntekijöiden kategoria oli tyypillisesti nuorempaa, vähemmän koulutettua ja asui talouksissa, joilla oli alhaisemmat tulot.

Turkereiden koulutustaso oli kuitenkin yleensä korkeampi kuin keskivertotason amerikkalaisten työntekijöiden, 51 % ilmoitti suorittaneensa vähintään yliopistotutkinnon, 36 % aikuisten työntekijöiden osuuden Yhdysvalloissa – vain 12 % AMT-työntekijöistä ilmoitti suorittaneensa ainoastaan keskiasteen tai vähemmän.

Oikeat ominaisuudet?

Pew-raportti osoitti myös, että tyypilliset AMT-työntekijät saattavat olla täysin vastakkaisia “keskivertohenkilöä”, jota useimmat akateemiset tutkimukset pyrkivät hyödyntämään, mikä voi vaikuttaa siihen, kuinka paljon heidän epätavalliset vastauksensa voivat mahdollisesti vääristää tai heikentää koneoppimishankkeiden laatua, jotka riippuvat turkereista.

Pew-raportin tulokset toteavat, että turkerit ‘eivät ole edustavia amerikkalaisia – tai edes työikäisiä’.

Se myös toteaa aiemmasta (2014) tutkimuksesta, jossa todettiin, että AMT-työntekijöitä altistetaan niin monille kokeille ja kyselyille, että tämänkaltaisen työn määrä ‘voi konditionoida työntekijöitä tietynlaisiin vastauksiin tai tehdä heistä liian tuttuja kysymyksille, joita heille esitetään’ – käytännössä, että AMT-työn rutiini saa turkerit kehittymään “järjestelmän miellyttämisessä” asiantuntijoiksi sen sijaan, että he antaisivat aitoa ja akateemisesti (tai jopa kliinisesti) hyödyllistä syötettä.