Amazon Mechanical Turk betaler mindre enn 40% av USAs minimallønn, antyder forskning

Resultatene av en studie utført av forskere i USA og Mexico antyder at crowdsourced-arbeidere på Amazon Mechanical Turk-markedsplassen, med en 75% majoritet basert i USA, tjener så lite som en median på $2,83 per time – omtrent 39,5% av den pålagte føderale minimallønnen på $7,25 per time, ettersom fjernarbeiderne bruker en tredjedel av sin arbeidstid på å scanne lister over arbeidsforespørsler, håndtere betalinger og utføre andre typer ‘usynlig arbeid’.

Funnene kommer i kjølvannet av en ny rapport fra University of Massachusetts Amherst, som kritiserte den lave lønnsnivået og fordeler forbundet med å være en ‘turker’, og som karakteriserer AMT-økosystemet effektivt som en lavkvalitets sweatshop for underfinansierte akademiske forskere.

Lansert i 2005, leverer Amazon Mechanical Turk (AMT) crowdworkers med ad hoc Human Intelligence Tasks (HITs), ofte brukt av maskinlæringsforskere i sammenheng med ‘rimelige’ studiegrupper for oppgaver som bildegenkjenning, Natural Language Processing (NLP)-evaluering og andre systematiske, programmeringsmessige oppgaver designet for å hjelpe med å formulere eller teste algoritmer (selv om tjenesten også er omfattende brukt til å generere spam).

Usynlig arbeid på MTurk

Den nye studien, med tittelen Quantifying the Invisible Labor in Crowd Work, ble utført av forskere fra Northeastern University i Boston, Microsoft Research og Universidad Nacional Autonoma de Mexico (UNAM).

Omfanget av usynlig arbeid utført av 100 arbeidere på over 40 000 HIT-oppdrag over en periode på en uke. Kilde: https://arxiv.org/pdf/2110.00169.pdf

Rapporten detaljerer omfanget av ‘usynlig arbeid’ som utgjør 33% av en turkers arbeidstid, som er dokumentert i en feltstudie utført for arbeidet. Den største mengden ‘tapt’ tid ble representert av tiden AMT-arbeidere bruker på å undersøke sine betalingsdetaljer for å sikre at de mottok betaling for en oppgave. Rapporten fastslår at ‘97% av arbeiderne i vår studie praktiserte usynlig arbeid rundt å besøke inntektsseksjonen på deres arbeiderdashboard (kanskje for å sikre at de hadde fått betalt rettferdig)’.

Den nest største tidsfordelen for turkere var ‘hyper-vakthet’ nødvendig for å faktisk få arbeid, der arbeidere oppdaterer sidene til forespørsler og søker etter nye oppgaver annonser i AMT HIT-listinger.

Overvåking av Turks

Forskerne utviklet en Chrome-utvidelse, som de nå har gjort tilgjengelig på GitHub, basert på tidligere arbeid som studerte oppmerksomhetsvanene til AMT-arbeidere, men som ikke behandlet evaluering av usynlig arbeid. Utvidelsen ble installert på systemene til 100 deltagende Mechanical Turk-arbeidere, som samlet utførte 40 903 HIT-oppdrag over en periode på en uke.

Hovedoppgaven til utvidelsen er å evaluere den faktiske tiden en arbeider bruker på en HIT-oppgave, og til dette formålet overvåker den tilstanden til AMT-relaterte sider ved å skrape og parse HTML-innholdet av en side som turkeren er fokusert på, for å forstå arbeiderens interaksjoner med den. Utvidelsen har også en tid-drevet bakgrunnsprosess som logger browserhendelser på MTurk-domene, og statusen til hver side (dvs. aktiv, inaktiv, lukket).

Tidskrevende aspekter som overvåkes under dette systemet inkluderer arbeidere som sjekker ‘kvalifikasjonsstatus’ (for å se om nylig fullført arbeid har ‘oppgradert’ dem, og gitt dem tilgang til bedre kvalitets HIT-oppdrag); ‘vading og sortering’ gjennom en lavine av HIT-annonser med søkefilter for å identifisere en mulig neste jobb, og ekskludere uønsket arbeid; og filtrering ut ‘svindel’ HIT-oppdrag og generelt håndtering/overvåking av køede HIT-oppdrag.

Forsinkelser og forsinkelser

Systemet gjenkjenner også ‘forsinkelseshendelser’ og ‘falske start’, som når en arbeider returnerer en tidligere akseptert oppgave til HIT-potten fordi den viste seg å være forskjellig fra deres forventninger; tiden det tar å ‘forhåndsvisning’ HIT-oppdrag, eller å lese informasjon om HIT-oppdragene; å sende meldinger til HIT-opphavet for å bedre forstå kravene til oppgaven; og å lese generell plattformhjelp fra Mechanical Turk-hjelpesidene.

I den svært tidskrevende kategorien ‘betalinger’ fant forskningen at AMT-arbeidere ofte var på deres dashboard for å sjekke om de hadde blitt betalt, ettersom det er mulig for fullført arbeid å bli avvist, ubetalt, av grunner som arbeideren aldri vil få vite; å se på sine inntekter, som har en dedikert seksjon av MTurk-dashboardet, i motsetning til annonsering av en ny betaling; og å utføre HIT-oppdrag som ‘utløper’ – hvor en arbeider ikke fullfører en HIT innen den tillate tiden, og mottar ingen betaling for noen arbeid utført på det (en kategori som forskerne føler bør være i ‘betalinger’-seksjonen).

Foruten rapportens funn som antyder at usynlig arbeid reduserer den tidligere anslåtte medianlønnen ($3,76) til en AMT-arbeider med 39,5% når det faktoreres inn i en arbeidssesjon, bemerker den også at arbeidernes oppfatning av hvor mye tid de har brukt på ubetalt arbeid under en sesjon er betydelig lavere enn det overvåkingsdataene avslører.

Forfatterne bemerker at de har rundet ned alle anslag i deres metodiske funn for å sikre en strengt ‘konservativ’ tilnærming til arbeidet, og for å unngå anklager om overdrivelse av funn. De konkluderer:

‘Med tanke på at median timelønnen for arbeidere er bare $3,76 (uten å ta med usynlig arbeid), er det klart at crowd-arbeidere fortsatt trenger en dramatisk økning i lønnen før vi kan betrakte denne arbeidet som rettferdig. Men dette er ikke bare noe for forespørsler å vurdere, men også noe for plattformer, arbeidere og selv politikere.’

Tilstanden for Mechanical Turk-arbeidere

Andre forfattere og organisasjoner anslår at den gjennomsnittlige AMT-arbeider faktisk tjener enda mindre enn det som estimeres i den nye rapporten – så lite som $1 i timen.

Forsvarere av fordeler med AMT argumenterer, med relativt hyppig, at kontroverser rundt dårlig betaling av AMT-arbeidere er overdrivet. En studie fra 2020 undersøkte en seksjon av amerikanske MTurk-arbeidere, og fant at ‘den finansielle situasjonen til personer på MTurk speiler den generelle befolkningen‘, og at turkere ‘ville ikke bytte fleksibiliteten til MTurk for mindre enn $25 i timen’.

Denne studien ble utført av ansatte i CloudResearch (tidligere TurkPrime), hvis tjenester inkluderer ‘verktøy som lar forskere kjøre studier på Mechanical Turk’.

Ettersom AMT-arbeidere betraktes som selvstendige entreprenører, er de vanligvis ikke dekket av arbeidslover i USA. I en 2016 undersøkelse fra Pew Research-senteret, rapporterte mer enn halvparten av AMT-arbeidere (52%) at de tjener mindre enn $4,99 i timen, som – antatt fulltidsarbeid uten ferie eller sykefravær – er ekvivalent med en årslønn på $10 379,20.

For mange arbeidere representerte Mechanical Turk ‘all eller mesteparten’ av deres inntekt, og denne kategorien av turkere var karakteristisk yngre, mindre utdannet og bodde i husholdninger med lavere inntekt.

Men turkere var, ifølge undersøkelsen, generelt bedre utdannet enn gjennomsnittlige amerikanske arbeidere, med 51% som rapporterte at de har minst en college-grad, mot 36% av voksne arbeidere i USA – med bare 12% av AMT-arbeidere som hevdet å bare ha en high school-grad eller mindre.

Riktig greier?

Pew-rapporten indikerte også at typiske AMT-arbeidere kan være det eksakte motsatte av ‘gjennomsnittspersonen’ som de fleste akademiske studier søker å utnytte, med implikasjoner for omfanget av deres uvanlige svar kunne potensielt forvrengte eller degradere kvaliteten på maskinlæringsprosjekter som avhenger av turkere.

Funnene i Pew-rapporten fastslår at turkere ‘ikke er representative for amerikanere generelt – eller selv for arbeidende voksne’.

Den bemerker også forskning fra en tidligere (2014) studie, som indikerte at AMT-arbeidere er utsatt for så mange eksperimenter og undersøkelser at mengden av denne typen arbeid ‘kunne betinge arbeiderne til bestemte typer svar eller få dem til å bli overordentlig kjent med typene spørsmål de vil bli bedt om’ – effektivt, at sliteten med AMT-arbeid vil få turkere til å bli eksperter på å ‘behage systemet’ i stedet for å gi autentiske og akademisk (eller selv klinisk) nyttig innputt.