Amazon Mechanical Turk betalar mindre än 40% av den amerikanska minimilönen, enligt forskning

Resultaten från en studie av forskare i USA och Mexiko tyder på att crowdsourcade arbetare på Amazon Mechanical Turk-marknaden, där 75% av arbetarna är baserade i USA, tjänar så lite som 2,83 dollar i timmen – cirka 39,5% av den federala minimilönen på 7,25 dollar i timmen, eftersom de distansarbetande arbetarna tillbringar en tredjedel av sin arbetstid med att scanna listor över arbetsförfrågningar, hantera betalningar och utföra andra typer av “osynligt arbete”.

Resultaten kommer i kölvattnet av en rapport från University of Massachusetts Amherst, som kritiserade den låga lönen och de begränsade förmånerna för att vara en “turker”, och som karakteriserar AMT-ekosystemet som en lågkvalitativ svetshop för underfinansierade akademiska forskare.

Amazon Mechanical Turk (AMT) lanserades 2005 och tillhandahåller crowdworkers med ad hoc-mänskliga intelligensuppgifter (HIT), ofta använda av maskinläringsforskare i sammanhang med “billiga” studiegrupper för uppgifter som bildigenkänning, utvärdering av naturligt språk (NLP) och andra systematiska, programmatiska uppgifter som är utformade för att hjälpa till att formulera eller testa algoritmer (även om tjänsten också används för att generera skräppost).

Osynligt arbete på MTurk

Den nya studien, med titeln Quantifying the Invisible Labor in Crowd Work, genomfördes av forskare från Northeastern University i Boston, Microsoft Research och Universidad Nacional Autonoma de Mexico (UNAM).

Omfattningen av osynligt arbete som utförs av 100 arbetare på över 40 000 HIT-uppgifter under en veckoperiod. Källa: https://arxiv.org/pdf/2110.00169.pdf

Artikeln beskriver omfattningen av “osynligt arbete” som utgör 33% av en turkers arbetstid, som framgår av en fältstudie som genomfördes för arbetet. Den största mängden “förlorad” tid representerades av den tid som AMT-arbetare tillbringar med att granska sina betalningsuppgifter för att säkerställa att de har fått betalt för en uppgift. Rapporten anger att 97% av arbetarna i vår studie praktiserade osynligt arbete kring besök på avdelningen för inkomster på deras arbetstagardashboard (kanske för att säkerställa att de hade fått betalt rättvist).

Den näst största tidsåtgången för turkarna var “hyper-vigilans” som krävdes för att faktiskt få arbete, där arbetarna uppdaterar sidorna med förfrågarens profiler och söker efter nya uppgifter som annonseras i AMT:s HIT-listningar.

Övervakning av turkar

Forskarna utvecklade en Chrome-tillägg, som de sedan har gjort tillgängligt på GitHub, baserat på tidigare arbete som studerade uppmärksamhetsvanorna hos AMT-arbetare, men som inte behandlade utvärderingen av osynligt arbete. Tillägget installerades på systemen hos 100 deltagande Mechanical Turk-arbetare, som kollektivt genomförde 40 903 HIT-uppgifter under en veckoperiod.

Tilläggets huvudsakliga uppgift är att utvärdera den faktiska tiden som en arbetare tillbringar på en HIT-uppgift, och för detta ändamål övervakar det tillståndet för AMT-relaterade sidor genom att skrapa och tolka HTML-innehållet på en sida som turkaren för närvarande fokuserar på, för att förstå arbetarens interaktioner med den. Tillägget har också en tidsdriven bakgrundsprocess som loggar webb-händelser på MTurk-domänen och statusen för varje sida (t.ex. aktiv, inaktiv, stängd).

Tidskrävande aspekter som övervakas under detta system inkluderar arbetare som kontrollerar “kvalifikationsstatus” (för att se om nyligen slutförd arbete har “uppgraderat” dem, vilket ger dem tillgång till bättre kvalitets-HIT); “vadar och sorterar” genom en lavin av HIT-inlägg med sökfilter för att identifiera en möjlig nästa arbetsuppgift och utesluta oönskat arbete; och filtrerar ut “bedrägliga” HIT och generellt hanterar/övervakar köade HIT.

Förseningar och dröjsmål

Systemet känner också igen “förseningshändelser” och “falska starter”, såsom när en arbetare returnerar en tidigare accepterad uppgift till HIT-poolen eftersom den visade sig vara annorlunda än deras förväntningar; den tid som tas för att “förhandsgranska” HIT, eller att läsa information om HIT; att skicka meddelanden till HIT-ursprunget för att bättre förstå kraven för uppgiften; och att läsa allmän plattformsinformation från Mechanical Turk-hjälpsidor.

I den mycket tidskrävande kategorin “betalningar” fann forskningen att AMT-arbetare ofta var på sin instrumentpanel för att kontrollera om de hade fått betalt, eftersom det är möjligt att slutförd arbete kan avvisas, obetalt, av skäl som arbetaren aldrig kommer att få veta; visar deras inkomster, som har en dedikerad sektion av MTurk-instrumentpanelen, till skillnad från meddelanden om en ny betalning; och utför HIT som “tidsgräns” – där en arbetare misslyckas med att slutföra en HIT inom den tilldelade tiden och inte får någon betalning för något arbete som utförts på den (en kategori som forskarna anser bör vara i “betalnings” sektionen).

Förutom rapportens slutsats att osynligt arbete sänker den tidigare uppskattade medianlönen ($3,76) för en AMT-arbetare med 39,5% när det faktoriseras in i en arbetsession, noterar den också att arbetarnas uppfattning om hur mycket tid de har tillbringat med obetalt arbete under en session är betydligt lägre än vad övervakningssessionerna avslöjar.

Författarna noterar att de har avrundat alla uppskattningar i sina metodologiska resultat för att säkerställa en rigoröst “konservativ” approach till arbetet och för att undvika anklagelser om överdrift av resultaten. De slutsatsar:

‘Med tanke på att den median timlön för arbetare är bara 3,76 dollar (utan att beakta osynligt arbete), är det tydligt att crowd-arbetare fortfarande behöver en dramatisk ökning av sina löner innan vi kan betrakta detta arbete som rättvist. Men detta är inte bara något som förfrågare bör överväga, utan också något som plattformar, arbetare och till och med beslutsfattare bör överväga.’

Tillståndet för Mechanical Turk-arbetare

Andra författare och organisationer uppskattar att den genomsnittliga AMT-arbetaren i själva verket tjänar ännu mindre än vad som uppskattas i den nya rapporten – så lite som 1 dollar i timmen.

Förespråkare för fördelarna med AMT hävdar, med relativ frekvens, att kontroverserna kring den låga ersättningen för AMT-arbetare är överdrivna. En studie från 2020 undersökte en sektion av amerikanska MTurk-arbetare och fann att den ekonomiska situationen för personer på MTurk speglar den allmänna befolkningen, och att turkarna inte skulle byta ut flexibiliteten i MTurk mot mindre än 25 dollar i timmen.

Detta arbete genomfördes av anställda på CloudResearch (tidigare TurkPrime), vars tjänster inkluderar “verktyg som tillåter forskare att köra studier på Mechanical Turk”.

Eftersom AMT-arbetare betraktas som oberoende entreprenörer omfattas de vanligtvis inte av arbetslagstiftningen i USA. I en undersökning från 2016 av Pew Research Center rapporterade mer än hälften av AMT-arbetare (52%) att de tjänade mindre än 4,99 dollar i timmen, vilket – under antagande av heltidsarbete utan semester eller sjukledighet – motsvarar en årsinkomst på 10 379,20 dollar.

För många arbetare representerade Mechanical Turk “all eller mest” av deras inkomst, och denna kategori av turkare var karakteristiskt yngre, mindre utbildade och bodde i hushåll med lägre inkomster.

Men turkarna var, enligt undersökningen, generellt bättre utbildade än genomsnittliga amerikanska arbetare, med 51% som rapporterade att de har minst en universitetsexamen, jämfört med 36% av vuxna arbetare i USA – med endast 12% av AMT-arbetare som påstod att de bara hade en gymnasieexamen eller mindre.

Rätt saker?

Pew-rapporten indikerade också att typiska AMT-arbetare kan vara det exakta motsatsen till “genomsnittspersonen” som de flesta akademiska studier försöker utnyttja, med implikationer för den utsträckning till vilken deras ovanliga svar potentiellt kan förvränga eller försämra kvaliteten på maskinlärningsprojekt som förlitar sig på turkare.

Resultaten från Pew-rapporten anger att turkarna inte är representativa för amerikaner i allmänhet – eller ens för arbetande vuxna.

Det noterar också forskning från en tidigare (2014) studie, som indikerade att AMT-arbetare utsätts för så många experiment och undersökningar att mängden av detta arbete kunde konditionera arbetarna till vissa typer av svar eller få dem att bli alltför bekanta med typerna av frågor de kommer att ställas – effektivt, att slitaget av AMT-arbete kommer att göra turkarna experter på att “behaga systemet” snarare än att ge äkta och akademiskt (eller till och med kliniskt) användbar indata.