Amazon Mechanical Turk betaler mindre end 40% af den amerikanske minimumsløn, viser forskning

Resultaterne af en undersøgelse udført af forskere i USA og Mexico tyder på, at crowdsourced-arbejdere på Amazon Mechanical Turk-markedet, hvor 75% af arbejderne er baseret i USA, tjener så lidt som en median på 2,83 dollar i timen – cirka 39,5% af den pålagte føderale minimumsløn på 7,25 dollar i timen, da de hjemmearbejdende arbejdere bruger en tredjedel af deres arbejdstid på at scanne lister over arbejdsanmodninger, håndtere betalinger og udføre andre former for ‘usynlig arbejde’.

Forskningen kommer i kølvandet på en ny rapport fra University of Massachusetts Amherst, som kritiserer den lave niveau af betaling og godtgender, der er forbundet med at være en ‘turker’, og som karakteriserer AMT-økosystemet effektivt som en lavkvalitets sweatshop for underfinansierede akademiske forskere.

Lanceret i 2005 leverer Amazon Mechanical Turk (AMT) crowdworkers med ad hoc Human Intelligence Tasks (HITs), der ofte anvendes af maskinlæringsforskere i sammenhæng med ‘billige’ studiegrupper til opgaver som billedgenkendelse, Natural Language Processing (NLP)-evaluering og andre systematiske, programmeringsmæssige opgaver, der er designet til at hjælpe med at formulerer eller teste algoritmer (selvom tjenesten også anvendes til at generere spam).

Usynlig arbejde på MTurk

Den nye undersøgelse, med titlen Quantifying the Invisible Labor in Crowd Work, blev udført af forskere fra Northeastern University i Boston, Microsoft Research og Universidad Nacional Autonoma de Mexico (UNAM).

Omfanget af usynlig arbejde udført af 100 arbejdere på over 40.000 HIT-opgaver over en periode på en uge. Kilde: https://arxiv.org/pdf/2110.00169.pdf

Artiklen beskriver omfanget af ‘usynlig arbejde’, der udgør 33% af en turkers arbejdstid, som det fremgår af en feltundersøgelse, der er udført i forbindelse med arbejdet. Den største mængde ‘tabt’ tid blev repræsenteret af den tid, AMT-arbejdere bruger på at undersøge deres betalingsdetaljer for at sikre, at de har modtaget betaling for en opgave. Rapporten fastslår, at ‘97% af arbejderne i vores undersøgelse udførte usynlig arbejde i forbindelse med besøg på deres arbejderdashboard (muligvis for at sikre, at de havde fået betaling retfærdigt)’.

Den næststørste tidsfordriv for turkere var den ‘hyper-vigilans’, der er nødvendig for at få arbejde, hvor arbejdere opdaterer siderne med anmodninger om arbejde og søger efter nye opgaver, der er annonceret i AMT-HIT-listningssektionerne.

Overvågning af turkere

Forskerne udviklede en Chrome-udvidelse, som de har gjort tilgængelig på GitHub, baseret på tidligere arbejde, der studerede opmærksomhedsvaner hos AMT-arbejdere, men som ikke behandlede evalueringen af usynlig arbejde. Udvidelsen blev installeret på systemerne hos 100 deltagende Mechanical Turk-arbejdere, som kollektivt udførte 40.903 HITs over en periode på en uge.

Udvidelsens primære opgave er at evaluere den faktiske tid, en arbejder bruger på en HIT-opgave, og til dette formål overvåger den status på AMT-relaterede sider ved at scrape og parse HTML-indholdet af en side, som turkeren er fokuseret på, for at forstå arbejderens interaktioner med den. Udvidelsen har også en tidsdrevet baggrundproces, der logger browserbegivenheder på MTurk-domænet og status på hver side (dvs. aktiv, inaktiv, lukket).

Tidskrævende aspekter, der overvåges i dette system, omfatter arbejdere, der kontrollerer ‘kvalifikationsstatus’ (for at se, om nyligt udført arbejde har ‘opgraderet’ dem og givet dem adgang til bedre kvalitets-HITs); ‘vade og sortere’ gennem en lavine af HIT-poster med søgefilter for at identificere en mulig næste job og udelukke uønsket arbejde; og filtrere ud ‘svindel-HITs’ og generelt håndtere/overvåge køede HITs.

Forsinkelser og bremser

Systemet erkender også ‘forsinkelsesbegivenheder’ og ‘falske start’, såsom når en arbejder returnerer en tidligere accepteret opgave til HIT-puljen, fordi den viste sig at være anderledes, end de havde forventet; den tid, der bruges til at ‘forhåndsvisning’ af HITs eller til at læse information om HITs; til at sende beskeder til HIT-oprindelsen for bedre at forstå opgavens krav; og læse generel platformhjælp fra Mechanical Turk-hjælpsiderne.

I den meget tidskrævende kategori ‘betalinger’ fandt forskningen, at AMT-arbejdere ofte var på deres dashboard for at kontrollere, om de havde modtaget betaling, da det er muligt for udført arbejde at blive afvist, ubetalt, af grunde, som arbejderen aldrig vil blive informeret om; visning af deres indtægter, som har en dedikeret sektion på MTurk-dashboardet, modsat annoncering af en ny betaling; og udførelse af HITs, der ‘timeout’ – hvor en arbejder ikke kan udføre en HIT inden for den tilladte tid, og modtager ingen betaling for noget arbejde udført på den (en kategori, som forskerne mener burde være i ‘betalingssektionen’).

Foruden rapportens fund, som viser, at usynlig arbejde reducerer den tidligere estimerede medianløn ($3,76) for en AMT-arbejder med 39,5%, når den faktorerer ind i en arbejdssession, bemærker den også, at arbejdernes opfattelse af, hvor meget tid de har brugt på ubetalt arbejde under en session, er bemærkelsesværdigt lavere end det, overvågningsessionerne afslører.

Forfatterne bemærker, at de har rundet alle estimeringer i deres metodiske fund ned for at sikre en rigorøst ‘konservativ’ tilgang til arbejdet og for at undgå beskyldninger for overdrivelse af fundene. De konkluderer:

‘Da den median timeløn for arbejdere kun er 3,76 dollar (uden at tage usynlig arbejde i betragting), er det klart, at crowd-arbejdere stadig har brug for en dramatisk lønstigning, før vi kan betragte dette arbejde som retfærdigt. Men dette er ikke noget, som kun anmodere skal overveje, men også noget, som platforme, arbejdere og endda lovgivere skal overveje.’

Tilstanden for Mechanical Turk-arbejdere

Andre forfattere og organisationer estimerer, at den gennemsnitlige AMT-arbejder i virkeligheden tjener endnu mindre end det, der estimeres i den nye rapport – så lidt som 1 dollar i timen.

Forsvarere af fordelene ved AMT argumenterer med en vis frekvens, at kontroverserne omkring den lave betaling af AMT-arbejdere er overdrivet. En undersøgelse fra 2020 undersøgte en sektion af amerikanske MTurk-arbejdere og fandt, at ‘den økonomiske situation for mennesker på MTurk spejler den generelle befolkning, og at turkere ‘ville ikke bytte flexibiliteten på MTurk for mindre end 25 dollar i timen’.

Det arbejde blev udført af ansatte i CloudResearch (tidligere TurkPrime), hvis tjenester omfatter ‘værktøjer, der giver forskere mulighed for at udføre studier på Mechanical Turk’.

Da AMT-arbejdere betragtes som selvstændige entreprenører, er de ikke normalt dækket af arbejdslove i USA. I en undersøgelse fra 2016 af Pew Research Center, rapporterede mere end halvdelen af AMT-arbejdere (52%), at de tjener mindre end 4,99 dollar i timen, hvilket – under antagelse af fuldtidsarbejde uden ferie eller sygeorlov – svarer til en årlig indtægt på 10.379,20 dollar.

For mange arbejdere repræsenterede Mechanical Turk ‘alt eller det meste’ af deres indtægt, og denne kategori af turkere var karakteristisk set yngre, mindre uddannede og boede i husholdninger med lavere indtægt.

Men turkere var, ifølge undersøgelsen, generelt bedre uddannede end gennemsnittet af amerikanske arbejdere, med 51% rapporterede, at de havde mindst en college-uddannelse, modsat 36% af voksne arbejdere i USA – med kun 12% af AMT-arbejdere, der hævdede at have kun en high school-uddannelse eller mindre.

Det rigtige?

Pew-rapporten angav også, at typiske AMT-arbejdere måske er det modsatte af ‘den gennemsnitlige person’, som de fleste akademiske studier søger at udnytte, med implikationer for, hvorledes deres usædvanlige svar potentielt kan forvrænge eller nedgrade kvaliteten af maskinlæringsprojekter, der afhænger af turkere.

Fundene i Pew-rapporten fastslår, at turkere ‘ikke er repræsentative for amerikanere generelt – eller endda for arbejdende voksne’.

Den bemærker også forskning fra en tidligere (2014) undersøgelse, som viste, at AMT-arbejdere udsættes for så mange eksperimenter og undersøgelser, at mængden af dette arbejde ‘kunne betinge arbejderne til bestemte typer svar eller få dem til at blive overordentligt fortrolige med de typer af spørgsmål, de vil blive stillet’ – effektivt, at slidt på AMT-arbejde vil få turkere til at blive eksperter i at ’tilfredsstille systemet’ snarere end at give ægte og akademisk (eller endda klinisk) nyttig input.