Amazon Mechanical Turk betaalt minder dan 40% van het Amerikaanse minimumloon, suggereren onderzoekers

De resultaten van een studie door onderzoekers in de VS en Mexico suggereren dat crowdsourced werknemers in de Amazon Mechanical Turk-marktplaats, met een meerderheid van 75% gevestigd in de Verenigde Staten, verdienen zo weinig als een mediaan van $2,83 per uur – ongeveer 39,5% van het federale minimumloon van $7,25 per uur, aangezien de remote werknemers een derde van hun werktijd besteden aan het scannen van lijsten met verzoeken om werk, het beheren van betalingen en het uitvoeren van andere soorten ‘onzichtbare arbeid’.

De bevindingen komen in de nasleep van een recent rapport van de Universiteit van Massachusetts Amherst, dat de lage loon- en verlofniveau van een ‘turker’ bekritiseerde en dat het AMT-ecosysteem effectief karakteriseert als een lage kwaliteit sweatshop voor onderbetaalde academische onderzoekers.

Gelanceerd in 2005, levert Amazon Mechanical Turk (AMT) crowdworkers ad hoc Human Intelligence Tasks (HITs), die vaak worden gebruikt door machine learning-onderzoekers in de context van ‘betaalbare’ studiegroepen voor taken zoals beeldherkenning, Natural Language Processing (NLP)-evaluatie en andere systematische, programmatische taken die zijn ontworpen om algoritmes te helpen formuleren of testen (hoewel de dienst ook uitgebreid wordt gebruikt om spam te genereren).

Onzichtbare arbeid op MTurk

De nieuwe studie, getiteld Quantifying the Invisible Labor in Crowd Work, werd uitgevoerd door onderzoekers van Northeastern University in Boston, Microsoft Research en de Universidad Nacional Autonoma de Mexico (UNAM).

De omvang van onzichtbare arbeid die wordt uitgevoerd door 100 werknemers op meer dan 40.000 HIT-taken over een periode van een week. Bron: https://arxiv.org/pdf/2110.00169.pdf

Het artikel beschrijft de omvang van ‘onzichtbare arbeid’ die 33% van de werktijd van een turker uitmaakt, zoals aangetoond in een veldstudie die voor het werk is uitgevoerd. De grootste hoeveelheid ‘verloren’ tijd werd vertegenwoordigd door de tijd die AMT-werkers besteden aan het controleren van hun betalingsgegevens om ervoor te zorgen dat ze betaald werden voor een taak. Het rapport stelt dat ‘97% van de werknemers in onze studie onzichtbare arbeid uitvoerden rond het bezoeken van de inkomstensectie op hun werknemersdashboard (misschien om ervoor te zorgen dat ze eerlijk waren betaald)’.

De tweede grootste tijdsverlies voor turkers was de ‘hyper-waakzaamheid’ die nodig was om daadwerkelijk werk te verkrijgen, waarbij werknemers de pagina’s van verzoekersprofielen vernieuwen en naar nieuwe taken zoeken die in de AMT HIT-lijsten worden geadverteerd.

Monitoring Turks

De onderzoekers ontwikkelden een Chrome-extensie, die ze vervolgens beschikbaar hebben gesteld op GitHub, op basis van eerder werk dat de aandachtsgewoonten van AMT-werkers bestudeerde, maar dat de evaluatie van onzichtbare arbeid niet aanpakte. De extensie werd geïnstalleerd op de systemen van 100 deelnemende Mechanical Turk-werknemers, die collectief 40.903 HITs uitvoerden over een periode van een week.

De hoofdtaken van de extensie zijn om de daadwerkelijke tijd te evalueren die een werknemer besteedt aan een HIT-taak en om dit doel te bereiken, wordt de staat van AMT-gerelateerde pagina’s gemonitord door het HTML-inhoud van een pagina die de turker momenteel bekijkt, te schrapen en te parseren, om de interactie van de werknemer met de pagina te begrijpen. De extensie heeft ook een tijdgestuurd achtergrondproces dat browsergebeurtenissen op het MTurk-domein logt en de status van elke pagina (d.w.z. actief, inactief, gesloten).

Tijdrovende facetten die onder dit systeem worden gemonitord, zijn onder meer werknemers die de ‘kwalificaties’ status controleren (om te zien of onlangs voltooide werk hen heeft ‘upgegrade’ en hen toegang heeft gegeven tot betere kwaliteit HITs); ‘waden en sorteren’ door een lawine van HIT-berichten met zoekfilters om een mogelijke volgende baan te identificeren en ongewenst werk uit te sluiten; en het filteren van ‘frauduleuze’ HITS en het algemeen beheren en controleren van gewachtte HITs.

Vertragingen en vertragingen

Het systeem herkent ook ‘vertragings’- en ‘valse starts’-gebeurtenissen, zoals wanneer een werknemer een eerder geaccepteerde taak terugkeert naar het HIT-pool omdat deze anders was dan zijn verwachtingen; de tijd die nodig is om HITs te ‘voorbeeld’, of om informatie over de HITs te lezen; om berichten te sturen naar de HIT-aanmaker om de eisen van de taak beter te begrijpen; en om algemene platformhulp van de Mechanical Turk-hulp pagina’s te lezen.

In de zeer tijdrovende categorie ‘betalingen’ vond het onderzoek dat AMT-werkers vaak aan hun dashboard waren om te controleren of ze waren betaald, aangezien het mogelijk is voor voltooide werk om te worden afgewezen, onbetaald, om redenen die de werknemer nooit te horen zal krijgen; het bekijken van hun inkomsten, die een speciale sectie van het MTurk-dashboard hebben, in tegenstelling tot aankondigingen van een nieuwe betaling; en het uitvoeren van HITs die ‘verlopen’ – waarbij een werknemer niet in staat is om een HIT te voltooien binnen de toegewezen tijd en geen betaling ontvangt voor enig werk dat op het is uitgevoerd (een categorie die de onderzoekers voelen dat zou moeten worden opgenomen in de ‘betalingen’ sectie).

Naast de bevindingen van het rapport dat onzichtbare arbeid het eerder geschatte mediaanloon ($3,76) van een AMT-werknemer met 39,5% verlaagt wanneer het in een werksessie wordt meegenomen, merkt het ook op dat de perceptie van werknemers van de hoeveelheid tijd die ze hebben besteed aan onbetaalde arbeid tijdens een sessie aanzienlijk lager is dan de monitoringssessies aantonen.

De auteurs merken op dat ze alle schattingen in hun methodologische bevindingen hebben afgerond om een strikt ‘conservatieve’ aanpak van het werk te garanderen en om beschuldigingen van overdrijving van de bevindingen te vermijden. Ze concluderen:

‘Gezien het feit dat het mediaan uurloon van werknemers slechts $3,76 is (zonder onzichtbare arbeid te betrekken), is het duidelijk dat crowdwerkers nog steeds een dramatische loonsverhoging nodig hebben voordat we deze arbeid als eerlijk kunnen beschouwen. Maar dit is niet alleen iets voor verzoekers om te overwegen, maar ook iets voor platforms, werknemers en zelfs beleidsmakers.’

De staat van Mechanical Turk-werknemers

Andere auteurs en organisaties schatten dat de gemiddelde AMT-werknemer nog minder verdient dan in het nieuwe rapport wordt geschat – zo weinig als $1 per uur.

Voorstanders van de voordelen van AMT beweren, met relatieve frequentie, dat de controverse rond de lage beloning van AMT-werknemers is overdreven. Een studie uit 2020 onderzocht een deel van de Amerikaanse MTurk-werknemers en vond dat ‘de financiële situatie van mensen op MTurk de algemene bevolking weerspiegelt‘, en dat turkers ‘de flexibiliteit van MTurk niet zouden ruilen voor minder dan $25 per uur’.

Dat werk werd uitgevoerd door werknemers van CloudResearch (voorheen TurkPrime), wiens diensten onder meer ‘hulpmiddelen omvatten die onderzoekers in staat stellen om studies uit te voeren op Mechanical Turk’.

Aangezien AMT-werknemers worden beschouwd als zelfstandige ondernemers, worden ze gewoonlijk niet door de arbeidswetgeving in de VS beschermd. In een onderzoek van het Pew Research Center uit 2016, meldden meer dan de helft van de AMT-werknemers (52%) dat ze minder dan $4,99 per uur verdienden, wat – onder de aanname van fulltime werk zonder vakantie- of ziekteverlof – gelijk is aan een inkomen van $10.379,20 per jaar.

Voor veel werknemers vertegenwoordigde Mechanical Turk ‘alle of de meeste’ inkomsten, en deze categorie van turkers was kenmerkend jonger, minder onderwezen en woonde in huishoudens met lagere inkomens.

Echter, turkers waren, volgens de enquête, over het algemeen beter opgeleid dan de gemiddelde Amerikaanse werknemers, met 51% die meldden dat ze ten minste een bachelorgraad hebben, tegen 36% van de volwassen werknemers in de VS – met slechts 12% van de AMT-werknemers die beweerden alleen een high school-diploma of minder te hebben.

De juiste dingen?

Het Pew-rapport geeft ook aan dat typische AMT-werknemers mogelijk het tegenovergestelde zijn van de ‘gemiddelde persoon’ die de meeste academische studies proberen te benutten, met implicaties voor de mate waarin hun ongebruikelijke antwoorden de kwaliteit van machine learning-projecten die op turkers vertrouwen, potentieel kunnen beïnvloeden of verslechteren.

De bevindingen van het Pew-rapport stellen dat turkers ‘niet representatief zijn voor Amerikanen in het algemeen – of zelfs voor werkende volwassenen’.

Het merkt ook onderzoek op uit een eerdere (2014) studie, die aangaf dat AMT-werknemers onderhevig zijn aan zo veel experimenten en enquêtes dat de hoeveelheid van dit soort werk ‘de werknemers kan conditioneren tot bepaalde soorten antwoorden of hen te veel vertrouwd kan maken met de soorten vragen die ze zullen krijgen’ – effectief, dat de grind van AMT-werk de turkers ertoe kan brengen om experts te worden in ‘het systeem te behagen’ in plaats van authentieke en academisch (of zelfs klinisch) nuttige input te bieden.