Amazon Mechanical Turk betaalt minder dan 40% van het Amerikaanse minimumloon, suggereren onderzoekers

De resultaten van een studie door onderzoekers in de VS en Mexico suggereren dat crowdsourced werknemers in de Amazon Mechanical Turk-markt, met een meerderheid van 75% gevestigd in de Verenigde Staten, verdienen zo weinig als een mediaan van $2,83 per uur – ongeveer 39,5% van het federale minimumloon van $7,25 per uur, aangezien de thuiswerkers een derde van hun werktijd besteden aan het scannen van lijsten met verzoeken om werk, het beheren van betalingen en het uitvoeren van andere soorten ‘onzichtbare arbeid’.

De bevindingen komen in de nasleep van een recent rapport van de Universiteit van Massachusetts Amherst, dat de lage lonen en voordelen van het werk als ‘turker’ bekritiseerde en dat de AMT-ecostructuur effectief karakteriseert als een lagekwaliteit-zweetfabriek voor onderbetaalde academische onderzoekers.

In 2005 gelanceerd, levert Amazon Mechanical Turk (AMT) crowdworkers ad hoc Human Intelligence Tasks (HITs), die vaak worden gebruikt door machine learning-onderzoekers in de context van ‘betaalbare’ studiegroepen voor taken zoals beeldherkenning, Natural Language Processing (NLP)-evaluatie en andere systematische, programmatische taken die zijn ontworpen om algoritmes te helpen formuleren of testen (hoewel de dienst ook op grote schaal wordt gebruikt om spam te genereren).

Onzichtbare arbeid op MTurk

De nieuwe studie, getiteld Quantifying the Invisible Labor in Crowd Work, werd uitgevoerd door onderzoekers van de Northeastern University in Boston, Microsoft Research en de Universidad Nacional Autonoma de Mexico (UNAM).

De omvang van de onzichtbare arbeid die wordt uitgevoerd door 100 werknemers op meer dan 40.000 HIT-taken over een periode van een week. Bron: https://arxiv.org/pdf/2110.00169.pdf

Het artikel beschrijft de omvang van de ‘onzichtbare arbeid’ die 33% van de werktijd van een turker uitmaakt, zoals aangetoond in een veldstudie die voor het onderzoek is uitgevoerd. De grootste hoeveelheid ‘verloren’ tijd werd vertegenwoordigd door de tijd die AMT-werkers besteden aan het controleren van hun betalingsgegevens om ervoor te zorgen dat ze voor een taak worden betaald. Het rapport stelt dat ‘97% van de werknemers in onze studie onzichtbare arbeid verrichtten bij het bezoeken van de verdienstensectie op hun dashboard van werknemers (misschien om ervoor te zorgen dat ze eerlijk werden betaald)’.

De tweede grootste tijdsverlies voor turkers was de ‘hyper-waakzaamheid’ die nodig was om daadwerkelijk werk te krijgen, waarbij werknemers de pagina’s van profielen van verzoekers vernieuwen en zoeken naar nieuwe taken die in de AMT HIT-lijsten worden aangeboden.

Monitoring Turks

De onderzoekers ontwikkelden een Chrome-extensie, die ze vervolgens beschikbaar hebben gesteld op GitHub, op basis van eerder onderzoek dat de aandachtsgewoonten van AMT-werkers bestudeerde, maar dat de evaluatie van onzichtbare arbeid niet aanpakte. De extensie werd geïnstalleerd op de systemen van 100 deelnemende Mechanical Turk-werkers, die collectief 40.903 HITs uitvoerden over een periode van een week.

De hoofdtaak van de extensie is om de werkelijke tijd te evalueren die een werknemer besteedt aan een HIT-taak, en daartoe wordt de staat van AMT-gerelateerde pagina’s gemonitord door het scannen en parseren van de HTML-inhoud van een pagina die de turker momenteel bekijkt, om de interacties van de werknemer met deze pagina te begrijpen. De extensie heeft ook een tijdgestuurd achtergrondproces dat browsergebeurtenissen op het MTurk-domein logt en de status van elke pagina (bijv. actief, inactief, gesloten).

Tijdsintensieve aspecten die onder dit systeem worden gemonitord, zijn onder andere werknemers die de ‘kwalificaties’ controleren (om te zien of onlangs voltooide werk ‘upgrades’ heeft gegenereerd, waardoor ze toegang krijgen tot betere kwaliteit HITs); ‘waden en sorteren’ door een overvloed aan HIT-berichten met zoekfilters om een mogelijke volgende baan te identificeren en ongewenst werk uit te sluiten; en het filteren van ‘frauduleuze’ HITS en het algemeen beheren van en toezicht houden op gewachtte HITs.

Vertragingen en vertragingen

Het systeem herkent ook ‘vertragings’-gebeurtenissen en ‘vals starts’, zoals wanneer een werknemer een eerder geaccepteerde taak terugkeert naar het HIT-pool omdat deze anders bleek te zijn dan verwacht; de tijd die nodig is om ‘voorbeeld’-HITs te bekijken, of om informatie over de HITs te lezen; om berichten naar de HIT-aanmaker te sturen om de eisen van de taak beter te begrijpen; en om algemene platformhulp van de Mechanical Turk-hulp pagina’s te lezen.

In de zeer tijdsintensieve categorie ‘betalingen’ vonden de onderzoekers dat AMT-werkers vaak naar hun dashboard gingen om te controleren of ze waren betaald, aangezien het mogelijk is dat voltooide werk wordt afgewezen, niet betaald, om redenen die de werknemer nooit te horen zal krijgen; het bekijken van hun verdiensten, die een speciale sectie van het MTurk-dashboard hebben, in tegenstelling tot aankondigingen van een nieuwe betaling; en het uitvoeren van HITs die ‘verlopen’ – waarbij een werknemer een HIT niet voltooit binnen de toegestane tijd en geen betaling ontvangt voor enig werk dat aan de HIT is besteed (een categorie die de onderzoekers voelen dat zou moeten worden opgenomen in de ‘betalingen’-sectie).

Behalve de bevindingen van het rapport dat onzichtbare arbeid het eerder geschatte mediaanloon ($3,76) van een AMT-werknemer met 39,5% verlaagt wanneer het in een werksessie wordt meegenomen, merkt het ook op dat de perceptie van werknemers van de hoeveelheid tijd die ze hebben besteed aan onbetaalde werk tijdens een sessie aanzienlijk lager is dan de monitoringssessies aantonen.

De auteurs merken op dat ze alle schattingen in hun methodologische bevindingen hebben afgerond om een strikt ‘conservatieve’ aanpak van het werk te garanderen en om beschuldigingen van overdrijving van de bevindingen te vermijden. Ze concluderen:

‘Gezien het feit dat het mediaan-uurloon van werknemers slechts $3,76 is (zonder onzichtbare arbeid te betrekken), is het duidelijk dat crowdwerkers nog steeds een dramatische loonsverhoging nodig hebben voordat we deze arbeid als eerlijk kunnen beschouwen. Dit is echter niet alleen iets voor verzoekers om te overwegen, maar ook voor platforms, werknemers en zelfs beleidsmakers.’

De staat van Mechanical Turk-werknemers

Andere auteurs en organisaties schatten dat de gemiddelde AMT-werknemer nog minder verdient dan in het nieuwe rapport wordt geschat – zo weinig als $1 per uur.

Voorstanders van de voordelen van AMT beweren met enige regelmaat dat de controverse rond de lage beloning van AMT-werkers is overdreven. Een studie uit 2020 onderzocht een deel van de Amerikaanse MTurk-werknemers en vond dat ‘de financiële situatie van mensen op MTurk de algemene bevolking weerspiegelt‘, en dat turkers ‘de flexibiliteit van MTurk niet zouden ruilen voor minder dan $25 per uur’.

Die studie werd uitgevoerd door medewerkers van CloudResearch (voorheen TurkPrime), wiens diensten ‘tools omvatten die onderzoekers in staat stellen om studies uit te voeren op Mechanical Turk’.

Aangezien AMT-werknemers worden beschouwd als zelfstandige ondernemers, vallen ze niet onder de arbeidswetgeving in de VS. In een enquête van het Pew Research Center uit 2016 meldden meer dan de helft van de AMT-werkers (52%) dat ze minder dan $4,99 per uur verdienden, wat – onder de aanname van fulltime werk zonder vakantie of ziekteverlof – equivalent is aan een inkomen van $10.379,20 per jaar.

Voor veel werknemers vertegenwoordigde Mechanical Turk ‘alle of de meeste’ inkomsten, en deze categorie turkers was kenmerkend jonger, minder onderwezen en woonde in huishoudens met lagere inkomens.

Echter, turkers waren, volgens de enquête, over het algemeen beter opgeleid dan de gemiddelde Amerikaanse werknemer, met 51% die meldden dat ze ten minste een bachelorgraad hadden, tegen 36% van de volwassen werknemers in de VS – met slechts 12% van de AMT-werkers die beweerden alleen een middelbare schooldiploma of minder te hebben.

Het juiste spul?

Het Pew-rapport gaf ook aan dat typische AMT-werkers mogelijk het tegenovergestelde zijn van de ‘gemiddelde persoon’ die de meeste academische studies proberen te benutten, met implicaties voor de mate waarin hun ongebruikelijke antwoorden de kwaliteit van machine learning-projecten die op turkers vertrouwen, kunnen beïnvloeden of verslechteren.

De bevindingen van het Pew-rapport stellen dat turkers ‘niet representatief zijn voor Amerikanen in het algemeen – of zelfs voor werkende volwassenen’.

Het rapport verwijst ook naar onderzoek uit een eerdere (2014) studie, die aangaf dat AMT-werkers worden onderworpen aan zoveel experimenten en enquêtes dat de hoeveelheid van dit soort werk ‘de werknemers kan voorbereiden op bepaalde soorten antwoorden of hen te veel vertrouwd kan maken met de soorten vragen die ze zullen krijgen’ – effectief, dat de grind van AMT-werk de turkers zal doen ontwikkelen tot experts in ‘het systeem behagen’ in plaats van authentieke en academisch (of zelfs klinisch) nuttige input.