Amazon Mechanical Turk platí méně než 40% minimální mzdy USA, naznačuje výzkum

Výsledky studie výzkumníků v USA a Mexiku naznačují, že crowdsourced pracovníci na trhu Amazon Mechanical Turk, s 75% většinou sídlící ve Spojených státech, vydělávají málo, medián 2,83 dolaru za hodinu – asi 39,5 % federální minimální mzdy 7,25 dolaru za hodinu, protože vzdálené pracovníci tráví třetinu své pracovní doby procházením seznamů požadavků na práci, správou plateb a prováděním jiných druhů “neviditelné práce”.

Zjištění přicházejí v souvislosti s nedávnou zprávou z Univerzity v Massachusetts Amherst, která kritizovala nízkou úroveň mzdy a benefity spojené s tím, že je “turker”, a která charakterizuje ekosystém AMT jako nízko kvalitní sweatshop pro podfinancované akademické výzkumníky.

Spuštěn v roce 2005, Amazon Mechanical Turk (AMT) dodává crowdworkerům ad hoc Human Intelligence Tasks (HITs), často využívané výzkumníky strojového učení v kontextu “dostupných” studijních skupin pro úkoly, jako je rozpoznávání obrázků, hodnocení Natural Language Processing (NLP) a další systematické, programové úkoly navržené pro pomoc při formulaci nebo testování algoritmů (ačkoli služba je také široce používána pro generování spamu).

Neviditelná práce na MTurk

Nová studie, nazvaná Quantifying the Invisible Labor in Crowd Work, byla provedena výzkumníky z Northeastern University v Bostonu, Microsoft Research a Universidad Nacional Autonoma de Mexico (UNAM).

Rozsah neviditelné práce provedené 100 pracovníky na více než 40 000 HIT úkolech během jednoho týdne. Source: https://arxiv.org/pdf/2110.00169.pdf

Článek podrobně popisuje rozsah “neviditelné práce”, která tvoří 33 % pracovní doby turkera, jak je zdokumentováno v terénní studii provedené pro tuto práci. Největší část “ztraceného” času byla reprezentována časem, který pracovníci AMT tráví procházením svých platebních údajů, aby se ujistili, že dostali spravedlivou mzdu za úkol. Zpráva uvádí, že ’97 % pracovníků v naší studii praktikovalo neviditelnou práci kolem návštěvy sekce výdělků na jejich pracovní desce (možná aby se ujistili, že dostali spravedlivou mzdu)’.

Druhým největším časovým odběrem pro turkery byla “hyper-vigilance” nezbytná pro získání práce, kde pracovníci obnovují stránky profilů zadavatelů a hledají nové úkoly inzerované v sekci AMT HIT.

Monitorování Turků

Výzkumníci vyvinuli rozšíření pro Chrome, které následně zpřístupnili na GitHub, založené na předchozí práci, která studovala návyky pozornosti pracovníků AMT, ale která se nezabývala hodnocením neviditelné práce. Rozšíření bylo nainstalováno na systémech 100 účastnických Mechanical Turk pracovníků, kteří společně provedli 40 903 HIT úkoly během jednoho týdne.

Hlavním úkolem rozšíření je vyhodnotit skutečný čas, který pracovník stráví na úkol HIT, a k tomuto účelu monitoruje stav souvisejících stránek AMT procházením a analýzou HTML obsahu stránky, na které se pracovník目前 zaměřuje, aby pochopil interakce pracovníka s ní. Rozšíření také obsahuje časově řízený proces na pozadí, který zaznamenává události prohlížeče na doméně MTurk a stav každé stránky (tj. aktivní, neaktivní, uzavřené).

Časově náročné aspekty monitorované v tomto systému zahrnují pracovníky, kteří kontrolují stav “kvalifikací” (aby viděli, zda nedávno dokončená práce “upgradovala” je, aby získali přístup k lepšímu HIT), “procházení a třídění” prostřednictvím záplavy HIT příspěvků se zoekými filtry, aby identifikovali možný další úkol, a vyloučili nežádoucí práci; a filtrování “podvodných” HIT a obecně řízení/monitorování fronty HIT.

Zpoždění a brzdění

Systém také rozpoznává “zpožďovací” události a “falešné starty”, jako je když pracovník vrátí dříve přijatý úkol zpět do fondu HIT, protože se ukázalo, že je jiný, než očekával; čas strávený “nahlížením” HIT, nebo čtením informací o HIT; odesláním zpráv původci HIT, aby lépe pochopil požadavky úkolu; a čtením obecné pomoci z help stránek Mechanical Turk.

V kategorii “plateb” výzkumníci zjistili, že pracovníci AMT často kontrolují svou dashboard, zda byli placeni, protože je možné, že dokončená práce bude odmítnuta, nezaplacena, z důvodů, které pracovník nikdy nebude informován; prohlížení svých výdělků, které mají speciální sekci na dashboardu MTurk, na rozdíl od oznámení o nové platbě; a provádění HIT, které “vyprší” – kde pracovník nedokončí HIT v přiděleném čase a neobdrží žádnou platbu za jakoukoli práci provedenou na něm (kategorie, kterou výzkumníci považují za “platby”).

Kromě zjištění zprávy, že neviditelná práce snižuje předtím odhadnutou medián mzdy (3,76 dolaru) pracovníkovi AMT o 39,5 %, když se zohlední do pracovní relace, také uvádí, že vnímání pracovníků, kolik času strávili na neplacené práci během relace, je podstatně nižší, než ukazují monitorovací relace.

Autoři uvádějí, že zaokrouhlili všechny odhady ve svých metodologických zjištěních, aby zajistili rigorózní “konzervativní” přístup k práci, a aby se vyhnuli obviněním z přehánění zjištění. Závěr:

‘Vzhledem k tomu, že medián hodinové mzdy pracovníků je pouze 3,76 dolaru (bez zohlednění neviditelné práce), je zřejmé, že crowd pracovníci stále potřebují dramatický nárůst svých mezd, než můžeme považovat tuto práci za spravedlivou. Nicméně, toto není něco, co by měli zvažovat pouze zadavatelé, ale také platformy, pracovníci a dokonce i tvůrci politik.’

Stav Mechanical Turk pracovníků

Jiní autoři a organizace odhadují, že průměrný pracovník AMT skutečně vydělává ještě méně, než je odhadnuto v nové zprávě – až 1 dolar za hodinu.

Nositelé výhod AMT argumentují, s relativní frekvencí, že kontroverze kolem špatné odměny pracovníků AMT jsou přeháněny. Jedna studie z roku 2020 provedla průzkum části amerických MTurk pracovníků a zjistila, že ‘finanční situace lidí na MTurk odráží obecnou populaci‘, a že turkeři ‘by nevyměnili flexibilitu MTurk za méně než 25 dolarů za hodinu’.

Tato práce byla provedena zaměstnanci CloudResearch (dříve TurkPrime), jejichž služby zahrnují “nástroje, které umožňují výzkumníkům spouštět studie na Mechanical Turk”.

Pоскольку pracovníci AMT jsou považováni za samostatné dodavatele, nejsou obvykle kryti laboratorními zákony v USA. V roce 2016 průzkum Pew Research Center ukázal, že více než polovina AMT pracovníků (52 %) uvedla, že vydělávají méně než 4,99 dolaru za hodinu, což – při předpokladu plné pracovní doby bez dovolené nebo nemocenské – odpovídá příjmu 10 379,20 dolaru ročně.

Pro mnoho pracovníků průzkum ukázal, že Mechanical Turk reprezentoval “všechny nebo většinu” jejich příjmu, a tato kategorie turkerů byla charakteristická mladšími, méně vzdělanými a žijícími v domácnostech s nižšími příjmy.

Nicméně, turkeři byli, podle průzkumu, obecně lépe vzdělaní než průměrní američtí pracovníci, s 51 % hlásících, že mají alespoň vysokoškolský diplom, ve srovnání s 36 % dospělých pracovníků v USA – s pouze 12 % AMT pracovníků, kteří tvrdili, že mají pouze středoškolský diplom nebo méně.

Správná věc?

Zpráva Pew také naznačila, že typičtí AMT pracovníci mohou být přesně opačtí než “průměrný člověk”, kterého většina akademických studií snaží využít, s implikacemi pro rozsah, ve kterém jejich neobvyklé odpovědi mohou potenciálně zkreslit nebo zhoršit kvalitu projektů strojového učení, které se spoléhají na turkery.

Zjištění zprávy uvádějí, že turkeři ‘nejsou reprezentativní pro Američany obecně – nebo dokonce pro pracující dospělé’.

Také uvádí výzkum z dřívější (2014) studie, která ukázala, že pracovníci AMT jsou vystaveni tolik experimentům a průzkumům, že množství této práce ‘mohlo kondicionovat pracovníky na určitý typ odpovědí nebo je učinit příliš熟ými s typy otázek, které jim budou kladeny’ – efektivní, že šlapání AMT práce bude sklonit turkery stát se experty na “získání systému” spíše než poskytování autentické a akademicky (nebo dokonce klinicky) užitečné vstup.