Amazon Mechanical Turk platí méně než 40% minimální mzdy USA, naznačuje výzkum

Výsledky studie výzkumníků ze Spojených států a Mexika naznačují, že crowdsourced pracovníci na trhu Amazon Mechanical Turk, s 75% většinou založenou ve Spojených státech, vydělávají tolik, že medián jejich hodinové mzdy činí pouze 2,83 dolaru – asi 39,5 % federální minimální mzdy 7,25 dolaru za hodinu, protože vzdálení pracovníci tráví třetinu své pracovní doby procházením seznamů požadavků na práci, správou plateb a prováděním jiných druhů „neviditelné práce“.

Zjištění pocházejí v rámci nedávné zprávy z University of Massachusetts Amherst, která kritizovala nízkou úroveň mzdy a benefity spojené s prací na Amazon Mechanical Turk a charakterizuje ekosystém AMT jako nízkoúrovňový potní dům pro špatně placené akademické výzkumníky.

Spuštěn v roce 2005, Amazon Mechanical Turk (AMT) dodává crowdworkerům ad hoc Human Intelligence Tasks (HITs), často využívané výzkumníky strojového učení v kontextu „dostupných“ studijních skupin pro úkoly, jako je rozpoznávání obrázků, hodnocení Natural Language Processing (NLP) a další systematické, programatické úkoly navržené pro pomoc při formulaci nebo testování algoritmů (i když je služba také široce používána pro generování spamu).

Neviditelná práce na MTurk

Nová studie, nazvaná Quantifying the Invisible Labor in Crowd Work, byla provedena výzkumníky z Northeastern University at Boston, Microsoft Research a Universidad Nacional Autonoma de Mexico (UNAM).

Rozsah neviditelné práce provedené 100 pracovníky na více než 40 000 HIT úkolech během jednoho týdne. Zdroj: https://arxiv.org/pdf/2110.00169.pdf

Článek popisuje rozsah „neviditelné práce“, která tvoří 33 % pracovní doby turkera, jak je zdokumentováno v terénní studii provedené pro tuto práci. Největší část „ztraceného“ času byla reprezentována časem, který pracovníci AMT tráví procházením svých platebních údajů, aby se ujistili, že obdrželi platbu za úkol. Zpráva uvádí, že ’97 % pracovníků v naší studii praktikovalo neviditelnou práci při návštěvě sekce výdělků na jejich pracovní desce (možná proto, aby se ujistili, že byli spravedlivě zaplaceni)’.

Druhým největším časovým odběrem pro turkery byla „hyper-vigilance“ nutná pro získání práce, kdy pracovníci obnovují stránky profilů zadavatelů a hledají nové úkoly inzerované v sekci HIT nabídek AMT.

Monitorování Turků

Výzkumníci vyvinuli rozšíření prohlížeče Chrome, které nyní zpřístupnili na GitHub, na základě předchozí práce, která studovala návyky pozornosti pracovníků AMT, ale která se nezabývala hodnocením neviditelné práce. Rozšíření bylo nainstalováno na systémech 100 účastnických Mechanical Turk pracovníků, kteří společně provedli 40 903 HIT úkoly během jednoho týdne.

Hlavním úkolem rozšíření je vyhodnotit skutečný čas, který pracovník stráví na úkolu HIT, a k tomuto účelu monitoruje stav stránek AMT skenováním a analýzou HTML obsahu stránky, na které se turker aktuálně zaměřuje, aby pochopil interakce pracovníka s ní. Rozšíření také obsahuje časově řízený proces na pozadí, který zaznamenává události prohlížeče na doméně MTurk a stav každé stránky (tj. aktivní, neaktivní, uzavřené).

Časově náročné aspekty monitorované v tomto systému zahrnují pracovníky, kteří kontrolují stav „kvalifikací“ (aby viděli, zda nedávno dokončená práce „upgradovala“ jejich kvalifikace, aby získali přístup k lepšímu HIT), „brodění a třídění“ skrze lavinu nabídek HIT s filtry pro vyhledání možného dalšího úkolu a vyloučení nežádoucí práce, a filtrování „podvodných“ HIT a obecně správu a dohled nad frontou HIT.

Zpoždění a brzdění

Systém také rozpoznává „zpožděné“ události a „falešné starty“, jako když pracovník vrátí dříve přijatý úkol zpět do fondu HIT, protože se ukázal být jiný, než očekával; čas strávený „nahlížením“ HIT, nebo čtením informací o HIT; odesíláním zpráv původci HIT, aby lépe pochopil požadavky úkolu; a čtením obecné pomoci z help stránek Mechanical Turk.

V kategorii „platby“ výzkumníci zjistili, že pracovníci AMT často kontrolují, zda byli zaplaceni, protože je možné, že dokončená práce bude odmítnuta, nezaplacena, z důvodů, které pracovník nikdy nezjistí; prohlížení svých výdělků, které mají vyhrazenou sekci na panelu MTurk, na rozdíl od oznámení o nové platbě; a provádění HIT, které „vyprší“ – kde pracovník nedokončí HIT v přiděleném čase a neobdrží žádnou platbu za práci provedenou na něm (kategorie, kterou autoři považují za „platby“).

Kromě zjištění, že neviditelná práce snižuje předtím odhadnutou medián mzdy ($3,76) pracovníka AMT o 39,5 %, když je zahrnuta do pracovní relace, zpráva také uvádí, že vnímání pracovníků, kolik času strávili nezaplacenou prací během relace, je znatelně nižší, než ukazují monitorovací relace.

Autoři uvádějí, že zaokrouhlovali všechny odhady ve svých metodologických zjištěních, aby zajistili rigorózně „konzervativní“ přístup k práci a aby se vyhnuli obviněním z přehánění zjištění. Závěr zní:

‘Vzhledem k tomu, že medián hodinové mzdy pracovníků je pouze 3,76 dolaru (bez zahrnutí neviditelné práce), je zřejmé, že crowd pracovníci stále potřebují dramatické zvýšení svých mezd, než můžeme považovat tuto práci za spravedlivou. Nicméně, toto není něco, co by měli řešit pouze zadavatelé, ale také platformy, pracovníci a dokonce i tvůrci politik.’

Stav Mechanical Turk pracovníků

Jiní autoři a organizace odhadují, že průměrný pracovník AMT vydělává ještě méně, než je odhadnuto v nové zprávě – tolik, že 1 dolar za hodinu.

Stoupenci výhod AMT argumentují, s relativní frekvencí, že kontroverze kolem špatné odměny pracovníků AMT jsou přeháněny. Jedna studie z roku 2020 provedená na části amerických pracovníků MTurk zjistila, že ‘finanční situace lidí na MTurk odráží obecnou populaci‘, a že turkeři ‘by nezměnili flexibilitu MTurk za méně než 25 dolarů za hodinu’.

Tato práce byla provedena zaměstnanci CloudResearch (dříve TurkPrime), jejichž služby zahrnují „nástroje, které umožňují výzkumníkům provádět studie na Mechanical Turk“.

Pokudže jsou pracovníci AMT považováni za samostatné dodavatele, nejsou obvykle kryti pracovními zákony v USA. V roce 2016 průzkum Pew Research centra ukázal, že více než polovina pracovníků AMT (52 %) vydělávala méně než 4,99 dolaru za hodinu, což – při předpokladu plné pracovní doby bez dovolené nebo nemocenské – odpovídá ročnímu příjmu 10 379,20 dolaru.

Pro mnoho pracovníků průzkum ukázal, že Mechanical Turk reprezentoval „všechny nebo většinu“ jejich příjmů, a tato kategorie turkerů byla charakteristická mladšími, méně vzdělanými a žijícími v domácnostech s nižšími příjmy.

Nicméně, turkeři byli, podle průzkumu, obecně lépe vzdělaní než průměrní američtí pracovníci, s 51 % hlásících, že mají alespoň vysokoškolský diplom, proti 36 % dospělých pracovníků v USA – s pouze 12 % pracovníků AMT, kteří tvrdili, že mají pouze středoškolský diplom nebo méně.

Je to správná věc?

Zpráva Pew také naznačuje, že typičtí pracovníci AMT mohou být přesně opačným případem „průměrného člověka“, kterého většina akademických studií snaží využít, s implikacemi pro rozsah, v jakém jejich neobvyklé odpovědi by mohly potenciálně zkreslit nebo zhoršit kvalitu projektů strojového učení, které se spoléhají na turkery.

Zjištění zprávy Pew uvádějí, že turkeři ‘nejsou reprezentativní pro Američany obecně – nebo dokonce pro pracující dospělé’.

Také uvádí výzkum z dřívější (2014) studie, která naznačila, že pracovníci AMT jsou vystaveni mnoha experimentům a průzkumům, že množství této práce ‘mohlo kondicionovat pracovníky k určitým typům odpovědí nebo je učinit příliš seznámenými s typy otázek, které jim budou kladeny’ – efektivní, že grind AMT práce bude sklonit turkery stát se experty na „získání systému“ spíše než poskytování autentických a akademicky (nebo dokonce klinicky) užitečných vstupů.