Amazon Mechanical Turk Płaci Mniej Niż 40% Minimalnej Wynagrodzenia w USA, Sugestywnie Z Badań

Wyniki badań przeprowadzonych przez badaczy w USA i Meksyku sugerują, że crowdsourced pracownicy na rynku Amazon Mechanical Turk, z 75% większością zamieszkałych w Stanach Zjednoczonych, zarabiają tak nisko, jak mediana $2.83 za godzinę – około 39.5% obowiązującej federalnej minimalnej wynagrodzenia w wysokości $7.25 za godzinę, ponieważ pracownicy zdalni spędzają jedną trzecią swojego czasu pracy na przeglądaniu listy żądań o pracę, zarządzaniu płatnościami i wykonywaniu innych rodzajów “niewidzialnej pracy”.

Wyniki te pojawiają się w następstwie niedawnego raportu z Uniwersytetu w Amherst, który krytykował niski poziom wynagrodzenia i korzyści związanych z byciem “turkerem”, i który charakteryzuje strukturę AMT jako efektowną, niskiej jakości szwalnię dla niedofinansowanych akademickich badaczy.

Uruchomiony w 2005 roku, Amazon Mechanical Turk (AMT) dostarcza crowdworkerom ad hoc Human Intelligence Tasks (HITs), często wykorzystywanych przez badaczy machine learning w kontekście “tanich” grup badawczych dla zadań takich jak rozpoznawanie obrazów, ocena Natural Language Processing (NLP) i inne systematyczne, programowe zadania zaprojektowane w celu sformułowania lub przetestowania algorytmów (chociaż usługa jest również szeroko wykorzystywana do generowania spamu).

Niewidzialna Praca na MTurk

Nowe badanie, zatytułowane Quantifying the Invisible Labor in Crowd Work, zostało przeprowadzone przez badaczy z Northeastern University w Bostonie, Microsoft Research i Universidad Nacional Autonoma de Mexico (UNAM).

Zakres niewidzialnej pracy wykonanej przez 100 pracowników na ponad 40 000 zadań HIT w ciągu jednego tygodnia. Źródło: https://arxiv.org/pdf/2110.00169.pdf

Artykuł szczegółowo opisuje zakres “niewidzialnej pracy”, który stanowi 33% czasu pracy turkera, jak to wynika z badania terenowego przeprowadzonego w ramach pracy. Największa ilość “utraconego” czasu była reprezentowana przez czas, jaki pracownicy AMT spędzają na sprawdzaniu szczegółów płatności, aby upewnić się, że otrzymali wynagrodzenie za zadanie. Raport stwierdza, że ‘97% pracowników w naszym badaniu praktykowało niewidzialną pracę wokół odwiedzania sekcji zarobków na pulpicie pracownika (być może aby upewnić się, że otrzymali sprawiedliwe wynagrodzenie)’.

Drugi największy pochłaniacz czasu dla turkerów była “hiper-wigilancja” niezbędna do uzyskania pracy, gdzie pracownicy odświeżają strony profili osób zgłaszających i szukają nowych zadań ogłoszonych w sekcjach AMT HIT.

Monitorowanie Turków

Badacze opracowali rozszerzenie Chrome, które udostępnili na GitHub, oparte na poprzedniej pracy, która badała nawyki uwagi pracowników AMT, ale nie zajmowała się oceną niewidzialnej pracy. Rozszerzenie zostało zainstalowane na systemach 100 uczestniczących pracowników Mechanical Turk, którzy łącznie wykonali 40 903 zadania HIT w ciągu jednego tygodnia.

Głównym zadaniem rozszerzenia jest ocena rzeczywistego czasu, jaki pracownik spędza na zadaniu HIT, a w tym celu monitoruje stan stron AMT, scrapując i parsując zawartość HTML strony, na której pracownik jest obecnie skupiony, aby zrozumieć interakcje pracownika z nią. Rozszerzenie posiada również proces w tle, który rejestruje zdarzenia przeglądarki na domenie MTurk i status każdej strony (tj. aktywny, nieaktywny, zamknięty).

Czasochłonne aspekty monitorowane w tym systemie obejmują pracowników sprawdzających status “kwalifikacji” (aby zobaczyć, czy ostatnio wykonana praca “uwzględniła” ich, dając im dostęp do lepszych HIT); “przesiewanie” i “sortowanie” przez lawinę ogłoszeń HIT z filtrami wyszukiwania, aby zidentyfikować możliwe następne zadanie i wykluczyć niepożądane prace; oraz filtrowanie “oszukańczych” HIT i ogólne zarządzanie/monitorowanie kolejki HIT.

Opóźnienia i Pochłaniacze

System rozpoznaje również “opóźniające” zdarzenia i “fałszywe starty”, takie jak gdy pracownik zwraca wcześniej zaakceptowane zadanie do puli HIT, ponieważ okazało się, że jest ono inne niż oczekiwano; czas potrzebny do “podglądu” HIT, lub do odczytania informacji o HIT; wysłania wiadomości do twórcy HIT w celu lepszego zrozumienia wymagań zadania; oraz odczyt ogólnej pomocy platformy z Mechanical Turk help pages.

W bardzo czasochłonnej kategorii “płatności” badanie wykazało, że pracownicy AMT często sprawdzają swój pulpit, aby sprawdzić, czy zostali opłaceni, ponieważ jest możliwe, że wykonana praca może być odrzucona, nieopłacona, z powodów, których pracownik nigdy nie zostanie poinformowany; wyświetlanie zarobków, które mają dedykowaną sekcję na pulpicie MTurk, w przeciwieństwie do ogłoszeń nowej płatności; oraz wykonanie HIT, które “wygasają” – gdzie pracownik nie wykonuje HIT w wyznaczonym czasie i nie otrzymuje wynagrodzenia za wykonaną pracę (kategoria, której autorzy uważają, że powinna być w sekcji “płatności”).

Poza ustaleniami raportu, że niewidzialna praca obniża wcześniej oszacowane medianę wynagrodzenia ($3.76) pracownika AMT o 39.5%, gdy jest uwzględniona w sesji pracy, stwierdza również, że postrzeganie pracowników dotyczące czasu spędzonego na nieopłaconej pracy podczas sesji jest znacznie niższe niż wynika to z monitorowanych sesji.

Autorzy zauważają, że zaokrąglili wszystkie szacunki w swoich ustaleniach metodologicznych, aby zapewnić rygorystycznie “ostrożne” podejście do pracy i uniknąć oskarżeń o przesadne ustalenia. Wnioskują:

‘Uwzględniając, że mediana godzinowa wynagrodzenia pracowników wynosi tylko $3.76 (bez uwzględnienia niewidzialnej pracy), jest jasne, że pracownicy crowd muszą jeszcze uzyskać dramatyczny wzrost wynagrodzenia, zanim będziemy mogli uznać tę pracę za uczciwą. Jednak nie jest to tylko coś, co powinno być brane pod uwagę przez osób zgłaszających, ale również przez platformy, pracowników i nawet decydentów.’

Stan Pracowników Mechanical Turk

Inni autorzy i organizacje szacują, że średni pracownik AMT zarabia jeszcze mniej niż szacuje się w nowym raporcie – aż $1 za godzinę.

Wydawcy korzyści z AMT argumentują, z dość dużą częstotliwością, że kontrowersje wokół niskiego wynagrodzenia pracowników AMT są przesadzone. Jedno badanie z 2020 roku przeprowadziło ankietę wśród części pracowników MTurk w Stanach Zjednoczonych, stwierdzając, że ‘sytuacja finansowa osób na MTurk odzwierciedla ogół populacji‘, i że turkerzy ‘nie wymieniliby elastyczności MTurk na mniej niż $25 za godzinę’.

To badanie zostało przeprowadzone przez pracowników CloudResearch (dawniej TurkPrime), których usługi obejmują “narzędzia, które pozwalają badaczom prowadzić badania na Mechanical Turk”.

Ponieważ pracownicy AMT są uważani za niezależnych wykonawców, nie są zwykle objęci przepisami prawa pracy w USA. W ankiecie z 2016 roku przeprowadzonej przez Pew Research Center, ponad połowa pracowników AMT (52%) zgłosiła, że zarabia mniej niż $4.99 za godzinę, co – przy założeniu pełnego wymiaru godzin i braku urlopów lub zwolnień lekarskich – jest równoznaczne z rocznym dochodem w wysokości $10 379,20.

Dla wielu pracowników anketa wykazała, że Mechanical Turk stanowi “wszystko lub większość” ich dochodu, a ta kategoria turkerów charakteryzowała się młodszym wiekiem, mniejszym wykształceniem i mieszkała w gospodarstwach domowych o niższych dochodach.

Jednak turkerzy, według ankiety, byli ogólnie lepiej wykształceni niż przeciętni amerykańscy pracownicy, z 51% zgłaszających, że mają co najmniej wykształcenie wyższe, w porównaniu z 36% pracowników w USA – przy czym tylko 12% pracowników AMT twierdziło, że mają tylko wykształcenie średnie lub niższe.

Czy To Prawdziwa Rzecz?

Raport Pew również wskazał, że typowi pracownicy AMT mogą być dokładnym przeciwieństwem “przeciętnej osoby”, której większość badań akademickich stara się wykorzystać, z implikacjami dla stopnia, w jakim ich nietypowe odpowiedzi mogą potencjalnie uprzywilejować lub obniżyć jakość projektów machine learning, które opierają się na turkerach.

Wyniki raportu Pew stwierdzają, że turkerzy ‘nie są reprezentatywni dla ogółu Amerykanów – lub nawet dla pracujących dorosłych’.

Stwierdza również badanie z wcześniejszego (2014) badania, które wskazało, że pracownicy AMT są poddawani tak wielu eksperymentom i ankietom, że ilość tej pracy ‘mogłaby przyzwyczaić pracowników do pewnych typów odpowiedzi lub sprawić, że staną się zbyt znajomi z typami pytań, które będą im zadawane’ – skutecznie, że trud AMT sprawi, że turkerzy staną się ekspertami w “zadowalaniu systemu” zamiast dostarczaniu autentycznych i akademickich (lub nawet klinicznych) użytecznych danych.