Amazon Mechanical Turk Płaci Mniej Niż 40% Minimalnej Wynagrodzenia w USA, Sugestywnie Badań

Wyniki badań przeprowadzonych przez badaczy w USA i Meksyku sugerują, że pracownicy crowdsourcingowi na rynku Amazon Mechanical Turk, z których 75% znajduje się w Stanach Zjednoczonych, zarabiają średnio tylko 2,83 dolara za godzinę – co stanowi około 39,5% minimalnej wynagrodzenia federalnego w wysokości 7,25 dolara za godzinę, ponieważ pracownicy zdalni spędzają jedną trzecią swojego czasu pracy na przeglądaniu listy żądań o pracę, zarządzaniu płatnościami i wykonywaniu innych rodzajów “niewidzialnej pracy”.

Wyniki te pojawiają się w następstwie niedawnego raportu z Uniwersytetu Massachusetts Amherst, który krytykował niski poziom wynagrodzenia i korzyści związanych z byciem “turkerem”, oraz który charakteryzuje strukturę AMT jako słabo opłacany warsztat dla niedofinansowanych badaczy akademickich.

Uruchomiony w 2005 roku, Amazon Mechanical Turk (AMT) dostarcza pracownikom crowdsourcingowym ad hoc zadania wymagające ludzkiej inteligencji, często wykorzystywane przez badaczy machine learningu w kontekście “tanich” grup badawczych dla zadań takich jak rozpoznawanie obrazów, ocena Natural Language Processing (NLP) i inne systematyczne, programowe zadania zaprojektowane w celu sformułowania lub przetestowania algorytmów (chociaż usługa ta jest również szeroko wykorzystywana do generowania spamu).

Niewidzialna Praca na MTurk

Nowe badanie, zatytułowane Ilustracja niewidzialnej pracy w pracy tłumu, zostało przeprowadzone przez badaczy z Northeastern University w Bostonie, Microsoft Research i Universidad Nacional Autonoma de Mexico (UNAM).

Zakres niewidzialnej pracy wykonanej przez 100 pracowników na ponad 40 000 zadaniach HIT w ciągu jednego tygodnia. Źródło: https://arxiv.org/pdf/2110.00169.pdf

Artykuł szczegółowo opisuje zakres “niewidzialnej pracy”, która stanowi 33% czasu pracy turkera, jak wynika z badania terenowego przeprowadzonego w ramach pracy. Największa ilość “utraconego” czasu była reprezentowana przez czas, jaki pracownicy AMT spędzają na sprawdzaniu szczegółów płatności, aby upewnić się, że otrzymali wynagrodzenie za zadanie. Raport stwierdza, że ‘97% pracowników w naszym badaniu praktykowało niewidzialną pracę, odwiedzając sekcję zarobków na pulpicie pracownika (być może, aby upewnić się, że zostali uczciwie wynagrodzeni)’.

Drugi największy pochłaniacz czasu dla turkerów była “hiper-wigilancja” niezbędna do uzyskania pracy, gdzie pracownicy odświeżają strony profilów osób zgłaszających i szukają nowych zadań ogłoszonych w sekcjach HIT AMT.

Monitorowanie Turków

Badacze opracowali rozszerzenie Chrome, które następnie udostępnili na GitHub, oparte na wcześniejszej pracy, która badała nawyki uwagi pracowników AMT, ale która nie zajmowała się oceną niewidzialnej pracy. Rozszerzenie zostało zainstalowane na systemach 100 uczestniczących pracowników Mechanical Turk, którzy łącznie wykonali 40 903 zadania HIT w ciągu jednego tygodnia.

Głównym zadaniem rozszerzenia jest ocena rzeczywistego czasu, jaki pracownik spędza na zadaniu HIT, a w tym celu monitoruje stan stron AMT, scrapując i parsując zawartość HTML strony, na której pracownik jest obecnie skupiony, aby zrozumieć interakcje pracownika z nią. Rozszerzenie zawiera również proces w tle sterowany czasem, który rejestruje zdarzenia przeglądarki na domenie MTurk oraz stan każdej strony (tj. aktywnej, nieaktywnej, zamkniętej).

Czasochłonne aspekty monitorowane w ramach tego systemu obejmują pracowników sprawdzających status “kwalifikacji” (aby sprawdzić, czy niedawno ukończona praca “awansowała” ich, dając im dostęp do lepszych jakościowo zadań HIT); “brodzenie” i “sortowanie” przez lawinę ogłoszeń o zadaniach HIT z filtrami wyszukiwania, aby zidentyfikować możliwe następne zadanie i wykluczyć niepożądane prace; oraz filtrowanie “oszukańczych” zadań HIT i ogólne zarządzanie kolejką zadań HIT.

Opóźnienia i Zwolnienia

System rozpoznaje również “opóźniające” zdarzenia i “fałszywe starty”, takie jak gdy pracownik zwraca wcześniej zaakceptowane zadanie do puli zadań HIT, ponieważ okazało się, że jest ono inne niż oczekiwano; czas potrzebny do “podglądu” zadań HIT, lub do odczytania informacji o zadaniach HIT; wysłanie wiadomości do twórcy zadania HIT w celu lepszego zrozumienia wymagań zadania; oraz odczyt ogólnej pomocy platformy z stron pomocy Mechanical Turk.

W bardzo czasochłonnej kategorii “płatności” badanie wykazało, że pracownicy AMT często znajdują się przy swoim pulpicie, aby sprawdzić, czy zostali wynagrodzeni, ponieważ możliwe jest, że ukończona praca może być odrzucona, nieopłacona, z powodów, których pracownik nigdy nie dowie; wyświetlanie swoich zarobków, które mają dedykowaną sekcję na pulpicie MTurk, w przeciwieństwie do ogłoszeń o nowej płatności; oraz wykonywanie zadań HIT, które “wygasają” – gdzie pracownik nie ukończył zadania HIT w wyznaczonym czasie i nie otrzymał wynagrodzenia za wykonaną pracę (kategoria, którą badacze uważają, że powinna być w sekcji “płatności”).

Badanie wykazało również, że percepcja pracowników co do ilości czasu, którą spędzili na nieopłaconej pracy podczas sesji, jest znacznie niższa niż wynika to z sesji monitorowania.

Autorzy zauważają, że zaokrąglili wszystkie szacunki w swoich ustaleniach metodologicznych, aby zapewnić rygorystycznie “ostrożne” podejście do pracy i uniknąć oskarżeń o przesadzenie wyników. Kończą się słowami:

‘Uwzględniając, że mediane wynagrodzenie godzinowe pracowników wynosi tylko 3,76 dolara (bez uwzględnienia niewidzialnej pracy), jest jasne, że pracownicy tłumu nadal potrzebują dramatycznego wzrostu wynagrodzenia, zanim będziemy mogli uznać tę pracę za uczciwą. Nie jest to jednak tylko sprawa do rozważenia przez osób zgłaszających, ale także przez platformy, pracowników i nawet decydentów.’

Stan Pracowników Mechanical Turk

Inni autorzy i organizacje szacują, że średni pracownik AMT zarabia jeszcze mniej niż szacuje się w nowym raporcie – tylko 1 dolar za godzinę.

Przeciwnicy korzyści z AMT argumentują, z dość dużą częstotliwością, że kontrowersje wokół niskiego wynagrodzenia pracowników AMT są przesadzone. Jeden badanie z 2020 roku przeprowadził ankietę wśród pracowników MTurk w Stanach Zjednoczonych, stwierdzając, że ‘sytuacja finansowa osób na MTurk odzwierciedla ogólną populację‘, i że turkerzy ‘nie wymieniliby elastyczności MTurk na mniej niż 25 dolarów za godzinę’.

Praca ta została przeprowadzona przez pracowników CloudResearch (dawniej TurkPrime), których usługi obejmują “narzędzia, które umożliwiają badaczom prowadzenie badań na Mechanical Turk”.

Ponieważ pracownicy AMT są uważani za niezależnych kontrahentów, nie są oni objęci prawem pracy w USA. W ankiecie z 2016 roku przeprowadzonej przez Pew Research Center ponad połowa pracowników AMT (52%) zgłosiła, że zarabia mniej niż 4,99 dolara za godzinę, co – przy założeniu pełnoetatowej pracy bez urlopów ani chorób – jest równoznaczne z rocznym dochodem w wysokości 10 379,20 dolara.

Dla wielu pracowników ankieta wykazała, że Mechanical Turk reprezentował “wszystko lub większość” ich dochodu, a ta kategoria turkerów charakteryzowała się młodszym wiekiem, mniejszym wykształceniem i mieszkała w gospodarstwach domowych o niższych dochodach.

Jednakże, jak wykazała ankieta, turkerzy byli, ogólnie rzecz biorąc, lepiej wykształceni niż przeciętni pracownicy amerykańscy, z 51% zgłaszających, że mają co najmniej wykształcenie college’u, w porównaniu z 36% pracowników w USA – przy czym tylko 12% pracowników AMT twierdziło, że mają tylko wykształcenie średnie lub niższe.

Czy to Prawo?

Raport Pew również wskazał, że typowi pracownicy AMT mogą być dokładnym przeciwieństwem “przeciętnej osoby”, której większość badań akademickich stara się wykorzystać, z implikacjami dla stopnia, w jakim ich niezwykłe odpowiedzi mogą potencjalnie uprzywilejować lub obniżyć jakość projektów machine learningu, które polegają na turkerach.

Wyniki raportu Pew stwierdzają, że turkerzy ‘nie są reprezentatywni dla Amerykanów w ogóle – lub nawet dla pracujących dorosłych’.

Także zauważa badanie z 2014 roku, które wskazało, że pracownicy AMT są poddawani tak wielu eksperymentom i ankietom, że ilość tej pracy ‘mogłaby przyzwyczaić pracowników do pewnych typów odpowiedzi lub sprawić, że staną się zbyt zaznajomieni z typami pytań, które będą im zadawane’ – skutecznie, że monotonna praca AMT skłoni turkerów do zostania ekspertami w “zadowalaniu systemu” zamiast dostarczania autentycznych i akademickich (lub nawet klinicznych) przydatnych danych.