Amazon Mechanical Turk платить менше ніж 40% мінімальної заробітної плати США, припускає дослідження

Результати дослідження дослідників у США та Мексиці свідчать про те, що робітники в ринку Amazon Mechanical Turk, де 75% працівників базуються у Сполучених Штатах, заробляють всього $2,83 на годину – близько 39,5% від федеральної мінімальної заробітної плати у $7,25 на годину, оскільки дистанційні працівники витрачають третину свого робочого часу на перегляд списків запитів на роботу, управління платежами та виконання інших видів “невидимої праці”.

Ці висновки слідують за недавнім звітом Університету Массачусетса в Амгерсті, який критикував низький рівень оплати та переваг для працівників Amazon Mechanical Turk, та характеризує екосистему AMT як низькоякісну швейну фабрику для недофінансованих академічних дослідників.

Запущений у 2005 році, Amazon Mechanical Turk (AMT) пропонує працівникам Human Intelligence Tasks (HITs), які часто використовуються дослідниками машинного навчання у контексті “дешевих” груп дослідження для завдань, таких як розпізнавання зображень, оцінка Natural Language Processing (NLP) та інші систематичні, програмні завдання, призначені для формування або тестування алгоритмів (хоча цю послугу також широко використовують для генерації спаму).

Невидима праця на MTurk

Нове дослідження, озаглавлене Кількісна оцінка невидимої праці у роботах натовпу, було проведено дослідниками з Північно-Східного університету в Бостоні, Microsoft Research та Національного автономного університету Мексики (UNAM).

Обсяг невидимої праці, виконаної 100 працівниками за понад 40 000 завдань HIT протягом одного тижня. Джерело: https://arxiv.org/pdf/2110.00169.pdf

У роботі описано обсяг “невидимої праці”, який становить 33% робочого часу працівника, як свідчить польове дослідження, проведене для цієї роботи. Найбільша кількість “втрачених” годин була представлена часом, який працівники AMT витрачають на перегляд своїх платежів, щоб переконатися, що вони отримали оплату за завдання. У звіті зазначено, що ‘97% працівників у нашому дослідженні займалися невидимою працею щодо відвідування розділу заробітної плати на панелі працівників (можливо, щоб переконатися, що вони отримали справедливу оплату)’.

Другим найбільшим витратом часу для працівників був “гіпер-спостереження”, необхідне для отримання роботи, коли працівники оновлюють сторінки профілів запитувачів та шукають нові завдання, оголошені в розділі списків завдань AMT.

Моніторинг працівників

Дослідники розробили розширення для Chrome, яке вони згодом розмістили на GitHub, на основі попередньої роботи, яка вивчала звички уваги працівників AMT, але не займалася оцінкою невидимої праці. Розширення було встановлено на системах 100 учасників Mechanical Turk, які колективно виконали 40 903 завдання HIT протягом одного тижня.

Основним завданням розширення є оцінка фактичного часу, який працівник витрачає на завдання HIT, та для цього воно відстежує стан сторінок, пов’язаних з AMT, шляхом аналізу та парсингу HTML-контенту сторінки, на якій зараз зосереджений працівник, щоб зрозуміти взаємодію працівника з цією сторінкою. Розширення також має фоновий процес, керований часом, який реєструє події браузера на домені MTurk, та стан кожної сторінки (тобто активну, неактивну, закриту).

Тривалі аспекти, які відстежуються в цій системі, включають перевірку працівників їхнього статусу “кваліфікації” (щоб побачити, чи оновила їхня недавно виконана робота, надавши їм доступ до завдань вищої якості); “плавання” та сортування через потік заяв про завдання з фільтрами пошуку для визначення можливої наступної роботи та виключення нежаданої роботи; та фільтрацію “фальшивих” завдань та загальне управління/нагляд за завданням у черзі.

Затримки та перешкоди

Система також розпізнає “затримувальні” події та “фальшиві старти”, такі як коли працівник повертає раніше прийняте завдання до пула завдань, оскільки воно виявилося іншим, ніж очікувалося; час, витрачений на “попередній перегляд” завдань, або на читання інформації про завдання; на відправку повідомлень запитувачеві для кращого розуміння вимог завдання; та читання загальної допомоги з платформи Mechanical Turk.

У дуже тривалій категорії “платежів” дослідження виявило, що працівники AMT часто знаходяться на своїй панелі, щоб перевірити, чи отримали вони оплату, оскільки можливо, що виконана робота буде відхилена, неоплачена, з причин, яких працівник ніколи не дізнається; перегляд їхніх заробітків, які мають окремий розділ на панелі MTurk, на відміну від оголошень про новий платеж; та виконання завдань, які “час вийшов” – де працівник не встигає завершити завдання протягом відведеного часу та не отримує оплати за жодну виконану роботу (категорія, яку дослідники вважають належною до розділу “платежів”).

Крім того, звіт вказує, що невидима праця знижує попередньо оцінену медіану заробітної плати ($3,76) працівника AMT на 39,5%, коли її факторизують у робочій сесії, вона також зазначає, що сприйняття працівниками часу, витраченого на невідплатну роботу під час сесії, є помітно нижчим, ніж показують моніторингові сесії.

Автори зазначають, що вони округлили всі оцінки у своїх методологічних висновках, щоб забезпечити суворо “консервативний” підхід до роботи, та уникнути звинувачень у перебільшенні висновків.

Автори висновують:

‘Якщо врахувати, що медіана годинної заробітної плати працівників становить всього $3,76 (без урахування невидимої праці), то зрозуміло, що працівники натовпу все ще потребують суттєвого підвищення заробітної плати, перш ніж ми зможемо вважати цю працю справедливою. Однак це не лише питання для запитувачів, а й для платформ, працівників та навіть законодавців.’

Стан працівників Mechanical Turk

Інші автори та організації оцінюють, що середній працівник AMT насправді заробляє ще менше, ніж оцінюється в новому звіті – всього $1 на годину.

Прихильники переваг AMT стверджують, з відносно високою частотою, що суперечки навколо низької оплати працівників AMT перебільшені. Одне дослідження 2020 року опитало частину працівників Mechanical Turk у Сполучених Штатах та виявило, що ‘фінансове становище людей на MTurk відображає загальне населення’, та що працівники не погодяться换ити гнучкість MTurk на меншу, ніж $25 на годину.

Ця робота була проведена працівниками CloudResearch (раніше TurkPrime), послугами яких є “інструменти, які дозволяють дослідникам проводити дослідження на Mechanical Turk”.

Оскільки працівники AMT вважаються незалежними підрядчиками, вони зазвичай не підпадають під трудове законодавство у США. У опитуванні 2016 року Центру Pew більше половини працівників AMT (52%) повідомили, що заробляють менше $4,99 на годину, що, припускаючи повну зайнятість без відпусток чи лікарняних, еквівалентно доходу $10 379,20 на рік.

Для багатьох працівників опитування виявило, що Mechanical Turk представляє “всю або більшу частину” їхнього доходу, та ця категорія працівників характеризується молодшим віком, нижчою освітою та проживанням у домогосподарствах з нижчими доходами.

Однак, працівники були, згідно з опитуванням, загалом краще освічені, ніж середній американський працівник, з 51% працівників, які повідомили, що мають хоча б ступінь коледжу, проти 36% дорослих працівників у США – з лише 12% працівників AMT, які заявили, що мають лише ступінь середньої школи або нижчу.

Правильні речі?

Звіт Центру Pew також вказував, що типові працівники AMT можуть бути зовсім протилежними “середньому людині”, яку більшість академічних досліджень намагаються задіяти, з наслідками для того, наскільки їхні незвичайні відповіді можуть потенційно упереджувати або погіршувати якість проектів машинного навчання, які покладаються на працівників.

Висновки звіту Центру Pew свідчать, що працівники ‘не є представниками американців загалом – або навіть працівників’.

У звіті також згадується дослідження 2014 року, яке вказувало, що працівники AMT піддаються такій кількості експериментів та опитувань, що кількість цієї роботи ‘може звикнути працівників до певних типів відповідей або зробити їх надто знайомими з типами питань, які їм будуть задані’ – по суті, що труд працівників AMT схилить їх стати експертами у “приємності для системи” замість надання справжньої та академічно (або навіть клінічно) корисної інформації.