Погляд Anderson

Amazon Mechanical Turk платить менше 40% мінімальної заробітної плати в США, дослідження показує

mm
Додайте Unite.AI до бажаних джерел у Google

Результати дослідження вчених у США та Мексиці свідчать, що робітники на ринку Amazon Mechanical Turk, де 75% працівників базуються у США, заробляють у середньому лише $2,83 на годину – близько 39,5% від федеральної мінімальної заробітної плати у $7,25 на годину, оскільки дистанційні працівники витрачають одну третину свого робочого часу на перегляд списків запитів на роботу, управління платежами та виконання інших видів “невидимої праці”.

Ці висновки були зроблені після недавнього звіту Університету Массачусетса Емгерст, який критикував низький рівень оплати та соціальних гарантій працівників на платформі Amazon Mechanical Turk, та характеризував екосистему AMT як низькоякісну майстерню для недофінансованих академічних дослідників.

Запущена у 2005 році, Amazon Mechanical Turk (AMT) пропонує працівкам різні завдання з людської інтелектуальної діяльності (HIT), які часто використовуються дослідниками у сфері машинного навчання для виконання завдань, таких як розпізнавання зображень, оцінка природної мови (NLP) та інші систематичні завдання, призначені для формування або тестування алгоритмів (хоча цю платформу також широко використовують для генерації спаму).

Невидима праця на MTurk

Нове дослідження, опубліковане під назвою Кількісна оцінка невидимої праці у роботах натовпу, було проведено вченими з Північно-Східного університету у Бостоні, Microsoft Research та Національного автономного університету Мексики (UNAM).

Обсяг невидимої праці, виконаної 100 працівниками над понад 40 000 завданнями HIT протягом одного тижня. Джерело: https://arxiv.org/pdf/2110.00169.pdf

Обсяг невидимої праці, виконаної 100 працівниками над понад 40 000 завданнями HIT протягом одного тижня. Джерело: https://arxiv.org/pdf/2110.00169.pdf

У роботі описано обсяг “невидимої праці”, яка становить 33% робочого часу працівника, як свідчить польове дослідження, проведене для цієї роботи. Найбільша кількість “втрачених” годин була представлена часом, який працівники AMT витрачають на перевірку своїх платежів, щоб переконатися, що вони отримали оплату за завдання. Звіт вказує, що ‘97% працівників у нашому дослідженні займалися невидимою працею, відвідуючи розділ заробітної плати на своїй панелі робітників (можливо, щоб переконатися, що вони отримали справедливу оплату)’.

Другим найбільшим витратом часу для працівників став “гіпер-вігіланс” для отримання роботи, коли працівники оновлюють сторінки профілів замовників та шукають нові завдання, оголошені у розділі завдань HIT.

Моніторинг турків

Вчені розробили розширення для Chrome, яке вони згодом розмістили на GitHub, на основі попередньої роботи, яка вивчала звички уваги працівників AMT, але не займалася оцінкою невидимої праці. Розширення було встановлено на системах 100 учасників Mechanical Turk, які колективно виконали 40 903 завдання HIT протягом одного тижня.

Основним завданням розширення є оцінка часу, який працівник витрачає на завдання HIT, та для цього воно моніторить стан сторінок, пов’язаних з AMT, шляхом скрапінгу та парсингу HTML-контенту сторінки, на якій зараз знаходиться працівник, щоб зрозуміти взаємодію працівника з цією сторінкою. Розширення також має фоновий процес, який реєструє події браузера на домені MTurk та стан кожної сторінки (активна, неактивна, закрита).

Часоємні аспекти, які моніторяться в цій системі, включають перевірку працівниками статусу “кваліфікацій” (щоб побачити, чи підвищився їхній рівень після виконання завдань, що дає їм доступ до завдань вищої якості); “плавання” та сортування через велику кількість завдань з фільтрами пошуку, щоб знайти можливе наступне завдання, та виключення нежаданих завдань; та фільтрацію “фальшивих” завдань та загальне управління завданнями у черзі.

Затримки та запинки

Система також розпізнає “затримуючі” події та “фальшиві старти”, такі як коли працівник повертає раніше прийняте завдання до пула завдань, оскільки воно виявилося іншим, ніж очікувалося; час, витрачений на “передбачення” завдань, або на читання інформації про завдання; на відправку повідомлень походженню завдання, щоб краще зрозуміти вимоги завдання; та читання загальної допомоги платформи з сторінок допомоги Mechanical Turk.

У категорії “платежі” дослідження виявило, що працівники AMT часто знаходяться на своїй панелі, щоб перевірити, чи отримали вони оплату, оскільки можливим є ситуація, коли виконана праця залишається безоплаченою з причин, які працівник ніколи не дізнається; перегляд їхніх заробітків, які мають окремий розділ на панелі управління MTurk, на відміну від оголошень про новий платеж; та виконання завдань, які “закінчуються” – де працівник не встигає виконати завдання у відведений час та не отримує оплати за будь-яку виконану роботу (категорія, яку дослідники вважають належною до розділу “платежі”).

Крім того, звіт вказує, що невидима праця знижує попередньо оцінену середню заробітну плату працівника AMT ($3,76) на 39,5%, якщо врахувати час, витрачений на невидиму працю під час робочої сесії. Звіт також зазначає, що сприйняття працівниками часу, витраченого на невидиму працю під час сесії, значно нижче, ніж показують моніторингові сесії.

Автори зазначають, що вони округлили всі оцінки у своїх методологічних висновках, щоб забезпечити суворо “консервативний” підхід до роботи та уникнути звинувачень у перебільшенні висновків. Вони роблять висновок:

‘Враховуючи, що середня годинна заробітна плата працівників становить лише $3,76 (без урахування невидимої праці), зрозуміло, що працівники натовпу все ще потребують суттєвого підвищення заробітної плати, перш ніж ми зможемо вважати цю працю справедливою. Однак це не тільки питання для замовників, але також для платформ, працівників та навіть законодавців.’

Стан працівників Mechanical Turk

Інші автори та організації оцінюють, що середній працівник AMT фактично заробляє ще менше, ніж оцінено у новому звіті – менше $1 на годину.

Прихильники переваг платформи Amazon Mechanical Turk часто стверджують, що суперечки щодо низької оплати працівників перебільшені. Одне дослідження 2020 року опитало частину працівників Mechanical Turk у США та виявило, що ‘фінансовий стан людей на MTurk відображає загальний стан населення’, та що працівники ‘не погодяться змінити гнучкість MTurk на менше $25 на годину’.

Ця робота була проведена співробітниками CloudResearch (раніше TurkPrime), чия діяльність включає “інструменти, які дозволяють дослідникам проводити дослідження на Mechanical Turk”.

Оскільки працівники AMT вважаються самостійними підприємицями, вони не підпадають під трудове законодавство у США. У звіті 2016 року Центру Pew Research більш ніж половина працівників AMT (52%) повідомили, що заробляють менше $4,99 на годину, що, припускаючи повну зайнятість без відпусток чи лікарняних, еквівалентно заробітній платі у $10 379,20 на рік.

Для багатьох працівників дослідження виявило, що Mechanical Turk представляє “всю або більшу частину” їхнього доходу, а ця категорія працівників характеризується молодшим віком, нижчою освітою та проживанням у домогосподарствах з нижчими доходами.

Однак, працівники, згідно з дослідженням, загалом краще освічені, ніж середній американський працівник, з 51% працівників, які повідомили, що мають хоча б ступінь коледжу, проти 36% працівників у США – з лише 12% працівників AMT, які заявили, що мають лише середню освіту або нижчу.

Чи правильний вибір?

Звіт Центру Pew також вказує, що типові працівники AMT можуть бути зовсім не тим “звичайним людиною”, яку більшість академічних досліджень намагаються залучити, з наслідками для того, наскільки їхні незвичайні відповіді можуть потенційно упередити або знизити якість проектів машинного навчання, які залежать від працівників.

Висновки дослідження свідчать, що працівники ‘не представляють американців у цілому – або навіть робочих дорослих’.

У ньому також згадується дослідження 2014 року, яке вказувало, що працівники AMT піддаються такій кількості експериментів та опитувань, що кількість цієї праці ‘може приучити працівників до певних типів відповідей або зробити їх надмірно знайомими з типами питань, які їм будуть задані’ – фактично, що робота на платформі AMT призведе до того, що працівники стануть експертами у “задоволенні системи”, а не надаватимуть справжню та академічно (або навіть клінічно) корисну інформацію.

Письменник про машинне навчання, спеціаліст у галузі синтезу людських зображень. Колишній керівник дослідницького контенту в Metaphysic.ai, до його розформування в DNEG's Brahma.ai.
Портфоліо сайт: martinanderson.ai
Контакт: martin@martinanderson.ai