Amazon Mechanical Turk платить менше 40% мінімальної зарплати в США, показує дослідження

Результати дослідження, проведеного дослідниками зі США та Мексики, показують, що краудсорсинг працівників на ринку Amazon Mechanical Turk із більшістю 75% базується в Сполучених Штатах, заробляють у середньому лише 2.83 долара на годину – близько 39.5% від встановленої федеральною мінімальної заробітної плати в 7.25 долара на годину, оскільки віддалені працівники витрачають третину свого робочого часу на перегляд списків запитів на роботу, управління платежами та виконання інших видів «невидимої праці».

Висновки прийшли після a недавній звіт з Університету Массачусетсу в Амгерсті, який критикував низький рівень оплати праці та пільг, пов'язаних з роботою «туркера», і який фактично характеризує екосистему AMT як низькоякісну потогінну майстерню для недостатньо фінансованих академічних дослідників.

Запущений у 2005 році, Amazon Mechanical Turk (AMT) надає краудворкерам спеціальні завдання людського інтелекту (HIT), які часто використовуються дослідниками машинного навчання в контексті «доступних» навчальних груп для таких завдань, як розпізнавання зображень, оцінка обробки природної мови (NLP) та інші систематичні, програмні завдання, розроблені для допомоги у формулюванні або тестуванні алгоритмів (хоча сервіс також широко використовується для створення спаму).

Невидима праця на MTurk

Новий вчитися, Під назвою Кількісна оцінка невидимої праці в груповій роботі, було проведено дослідниками з Північно-східного університету в Бостоні, Microsoft Research і Університету Національної Автономії Мексики (UNAM).

Обсяг невидимої праці, виконаної 100 працівниками над понад 40,000 XNUMX завдань HIT протягом одного тижня. Джерело: https://arxiv.org/pdf/2110.00169.pdf

У статті детально описується обсяг «невидимої праці», яка становить 33% робочого часу туркера, як видно з польового дослідження, проведеного для цієї роботи. Найбільша кількість «втраченого» часу була пов'язана з тим, скільки часу працівники AMT витрачали на перевірку своїх платіжних реквізитів, щоб переконатися, що вони отримали оплату за завдання. У звіті зазначається, що «97% працівників у нашому дослідженні практикували невидиму працю, відвідуючи розділ заробітку на своїй інформаційній панелі (можливо, щоб переконатися, що їм справедливо заплатили)».

Другою за величиною витратою часу для турків була «гіперпильність», необхідна для фактичного отримання роботи, коли працівники оновлювали сторінки профілів заявників та шукали нові вакансії, оголошені в розділах оголошень AMT HIT.

Моніторинг турків

Дослідники розробили розширення Chrome, яке з тих пір мають доступний на GitHub, На основі попередня робота які вивчали звички уваги працівників AMT, але які не стосувалися оцінки невидимої праці. Розширення було встановлено на системах 100 співробітників Mechanical Turk, які спільно виконали 40,903 XNUMX HIT протягом одного тижня.

Головне завдання розширення — оцінити фактичний час, який працівник витрачає на завдання HIT, і для цього воно контролює стан сторінок, пов’язаних з AMT, шляхом парсингу та аналізу HTML-вмісту сторінки, на якій наразі зосереджений користувач, щоб зрозуміти взаємодію працівника з нею. Розширення також має керований часом фоновий процес, який реєструє події браузера в домені MTurk та статус кожної сторінки (тобто активна, неактивна, закрита).

До трудомістких аспектів, що контролюються в рамках цієї системи, належать перевірка працівниками статусу «кваліфікації» (щоб побачити, чи нещодавно виконана робота «підвищила» їхню кваліфікацію, надаючи їм доступ до якісніших заявок на отримання професійної кваліфікації); «сортування» крізь лавину оголошень про професійну кваліфікацію за допомогою фільтрів пошуку, щоб визначити можливу наступну роботу та виключити небажану роботу; фільтрація «шахрайських» заявок на отримання професійної кваліфікації та загалом керування/контроль заявок на отримання професійної кваліфікації в черзі.

Затримки та перетягування

Система також розпізнає події «затримки» та «фальстарти», такі як коли працівник повертає раніше прийняте завдання до пулу HIT, оскільки воно виявилося відмінним від його очікувань; час, витрачений на «попередній перегляд» HIT або на читання інформації про HIT; на надсилання повідомлень ініціатору HIT, щоб краще зрозуміти вимоги завдання; та читання загальної довідки платформи зі сторінок довідки Mechanical Turk.

У категорії «платежі», яка займає дуже багато часу, дослідження показало, що працівники AMT часто перевіряли свою інформаційну панель, чи отримали вони оплату, оскільки виконану роботу можливо відхилити, не оплачуючи її, з причин, які працівник сам забажає. ніколи не скажуть; перегляд своїх заробітків, для яких є окремий розділ на інформаційній панелі MTurk, на відміну від оголошень про новий платіж; та виконання перевірок доходів за часом, коли працівник не виконує перевірку доходів у відведений час і не отримує оплати за виконану роботу (категорія, яка, на думку дослідників, має бути в розділі «платежі»).

Окрім висновків звіту про те, що невидима праця знижує раніше оцінювали медіанна заробітна плата ($3.76) працівника AMT на 39.5% з урахуванням робочої сесії, також зазначається, що сприйняття працівниками того, скільки часу вони витратили на неоплачувану роботу протягом сесії, значно нижче, ніж показують сесії моніторингу.

Автори зазначають, що вони округлили всі оцінки у своїх методологічних висновках у бік зменшення, щоб забезпечити суворо «консервативний» підхід до роботи та уникнути звинувачень у перебільшенні результатів. Вони роблять висновок:

«Враховуючи, що медіанна погодинна оплата праці працівників становить лише 3.76 долара (без урахування невидимої праці), очевидно, що працівникам краудфандингу все ще потрібне різке підвищення заробітної плати, перш ніж ми зможемо вважати цю трудову діяльність справедливою. Однак, це питання повинні враховувати не лише замовники, а й платформи, працівники та навіть політики».

Стан турецьких робітників

Інші автори та організації підрахували, що середній працівник AMT насправді заробляє навіть менше, ніж оцінюється в новому звіті, – всього лише $ 1 годину.

Прихильники переваг AMT досить часто стверджують, що суперечки навколо низької винагороди працівників AMT перебільшені. Один вчитися з 2020 року опитали частину працівників MTurk у Сполучених Штатах, виявивши, що «фінансовий стан людей на MTurk відображає стан населення в цілому', і що турки «не проміняє гнучкість MTurk на менше ніж 25 доларів на годину».

Цю роботу виконали співробітники CloudResearch (раніше TurkPrime), чиї послуги включають «інструменти, що дозволяють дослідникам проводити дослідження на Mechanical Turk».

Оскільки працівники AMT вважаються незалежними підрядниками, на них зазвичай не поширюється трудове законодавство в США. У 2016 році огляд За даними дослідницького центру Pew, більше половини працівників AMT (52%) повідомили, що заробляють менше 4.99 доларів США на годину, що – за умови роботи на повний робочий день без вихідних чи лікарняних – еквівалентно доходу в 10,379.20 XNUMX доларів США на рік.

Як показало опитування, для багатьох працівників «механічний турок» становив «весь або більшу частину» їхнього доходу, і ця категорія турків була типово молодшою, менш освіченою та жила в домогосподарствах з нижчими доходами.

Однак, згідно з опитуванням, турки були загалом краще освічені, ніж середньостатистичні американські працівники: 51% повідомили, що вони мають принаймні вищу освіту, проти 36% дорослих працівників у США – лише 12% працівників AMT стверджували мати лише середню освіту або менше.

Правильні речі?

У звіті Pew також зазначається, що типові працівники AMT можуть бути повною протилежністю «пересічної людини», яку прагнуть використати більшість академічних досліджень, що має наслідки для того, наскільки їхні незвичайні реакції можуть потенційно спотворити або погіршити якість проектів машинного навчання, що залежать від турків.

Висновки звіту Pew стверджують, що турки «не є репрезентативними для американців загалом – або навіть для працюючих дорослих».

У ньому також згадується дослідження, проведене раніше (2014 р.) вчитися, яка вказує на те, що працівники AMT підлягають стільки експериментів і опитувань, що кількість цього виду роботи «може навчити працівників давати певні типи відповідей або зробити так, щоб вони надмірно знайомилися з типами запитань, які їм будуть поставлені» – фактично, що виснажлива робота в AMT схилятиме турків стати експертами з «догоджання системі», а не з надання автентичних та академічних (або навіть клінічно) корисний внесок.