Amazon Mechanical Turk платит меньше 40% от минимальной заработной платы в США, предполагает исследование

Результаты исследования, проведенного исследователями в США и Мексике, предполагают, что работники на рынке Amazon Mechanical Turk, где 75% работников проживают в Соединенных Штатах, зарабатывают всего 2,83 доллара в час – примерно 39,5% от федеральной минимальной заработной платы в 7,25 доллара в час, поскольку удаленные работники тратят треть своего рабочего времени на просмотр списков запросов на работу, управление платежами и выполнение других видов “невидимого труда”.

Эти результаты были получены после недавнего отчета Университета Массачусетса в Амхерсте, в котором критиковался низкий уровень оплаты и льгот для работников на платформе Amazon Mechanical Turk, и который характеризует экосистему AMT как низкокачественную швейную фабрику для недофинансированных академических исследователей.

Запущенная в 2005 году, Amazon Mechanical Turk (AMT) поставляет работникам задачи с человеческим интеллектом (HIT), которые часто используются исследователями в области машинного обучения в контексте “доступных” исследовательских групп для задач, таких как распознавание изображений, оценка обработки естественного языка (NLP) и другие систематические, программируемые задачи, предназначенные для формирования или тестирования алгоритмов (хотя эта услуга также широко используется для генерации спама).

Невидимый труд на MTurk

Новое исследование, озаглавленное Количественная оценка невидимого труда в работе с толпой, было проведено исследователями из Северо-Восточного университета в Бостоне, Microsoft Research и Universidad Nacional Autonoma de Mexico (UNAM).

Объем невидимого труда, выполненного 100 работниками за более чем 40 000 задач HIT за одну неделю. Источник: https://arxiv.org/pdf/2110.00169.pdf

Статья описывает объем “невидимого труда”, который составляет 33% времени работы туркера, как показало полевое исследование, проведенное для этой работы. Наибольшее количество “потерянного” времени было представлено временем, которое работники AMT тратят на проверку своих платежных деталей, чтобы убедиться, что они получили оплату за задачу. Отчет гласит, что ‘97% работников в нашем исследовании практиковали невидимый труд, посещая раздел заработка на панели управления работников (возможно, чтобы убедиться, что они получили справедливую оплату)’.

Вторым по величине временем, потраченным на туркеров, было “гипер-бдительность”, необходимая для получения работы, когда работники обновляют страницы профилей заказчиков и ищут новые задачи, объявленные в разделах списка HIT на платформе AMT.

Мониторинг туркеров

Исследователи разработали расширение для Chrome, которое они опубликовали на GitHub, на основе предыдущей работы, которая изучала привычки внимания работников AMT, но не оценивала невидимый труд. Расширение было установлено на системах 100 участников Mechanical Turk, которые коллективно выполнили 40 903 задачи HIT за одну неделю.

Основной задачей расширения является оценка фактического времени, которое работник тратит на задачу HIT, и для этого оно отслеживает состояние страниц, связанных с AMT, путем соскрапинга и парсинга HTML-контента страницы, на которой в настоящее время находится туркер, чтобы понять взаимодействие работника с ней. Расширение также имеет фоновый процесс, запускаемый по времени, который регистрирует события браузера в домене MTurk и состояние каждой страницы (т. е. активной, неактивной, закрытой).

Время, потраченное на мониторинг работников, включает в себя проверку статуса “квалификации” (чтобы увидеть, повысили ли они уровень после недавно выполненной работы, давая им доступ к более качественным задачам HIT); “плавание и сортировка” через огромное количество объявлений о задачах HIT с помощью фильтров поиска, чтобы определить возможную следующую работу и исключить нежелательную работу; и фильтрацию “мошеннических” задач HIT и общее управление и наблюдение за задачами в очереди.

Задержки и торможения

Система также распознает “задерживающие” события и “ложные начала”, такие как когда работник возвращает ранее принятую задачу в пул задач HIT, потому что она оказалась другой, чем он ожидал; время, потраченное на “просмотр” задач HIT или на чтение информации о задачах; отправку сообщений создателю задачи, чтобы лучше понять требования задачи; и чтение общей справки платформы из справочных страниц Mechanical Turk.

В очень耗ательной категории “платежей” исследование показало, что работники AMT часто проверяют свой داشборд, чтобы увидеть, получили ли они оплату, поскольку возможно, что выполненная работа может быть отклонена, неоплачена, по причинам, которые работник никогда не узнает; просмотр своих заработков, которые имеют отдельный раздел на панели управления MTurk, в отличие от объявлений о новом платеже; и выполнение задач HIT, которые “истекают” – где работник не успевает выполнить задачу HIT в отведенное время и не получает оплаты за любую работу, выполненную над ней (категорию, которую исследователи считают должна быть в разделе “платежи”).

Помимо вывода исследования, что невидимый труд снижает ранее оцененную медианную заработную плату работника AMT ($3,76) на 39,5%, когда учитывается в рабочей сессии, он также отмечает, что восприятие работниками времени, которое они тратят на неоплачиваемую работу во время сессии, заметно ниже, чем показывают мониторинговые сессии.

Авторы отмечают, что они округлили все оценки в своих методологических выводах, чтобы обеспечить строго “консервативный” подход к работе и избежать обвинений в преувеличении результатов. Они заключили:

‘Учитывая, что медианная почасовая заработная плата работников составляет всего 3,76 доллара (без учета невидимого труда), rõчно, что работникам толпы все еще нужен значительный рост заработной платы, прежде чем мы сможем считать этот труд справедливым. Однако это не только вопрос для заказчиков, но и для платформ, работников и даже политиков.’

Состояние работников Mechanical Turk

Другие авторы и организации оценивают, что средний работник AMT на самом деле зарабатывает еще меньше, чем указано в новом отчете – всего 1 доллар в час.

Сторонники преимуществ AMT утверждают, с относительной частотой, что споры вокруг низкой оплаты работников AMT преувеличены. Одно исследование 2020 года опросило часть работников MTurk в США и показало, что ‘финансовое положение людей на MTurk отражает общую популяцию’, и что туркеры ‘не обменяли бы гибкость MTurk на менее чем 25 долларов в час’.

Эта работа была проведена сотрудниками CloudResearch (ранее TurkPrime), чьи услуги включают “инструменты, которые позволяют исследователям проводить исследования на Mechanical Turk”.

Поскольку работники AMT считаются независимыми подрядчиками, они обычно не подлежат трудовым законам в США. В опросе 2016 года центра Pew Research более половины работников AMT (52%) сообщили, что они зарабатывают менее 4,99 доллара в час, что, при условии полной занятости без отпусков или больничных, эквивалентно годовому доходу в 10 379,20 доллара.

Для многих работников опрос показал, что Mechanical Turk представлял “всю или большую часть” их дохода, и эта категория туркеров характеризовалась молодым возрастом, низким уровнем образования и проживанием в домохозяйствах с более низкими доходами.

Однако туркеры, согласно опросу, были в целом лучше образованы, чем средний американский работник, с 51% сообщивших, что они имеют хотя бы степень бакалавра, против 36% взрослых работников в США – при этом только 12% работников AMT заявили, что они имеют только среднее образование или ниже.

Правильный выбор?

Отчет Pew также указал, что типичные работники AMT могут быть полными противоположностями “среднего человека”, которого ищут многие академические исследования, с последствиями для того, насколько их необычные ответы могут потенциально предвратить или ухудшить качество проектов машинного обучения, которые полагаются на туркеров.

Выводы отчета Pew гласят, что туркеры ‘не представляют американцев в целом – или даже работающих взрослых’.

Он также ссылается на исследование 2014 года, которое показало, что работники AMT подвергаются такому количеству экспериментов и опросов, что это может ‘приучить работников к определенным типам ответов или сделать их чрезмерно знакомыми с типами вопросов, которые им будут заданы’ – эффективно, что труд AMT может привести туркеров к тому, чтобы они стали экспертами в “угождении системе”, а не предоставляли аутентичную и академически (или даже клинически) полезную информацию.