Amazon Mechanical Turk платить менше 40% мінімальної зарплати в США, показує дослідження

Результати дослідження, проведеного дослідниками зі США та Мексики, показують, що краудсорсинг працівників на ринку Amazon Mechanical Turk із більшістю 75% базується в Сполучених Штатах, заробляють у середньому лише 2.83 доларів США на годину – приблизно 39.5% від встановленої федеральної мінімальної зарплати в 7.25 доларів США на годину, оскільки віддалені працівники витрачають третину свого робочого часу на сканування списків заявок на роботу, керування платежами та виконання інших завдань. види «невидимої праці».

Висновки прийшли після a недавній звіт з Університету штату Массачусетс Амгерст, який критикував низький рівень оплати праці та пільг, пов’язаних із «туркером», і який характеризує екоструктуру AMT фактично як низькоякісне потогінне підприємство для недостатньо фінансованих наукових дослідників.

Amazon Mechanical Turk (AMT), запущений у 2005 році, надає краудворкерам спеціальні завдання людського інтелекту (HIT), які часто використовують дослідники машинного навчання в контексті «доступних» навчальних груп для таких завдань, як розпізнавання зображень, обробка природної мови (NLP). оцінювання та інші систематичні, програмні завдання, розроблені, щоб допомогти сформулювати або перевірити алгоритми (хоча послуга також широко використовується для створення спаму).

Невидима праця на MTurk

Новий вчитися, Під назвою Кількісна оцінка невидимої праці в груповій роботі, було проведено дослідниками з Північно-східного університету в Бостоні, Microsoft Research і Університету Національної Автономії Мексики (UNAM).

Обсяг невидимої праці, виконаної 100 працівниками над понад 40,000 XNUMX завдань HIT протягом одного тижня. Джерело: https://arxiv.org/pdf/2110.00169.pdf

У документі детально описано обсяг «невидимої праці», яка становить 33% робочого часу турка, як засвідчило польове дослідження, проведене для роботи. Найбільша кількість «втраченого» часу була представлена ​​кількістю часу, який працівники AMT витрачали на перевірку своїх платіжних реквізитів, щоб переконатися, що вони отримали оплату за виконання завдання. Про це йдеться у звіті «97% працівників у нашому дослідженні займалися невидимою працею, відвідуючи розділ прибутків на інформаційній панелі своїх працівників (можливо, щоб переконатися, що вони отримали справедливу оплату)».

Другою за величиною витратою часу для туркерів була «гіперпильність», необхідна для фактичного отримання роботи, коли працівники оновлювали сторінки профілів запитувачів і шукали нові завдання, рекламовані в розділах списків AMT HIT.

Моніторинг турків

Дослідники розробили розширення Chrome, яке з тих пір мають доступний на GitHub, На основі попередня робота які вивчали звички уваги працівників AMT, але які не стосувалися оцінки невидимої праці. Розширення було встановлено на системах 100 співробітників Mechanical Turk, які спільно виконали 40,903 XNUMX HIT протягом одного тижня.

Основним завданням розширення є оцінка фактичного часу, який працівник витрачає на виконання завдання HIT, і з цією метою воно відстежує стан сторінок, пов’язаних з AMT, збираючи та аналізуючи вміст HTML сторінки, на якій зараз зосереджений туркер , щоб зрозуміти взаємодію працівника з ним. Розширення також містить керований часом фоновий процес, який реєструє події браузера в домені MTurk і статус кожної сторінки (тобто активна, неактивна, закрита).

До трудомістких аспектів, які відстежуються за цією системою, належать працівники, які перевіряють статус «кваліфікації» (щоб побачити, чи нещодавно виконана робота «оновила» їх, надаючи їм доступ до якісніших HIT); «пробиратися та сортувати» крізь лавину оголошень HIT із пошуковими фільтрами, щоб визначити можливу наступну роботу та виключити небажану роботу; і фільтрування «шахрайських» HITS і загалом керування/контроль черги HIT.

Затримки та перетягування

Система також розпізнає події «затримки» та «помилкові старти», наприклад, коли працівник повертає раніше прийняте завдання до пулу HIT, оскільки воно виявилося відмінним від його очікувань; час, витрачений на «попередній перегляд» HIT або читання інформації про HIT; надсилати повідомлення автору HIT, щоб краще зрозуміти вимоги завдання; і читання загальної довідки щодо платформи зі сторінок довідки Mechanical Turk.

У категорії «платежів», яка займає дуже багато часу, дослідження виявило, що працівники AMT часто були біля своєї панелі керування, щоб перевірити, чи отримали вони оплату, оскільки завершену роботу може бути відхилено, неоплачено, з причин, що працівник буде ніколи не скажуть; переглядати свої прибутки, які мають окремий розділ на інформаційній панелі MTurk, на відміну від повідомлень про новий платіж; і виконання HIT з «тайм-аутом» – коли працівник не може завершити HIT за відведений час і не отримує жодної оплати за будь-яку виконану роботу (категорія, яку, на думку дослідників, має бути в розділі «платежі»).

Окрім висновків звіту про те, що невидима праця знижує раніше оцінювали середня заробітна плата ($3.76) працівника AMT на 39.5%, якщо врахувати робочу сесію, це також зазначає, що сприйняття працівниками того, скільки часу вони витратили на неоплачувану роботу під час сесії, є значно нижчим, ніж показують сесії моніторингу.

Автори зазначають, що вони округлили всі оцінки у своїх методологічних висновках, щоб забезпечити суворий «консервативний» підхід до роботи та уникнути звинувачень у перебільшенні результатів. Вони роблять висновок:

«Враховуючи, що середня погодинна заробітна плата працівників становить лише 3.76 доларів США (без урахування невидимої праці), зрозуміло, що крауд-працівникам все ще потрібно різке підвищення їхньої заробітної плати, перш ніж ми зможемо вважати цю працю справедливою. Однак це питання не лише для запитувачів, а й для платформ, працівників і навіть політиків».

Стан турецьких робітників

Інші автори та організації підрахували, що середній працівник AMT насправді заробляє навіть менше, ніж оцінюється в новому звіті, – всього лише $ 1 годину.

Прихильники переваг AMT досить часто стверджують, що суперечки навколо низької винагороди працівників AMT перебільшені. Один вчитися з 2020 року опитали частину працівників MTurk у Сполучених Штатах, виявивши, що «фінансовий стан людей на MTurk відображає стан населення в цілому', і що турки «не проміняв би гнучкість MTurk менш ніж на 25 доларів на годину».

Ця робота була проведена співробітниками CloudResearch (раніше TurkPrime), чиї послуги включають «інструменти, які дозволяють дослідникам проводити дослідження на Mechanical Turk».

Оскільки працівники AMT вважаються незалежними підрядниками, на них зазвичай не поширюється трудове законодавство в США. У 2016 році огляд За даними дослідницького центру Pew, більше половини працівників AMT (52%) повідомили, що заробляють менше 4.99 доларів США на годину, що – за умови роботи на повний робочий день без вихідних чи лікарняних – еквівалентно доходу в 10,379.20 XNUMX доларів США на рік.

Опитування виявило, що для багатьох працівників Mechanical Turk представляв «весь або більшу частину» доходу, і ця категорія турків була характерно молодшою, менш освіченою та жила в домогосподарствах з нижчими доходами.

Однак, згідно з опитуванням, турки були загалом краще освічені, ніж середньостатистичні американські працівники: 51% повідомили, що вони мають принаймні вищу освіту, проти 36% дорослих працівників у США – лише 12% працівників AMT стверджували мати лише середню освіту або менше.

Правильні речі?

У звіті Pew також зазначено, що типові працівники AMT можуть бути прямою протилежністю «середній людині», яку більшість наукових досліджень намагаються використати, з наслідками щодо ступеня, до якого їхні незвичайні відповіді можуть потенційно упередити або погіршити якість проектів машинного навчання. що покладаються на турків.

Висновки звіту Pew стверджують, що турки "не репрезентують американців загалом – або навіть працюючих дорослих".

У ньому також згадується дослідження, проведене раніше (2014 р.) вчитися, яка вказує на те, що працівники AMT підлягають стільки експериментів і опитувань, що кількість цього виду роботи «може змусити працівників вимагати певних типів відповідей або змусити їх занадто ознайомитися з типами запитань, які їм поставлять» – по суті, складність роботи AMT спонукатиме туркерів ставати експертами в «догоджанні системі», а не в наданні автентичного та академічного (або навіть клінічно) корисний внесок.