Amazon Mechanical Turk paga menos del 40% del salario mínimo de EE. UU., sugiere investigación

Los resultados de un estudio realizado por investigadores en EE. UU. y México sugieren que los trabajadores de crowdsourcing en el mercado de Amazon Mechanical Turk, con una mayoría del 75% con sede en Estados Unidos, ganan tan poco como $2.83 por hora – alrededor del 39.5% del salario mínimo federal de $7.25 por hora, ya que los trabajadores remotos dedican un tercio de su tiempo laboral a escanear listas de solicitudes de trabajo, gestionar pagos y realizar otros tipos de “trabajo invisible”.

Los hallazgos se producen después de un informe reciente de la Universidad de Massachusetts Amherst, que criticó el bajo nivel de pago y beneficios involucrados en ser un “turker”, y que caracteriza la estructura de AMT como una sweatshop de baja calidad para investigadores académicos subfinanciados.

Lanzado en 2005, Amazon Mechanical Turk (AMT) suministra a los crowdworkers tareas de inteligencia humana ad hoc (HIT), que a menudo son utilizadas por investigadores de aprendizaje automático en el contexto de grupos de estudio “asequibles” para tareas como el reconocimiento de imágenes, la evaluación del procesamiento del lenguaje natural (NLP) y otras tareas sistemáticas y programáticas diseñadas para ayudar a formular o probar algoritmos (aunque el servicio también se utiliza ampliamente para generar spam).

Trabajo invisible en MTurk

El nuevo estudio, titulado Quantifying the Invisible Labor in Crowd Work, fue realizado por investigadores de la Universidad Northeastern de Boston, Microsoft Research y la Universidad Nacional Autónoma de México (UNAM).

El alcance del trabajo invisible realizado por 100 trabajadores en más de 40,000 tareas HIT durante un período de una semana. Fuente: https://arxiv.org/pdf/2110.00169.pdf

El documento detalla la extensión del “trabajo invisible” que constituye el 33% del tiempo de trabajo de un turker, como se evidencia en un estudio de campo realizado para el trabajo. La mayor cantidad de “tiempo perdido” fue representada por la cantidad de tiempo que los trabajadores de AMT dedican a examinar sus detalles de pago para asegurarse de que hayan recibido el pago por una tarea. El informe establece que ‘97% de los trabajadores en nuestro estudio practicaron trabajo invisible al visitar la sección de ganancias en su panel de control (tal vez para asegurarse de que hubieran recibido un pago justo)’.

El segundo mayor consumo de tiempo para los turkers fue la “hipervigilancia” necesaria para obtener trabajo, donde los trabajadores actualizan las páginas de los perfiles de los solicitantes y buscan nuevas tareas publicadas en las secciones de listados de HIT de AMT.

Monitorear a los turkers

Los investigadores desarrollaron una extensión de Chrome, que han puesto a disposición en GitHub, basada en trabajo previo que estudió los hábitos de atención de los trabajadores de AMT, pero que no abordó la evaluación del trabajo invisible. La extensión se instaló en los sistemas de 100 trabajadores de Mechanical Turk que participaron, que colectivamente realizaron 40,903 HIT durante un período de una semana.

La tarea principal de la extensión es evaluar el tiempo real que un trabajador dedica a una tarea HIT, y con este fin, monitorea el estado de las páginas relacionadas con AMT al raspar y analizar el contenido HTML de una página que el turker está enfocando actualmente, con el fin de comprender las interacciones del trabajador con ella. La extensión también cuenta con un proceso en segundo plano impulsado por tiempo que registra eventos del navegador en el dominio de MTurk y el estado de cada página (es decir, activa, inactiva, cerrada).

Los aspectos que consumen tiempo y que se monitorean bajo este sistema incluyen que los trabajadores verifiquen el estado de “calificaciones” (para ver si el trabajo recientemente completado les ha “mejorado”, dándoles acceso a HIT de mejor calidad); “nadar y ordenar” a través de una avalancha de publicaciones de HIT con filtros de búsqueda para identificar un posible próximo trabajo y excluir trabajo no deseado; y filtrar HIT “fraudulentos” y, en general, gestionar y vigilar HIT en cola.

Retrasos y demoras

El sistema también reconoce “eventos de retraso” y “falsos inicios”, como cuando un trabajador devuelve una tarea previamente aceptada al grupo de HIT porque resultó ser diferente a sus expectativas; el tiempo que se tarda en “previsualizar” HIT, o en leer información sobre los HIT; para enviar mensajes al originador del HIT para comprender mejor las demandas de la tarea; y leer ayuda general de la plataforma de Mechanical Turk.

En la categoría muy tiempo-consumidora de “pagos”, la investigación encontró que los trabajadores de AMT frecuentemente estaban en su panel de control para verificar si habían sido pagados, ya que es posible que el trabajo completado sea rechazado, no pagado, por razones que el trabajador nunca sabrá; ver sus ganancias, que tienen una sección dedicada en el panel de control de MTurk, en lugar de anuncios de un nuevo pago; y realizar HIT que “caducan” – donde un trabajador no completa un HIT en el tiempo asignado y no recibe pago por el trabajo realizado en él (una categoría que los investigadores consideran que debería estar en la sección de “pagos”).

Además de los hallazgos del informe que indican que el trabajo invisible reduce el salario medio estimado ($3.76) de un trabajador de AMT en un 39.5% cuando se tiene en cuenta en una sesión de trabajo, también señala que la percepción de los trabajadores sobre la cantidad de tiempo que han dedicado a trabajo no remunerado durante una sesión es notablemente inferior a lo que revelan las sesiones de monitoreo.

Los autores señalan que han redondeado hacia abajo todas las estimaciones en sus hallazgos metodológicos para garantizar un enfoque “conservador” riguroso del trabajo y evitar acusaciones de exageración de los hallazgos. Concluyen:

‘Considerando que el salario medio por hora de los trabajadores es solo $3.76 (sin considerar el trabajo invisible), está claro que los trabajadores de la multitud aún necesitan un aumento dramático en sus salarios antes de que podamos considerar que este trabajo es justo. Sin embargo, esto no es algo que solo deban considerar los solicitantes, sino también las plataformas, los trabajadores y incluso los responsables de las políticas.’

El estado de los trabajadores de Mechanical Turk

Otros autores y organizaciones estiman que el trabajador de AMT promedio en realidad gana menos incluso de lo estimado en el nuevo informe – tan poco como $1 por hora.

Los defensores de los beneficios de AMT argumentan, con relativa frecuencia, que las controversias sobre la mala remuneración de los trabajadores de AMT están exageradas. Un estudio de 2020 encuestó a una sección de trabajadores de MTurk en Estados Unidos, encontrando que ‘la situación financiera de las personas en MTurk se refleja en la población en general’, y que los turkers ‘no intercambiarían la flexibilidad de MTurk por menos de $25 por hora’.

Este trabajo fue realizado por empleados de CloudResearch (anteriormente TurkPrime), cuyos servicios incluyen “herramientas que permiten a los investigadores realizar estudios en Mechanical Turk”.

Como los trabajadores de AMT se consideran contratistas independientes, no están cubiertos comúnmente por las leyes laborales en EE. UU. En una encuesta de 2016 realizada por el centro de investigación Pew, más de la mitad de los trabajadores de AMT (52%) informaron que ganaban menos de $4.99 por hora, lo que – suponiendo un trabajo a tiempo completo sin vacaciones ni licencia por enfermedad – es equivalente a un ingreso de $10,379.20 al año.

Para muchos trabajadores, la encuesta encontró que Mechanical Turk representaba “todo o la mayor parte” de sus ingresos, y esta categoría de turkers se caracterizaba por ser más joven, menos educada y vivir en hogares con ingresos más bajos.

Sin embargo, los turkers eran, según la encuesta, en general mejor educados que el trabajador promedio estadounidense, con el 51% informando que tienen al menos un título universitario, en comparación con el 36% de los trabajadores adultos en EE. UU. – con solo el 12% de los trabajadores de AMT afirmando que solo tienen un título de secundaria o menos.

¿La materia correcta?

El informe de Pew también indicó que los trabajadores de AMT típicos pueden ser lo opuesto al “personaje promedio” que la mayoría de los estudios académicos buscan aprovechar, con implicaciones para la medida en que sus respuestas inusuales podrían potencialmente sesgar o degradar la calidad de los proyectos de aprendizaje automático que dependen de los turkers.

Los hallazgos del informe de Pew establecen que los turkers ‘no son representativos de los estadounidenses en general – o incluso de los adultos que trabajan’.

También señala la investigación de un estudio anterior (2014), que indicó que los trabajadores de AMT están sujetos a tantos experimentos y encuestas que la cantidad de este tipo de trabajo ‘podría condicionar a los trabajadores a ciertos tipos de respuestas o hacer que se familiaricen demasiado con los tipos de preguntas que se les harán’ – efectivamente, que la rutina del trabajo de AMT hará que los turkers se conviertan en expertos en “agradar al sistema” en lugar de proporcionar entrada auténtica y académicamente (o incluso clínicamente) útil.