Amazon Mechanical Turk paga menos del 40% del salario mínimo de EE. UU., sugiere la investigación

Los resultados de un estudio realizado por investigadores en EE. UU. y México sugieren que los trabajadores de crowdsourcing en el mercado de Amazon Mechanical Turk, con una mayoría del 75% con sede en Estados Unidos, ganan tan poco como $2.83 por hora – alrededor del 39.5% del salario mínimo federal obligatorio de $7.25 por hora, ya que los trabajadores remotos dedican un tercio de su tiempo laboral a escanear listas de solicitudes de trabajo, gestionar pagos y realizar otros tipos de ‘trabajo invisible’.

Los hallazgos llegan en el contexto de un informe reciente de la Universidad de Massachusetts Amherst, que criticó el bajo nivel de pago y beneficios involucrados en ser un ‘turker’, y que caracteriza la estructura de AMT efectivamente como una fábrica de mala calidad para investigadores académicos subfinanciados.

Lanzado en 2005, Amazon Mechanical Turk (AMT) suministra a los crowdworkers tareas de inteligencia humana (HIT) ad hoc, que a menudo son utilizadas por investigadores de aprendizaje automático en el contexto de grupos de estudio ‘asequibles’ para tareas como el reconocimiento de imágenes, la evaluación de procesamiento de lenguaje natural (NLP) y otras tareas sistemáticas y programáticas diseñadas para ayudar a formular o probar algoritmos (aunque el servicio también se utiliza ampliamente para generar spam).

Trabajo invisible en MTurk

El nuevo estudio, titulado Quantifying the Invisible Labor in Crowd Work, fue realizado por investigadores de la Universidad Northeastern en Boston, Microsoft Research y la Universidad Nacional Autónoma de México (UNAM).

The extent of invisible labor performed by 100 workers on over 40,000 HIT tasks over a one-week period. Source: https://arxiv.org/pdf/2110.00169.pdf

El documento detalla la extensión del ‘trabajo invisible’ que constituye el 33% del tiempo de trabajo de un turker, como se evidencia en un estudio de campo realizado para el trabajo. La mayor cantidad de ‘tiempo perdido’ fue representada por la cantidad de tiempo que los trabajadores de AMT dedican a examinar sus detalles de pago para asegurarse de que recibieron el pago por una tarea. El informe establece que ‘97% de los trabajadores en nuestro estudio practicaron trabajo invisible alrededor de visitar la sección de ganancias en su panel de trabajadores (quizás para asegurarse de que habían recibido un pago justo)’.

La segunda mayor pérdida de tiempo para los turkers fue la ‘hipervigilancia’ necesaria para obtener trabajo, donde los trabajadores actualizan las páginas de perfiles de solicitantes y buscan nuevas tareas publicadas en las secciones de listados de HIT de AMT.

Monitoreo de turkers

Los investigadores desarrollaron una extensión de Chrome, que han puesto a disposición en GitHub, basada en trabajo previo que estudió los hábitos de atención de los trabajadores de AMT, pero que no abordó la evaluación del trabajo invisible. La extensión se instaló en los sistemas de 100 trabajadores de Mechanical Turk que participaron, que colectivamente realizaron 40,903 HIT en un período de una semana.

La tarea principal de la extensión es evaluar el tiempo real que un trabajador dedica a una tarea HIT, y con este fin, monitorea el estado de las páginas relacionadas con AMT mediante el análisis y el análisis del contenido HTML de una página que el turker está enfocando actualmente, para comprender las interacciones del trabajador con ella. La extensión también cuenta con un proceso en segundo plano basado en tiempo que registra eventos del navegador en el dominio de MTurk y el estado de cada página (es decir, activa, inactiva, cerrada).

Los aspectos que consumen tiempo y se monitorean bajo este sistema incluyen que los trabajadores verifiquen el estado de ‘calificaciones’ (para ver si el trabajo recientemente completado los ‘ha mejorado’, dándoles acceso a HIT de mejor calidad); ‘nadar y ordenar’ a través de una avalancha de publicaciones de HIT con filtros de búsqueda para identificar un posible próximo trabajo y excluir el trabajo no deseado; y filtrar HIT ‘fraudulentos’ y gestionar/invigilar HIT en cola.

Retrasos y demoras

El sistema también reconoce ‘eventos de retraso’ y ‘falsos inicios’, como cuando un trabajador devuelve una tarea previamente aceptada al grupo de HIT porque resultó ser diferente a sus expectativas; el tiempo necesario para ‘previsualizar’ HIT, o para leer información sobre los HIT; para enviar mensajes al originador del HIT para comprender mejor las demandas de la tarea; y leer la ayuda general de la plataforma de Mechanical Turk.

En la categoría muy tiempo-consumidora de ‘pagos’, la investigación encontró que los trabajadores de AMT frecuentemente están en su panel de control para verificar si han sido pagados, ya que es posible que el trabajo completado sea rechazado, no pagado, por razones que el trabajador nunca sabrá; ver sus ganancias, que tienen una sección dedicada en el panel de control de MTurk, en lugar de anuncios de un nuevo pago; y realizar HIT que ‘caducan’ – donde un trabajador no completa un HIT en el tiempo asignado y no recibe pago por el trabajo realizado en él (una categoría que los investigadores consideran que debería estar en la sección de ‘pagos’).

Además de los hallazgos del informe que indican que el trabajo invisible reduce el salario medio previamente estimado ($3.76) de un trabajador de AMT en un 39.5% cuando se tiene en cuenta en una sesión de trabajo, también se señala que la percepción de los trabajadores sobre la cantidad de tiempo que han dedicado a trabajar no pagado durante una sesión es notablemente inferior a lo que revelan las sesiones de monitoreo.

Los autores señalan que han redondeado hacia abajo todas las estimaciones en sus hallazgos metodológicos para asegurar un enfoque ‘conservador’ riguroso del trabajo y evitar acusaciones de exageración de los hallazgos. Concluyen:

‘Considerando que el salario medio por hora de los trabajadores es solo $3.76 (sin considerar el trabajo invisible), está claro que los trabajadores de multitudes aún necesitan un aumento dramático en sus salarios antes de que podamos considerar que este trabajo es justo. Sin embargo, esto no es solo algo que los solicitantes deban considerar, sino también algo para las plataformas, los trabajadores y incluso los responsables de las políticas.’

El estado de los trabajadores de Mechanical Turk

Otros autores y organizaciones estiman que el trabajador de AMT promedio en realidad gana menos incluso que lo estimado en el nuevo informe – tan poco como $1 por hora.

Los partidarios de los beneficios de AMT argumentan, con relativa frecuencia, que las controversias sobre la mala remuneración de los trabajadores de AMT están exageradas. Un estudio de 2020 encuestó a una sección de trabajadores de MTurk en Estados Unidos, encontrando que ‘la situación financiera de las personas en MTurk se refleja en la población en general’, y que los turkers ‘no intercambiarían la flexibilidad de MTurk por menos de $25 por hora’.

Ese trabajo fue realizado por empleados de CloudResearch (anteriormente TurkPrime), cuyos servicios incluyen ‘herramientas que permiten a los investigadores realizar estudios en Mechanical Turk’.

Dado que los trabajadores de AMT se consideran contratistas independientes, generalmente no están cubiertos por las leyes laborales en EE. UU. En una encuesta de 2016 del Pew Research Center, más de la mitad de los trabajadores de AMT (52%) informaron que ganaban menos de $4.99 por hora, lo que – suponiendo un trabajo a tiempo completo sin vacaciones ni licencia por enfermedad – es equivalente a un ingreso de $10,379.20 al año.

Para muchos trabajadores, la encuesta encontró que Mechanical Turk representaba ‘todo o la mayoría’ de sus ingresos, y esta categoría de turkers se caracterizaba por ser más joven, menos educada y vivir en hogares con ingresos más bajos.

Sin embargo, los turkers eran, según la encuesta, generalmente mejor educados que los trabajadores estadounidenses promedio, con el 51% informando que tienen al menos un título universitario, en comparación con el 36% de los trabajadores adultos en EE. UU. – con solo el 12% de los trabajadores de AMT afirmando que solo tienen un título de escuela secundaria o menos.

Lo correcto

El informe de Pew también indicó que los trabajadores de AMT típicos pueden ser lo opuesto a la ‘persona promedio’ que la mayoría de los estudios académicos están tratando de aprovechar, con implicaciones para la medida en que sus respuestas inusuales podrían potencialmente sesgar o degradar la calidad de los proyectos de aprendizaje automático que dependen de los turkers.

Los hallazgos del informe de Pew establecen que los turkers ‘no son representativos de los estadounidenses en general – o incluso de los adultos que trabajan’.

También señala la investigación de un estudio anterior (2014), que indicó que los trabajadores de AMT están sujetos a tantos experimentos y encuestas que la cantidad de este tipo de trabajo ‘podría condicionar a los trabajadores a ciertos tipos de respuestas o hacer que se familiaricen demasiado con los tipos de preguntas que se les harán’ – efectivamente, que la rutina del trabajo de AMT hará que los turkers se conviertan en expertos en ‘agradar al sistema’ en lugar de proporcionar entrada auténtica y académicamente (o incluso clínicamente) útil.