Amazon Mechanical Turk paie moins de 40% du salaire minimum aux États-Unis, suggère une étude

Les résultats d’une étude menée par des chercheurs aux États-Unis et au Mexique suggèrent que les travailleurs de la foule sur le marché Amazon Mechanical Turk, avec une majorité de 75 % basée aux États-Unis, gagnent aussi peu que 2,83 $ par heure en médiane – soit environ 39,5 % du salaire minimum fédéral de 7,25 $ par heure, puisque les travailleurs à distance passent un tiers de leur temps de travail à scanner des listes de demandes de travail, à gérer les paiements et à effectuer d’autres types de « travail invisible ».

Les résultats de l’étude sont publiés à la suite d’un rapport récent de l’Université du Massachusetts à Amherst, qui critique le faible niveau de rémunération et d’avantages sociaux pour les « turkers », et qui caractérise l’écosystème AMT comme un atelier de misère de mauvaise qualité pour les chercheurs universitaires sous-financés.

Lancé en 2005, Amazon Mechanical Turk (AMT) fournit aux crowdworkers des tâches d’intelligence humaine ad hoc (HIT), fréquemment utilisées par les chercheurs en apprentissage automatique dans le contexte de groupes d’étude « abordables » pour des tâches telles que la reconnaissance d’images, l’évaluation du traitement automatique des langues naturelles (NLP) et d’autres tâches systématiques et programmatiques conçues pour aider à formuler ou à tester des algorithmes (bien que le service soit également largement utilisé pour générer du spam).

Le travail invisible sur MTurk

La nouvelle étude, intitulée Quantification du travail invisible dans le travail de la foule, a été menée par des chercheurs de l’Université Northeastern à Boston, de Microsoft Research et de l’Universidad Nacional Autonoma de Mexico (UNAM).

L’étendue du travail invisible effectué par 100 travailleurs sur plus de 40 000 tâches HIT sur une période d’une semaine. Source: https://arxiv.org/pdf/2110.00169.pdf

L’article détaille l’étendue du « travail invisible » qui constitue 33 % du temps de travail d’un turker, comme le montre une étude de terrain menée pour le travail. La plus grande quantité de « temps perdu » a été représentée par le temps que les travailleurs AMT passent à examiner leurs détails de paiement pour s’assurer qu’ils ont reçu le paiement pour une tâche. Le rapport indique que ’97 % des travailleurs de notre étude ont pratiqué un travail invisible en visitant la section des gains sur leur tableau de bord de travailleur (peut-être pour s’assurer qu’ils avaient été payés équitablement)’.

Le deuxième plus grand gaspillage de temps pour les turkers était la « hyper-vigilance » nécessaire pour obtenir réellement du travail, où les travailleurs actualisent les pages des profils des demandeurs et recherchent de nouvelles tâches annoncées dans les sections des listes HIT d’AMT.

La surveillance des turkers

Les chercheurs ont développé une extension Chrome, qu’ils ont depuis rendue disponible sur GitHub, basée sur un travail antérieur qui a étudié les habitudes d’attention des travailleurs AMT, mais qui n’a pas abordé l’évaluation du travail invisible. L’extension a été installée sur les systèmes de 100 travailleurs Mechanical Turk participants, qui ont collectivement effectué 40 903 HIT sur une période d’une semaine.

L’objectif principal de l’extension est d’évaluer le temps réel que passe un travailleur sur une tâche HIT, et à cette fin, il surveille l’état des pages AMT en analysant et en analysant le contenu HTML d’une page sur laquelle le turker est actuellement concentré, afin de comprendre les interactions du travailleur avec celle-ci. L’extension comporte également un processus en arrière-plan basé sur le temps qui enregistre les événements du navigateur sur le domaine MTurk et l’état de chaque page (c’est-à-dire actif, inactif, fermé).

Les aspects chronophages surveillés dans ce système incluent les travailleurs qui vérifient le statut des « qualifications » (pour voir si le travail récemment terminé les a « améliorés », leur donnant accès à des HIT de meilleure qualité); « naviguer et trier » à travers un avalanche de publications HIT avec des filtres de recherche pour identifier un prochain travail possible et exclure un travail indésirable; et filtrer les HIT « frauduleux » et gérer en général les HIT en file d’attente.

Retards et traînements

Le système reconnaît également les « événements de retard » et les « faux départs », tels que lorsqu’un travailleur rend une tâche précédemment acceptée au pool HIT parce qu’elle s’est avérée différente de ses attentes; le temps nécessaire pour « prévisualiser » les HIT, ou pour lire des informations sur les HIT; pour envoyer des messages à l’origine du HIT afin de mieux comprendre les exigences de la tâche; et lire l’aide générale de la plateforme à partir des pages d’aide de Mechanical Turk.

Dans la catégorie très chronophage des « paiements », la recherche a constaté que les travailleurs AMT passaient fréquemment à leur tableau de bord pour vérifier s’ils avaient été payés, puisqu’il est possible que le travail terminé soit rejeté, non payé, pour des raisons que le travailleur ne ne saura jamais; en regardant leurs gains, qui ont une section dédiée du tableau de bord MTurk, par opposition aux annonces d’un nouveau paiement; et en effectuant des HIT qui « expirent » – où un travailleur ne parvient pas à terminer un HIT dans le temps alloué, et ne reçoit aucun paiement pour tout travail effectué sur celui-ci (une catégorie que les chercheurs estiment devrait être dans la section « paiements »).

Outre les constatations du rapport selon lesquelles le travail invisible réduit le salaire médian précédemment estimé ($ 3,76) d’un travailleur AMT de 39,5 % lorsqu’il est pris en compte dans une session de travail, il note également que la perception des travailleurs de la quantité de temps qu’ils ont passé sur un travail non rémunéré pendant une session est nettement inférieure à ce que révèlent les sessions de surveillance.

Les auteurs notent qu’ils ont arrondi tous les estimations de leurs résultats méthodologiques pour garantir une approche « conservatrice » rigoureuse du travail, et pour éviter les accusations d’exagération des résultats. Ils concluent:

‘Compte tenu du fait que le salaire horaire médian des travailleurs est de seulement 3,76 $ (sans tenir compte du travail invisible), il est clair que les travailleurs de la foule ont encore besoin d’une augmentation spectaculaire de leur salaire avant que nous puissions considérer ce travail comme équitable. Cependant, ce n’est pas seulement quelque chose que les demandeurs doivent prendre en compte, mais également quelque chose que les plateformes, les travailleurs et même les décideurs politiques doivent prendre en compte.’

État des travailleurs de Mechanical Turk

D’autres auteurs et organisations estiment que le travailleur AMT moyen gagne en réalité moins que ce qui est estimé dans le nouveau rapport – aussi peu que 1 $ de l’heure.

Les partisans des avantages d’AMT soutiennent, avec une certaine fréquence, que les controverses entourant la faible rémunération des travailleurs AMT sont exagérées. Une étude de 2020 a interrogé un échantillon de travailleurs MTurk aux États-Unis, constatant que ‘la situation financière des personnes sur MTurk reflète la population générale’, et que les turkers ‘ne troqueraient pas la flexibilité de MTurk pour moins de 25 $ de l’heure’.

Ce travail a été effectué par des employés de CloudResearch (anciennement TurkPrime), dont les services incluent « des outils qui permettent aux chercheurs d’exécuter des études sur Mechanical Turk ».

Étant donné que les travailleurs AMT sont considérés comme des entrepreneurs indépendants, ils ne sont généralement pas couverts par les lois du travail aux États-Unis. Dans une enquête menée en 2016 par le Pew Research Center, plus de la moitié des travailleurs AMT (52 %) ont déclaré gagner moins de 4,99 $ de l’heure, ce qui – en supposant un travail à temps plein sans vacances ni congé de maladie – équivaut à un revenu de 10 379,20 $ par an.

Pour de nombreux travailleurs, l’enquête a constaté que Mechanical Turk représentait « la totalité ou la majeure partie » de leur revenu, et que cette catégorie de turkers était caractérisée par une jeune, moins éduquée et vivant dans des ménages à revenus plus faibles.

Cependant, les turkers étaient, selon l’enquête, généralement mieux éduqués que les travailleurs américains moyens, avec 51 % déclarant avoir au moins un diplôme d’études supérieures, contre 36 % des travailleurs adultes aux États-Unis – avec seulement 12 % des travailleurs AMT affirmant n’avoir qu’un diplôme d’études secondaires ou moins.

La bonne chose?

Le rapport du Pew indique également que les travailleurs AMT typiques peuvent être exactement le contraire de la « personne moyenne » que la plupart des études universitaires cherchent à exploiter, avec des implications pour la mesure dans laquelle leurs réponses inhabituelles pourraient potentiellement biaiser ou dégrader la qualité des projets d’apprentissage automatique qui s’appuient sur les turkers.

Les résultats de l’enquête du Pew indiquent que les turkers ‘ne sont pas représentatifs des Américains dans l’ensemble – ou même des adultes qui travaillent’.

Il note également des recherches menées dans une étude antérieure (2014), qui ont indiqué que les travailleurs AMT sont soumis à autant d’expériences et de sondages que la quantité de ce type de travail ‘pourrait conditionner les travailleurs à certains types de réponses ou les rendre excessivement familiers avec les types de questions qui leur seront posées’ – en effet, que le grind du travail AMT inclinera les turkers à devenir des experts pour « plaire au système » plutôt que pour fournir des entrées authentiques et académiquement (ou même cliniquement) utiles.