Amazon Mechanical Turk zahlt weniger als 40% des US-Mindestlohns, zeigt eine Studie

Die Ergebnisse einer Studie von Forschern in den USA und Mexiko deuten darauf hin, dass Crowdsourced-Worker im Amazon Mechanical Turk-Marktplatz, von denen 75% in den Vereinigten Staaten ansässig sind, nur etwa 2,83 US-Dollar pro Stunde verdienen – was etwa 39,5% des gesetzlichen Mindestlohns von 7,25 US-Dollar pro Stunde entspricht, da die Remote-Worker ein Drittel ihrer Arbeitszeit damit verbringen, Listen von Arbeitsanfragen zu scannen, Zahlungen zu verwalten und andere Arten von “unsichtbarer Arbeit” auszuführen.

Die Ergebnisse kommen im Anschluss an einen aktuellen Bericht der University of Massachusetts Amherst, der den niedrigen Lohn und die Leistungen für “Turker” kritisiert und die AMT-Ökonomie als eine Art Billig-Schweißhaus für unterfinanzierte akademische Forscher beschreibt.

Seit der Einführung im Jahr 2005 bietet Amazon Mechanical Turk (AMT) Crowdworkern ad-hoc-Human-Intelligence-Tasks (HITs), die häufig von Maschinenlern-Forschern im Rahmen von “erschwinglichen” Studien für Aufgaben wie Bilderkennung, Natural Language Processing (NLP)-Auswertung und andere systematische, programmatische Aufgaben verwendet werden, die dazu beitragen, Algorithmen zu entwickeln oder zu testen (obwohl der Dienst auch umfassend zur Generierung von Spam verwendet wird).

Unsichtbare Arbeit auf MTurk

Die neue Studie, betitelt Quantifizierung der unsichtbaren Arbeit in Crowd Work, wurde von Forschern der Northeastern University in Boston, Microsoft Research und der Universidad Nacional Autonoma de Mexico (UNAM) durchgeführt.

Der Umfang der unsichtbaren Arbeit, die von 100 Arbeitern bei über 40.000 HIT-Aufgaben innerhalb einer Woche geleistet wurde. Quelle: https://arxiv.org/pdf/2110.00169.pdf

Die Studie beschreibt den Umfang der “unsichtbaren Arbeit”, die 33% der Arbeitszeit eines Turkers ausmacht, wie in einer Feldstudie für diese Arbeit nachgewiesen. Der größte Anteil an “verlorener” Zeit wurde durch die Zeit dargestellt, die AMT-Worker damit verbringen, ihre Zahlungsdetails zu überprüfen, um sicherzustellen, dass sie für eine Aufgabe bezahlt wurden. Der Bericht besagt, dass ‘97% der Arbeiter in unserer Studie unsichtbare Arbeit leisteten, indem sie den Einnahmenbereich auf ihrem Dashboard besuchten (vielleicht, um sicherzustellen, dass sie fair bezahlt wurden)’.

Die zweitgrößte Zeitaufwendung für Turker war die “Hyper-Vigilanz”, die erforderlich war, um tatsächlich Arbeit zu erhalten, bei der Arbeiter die Profile von Anfragern neu lädt und nach neuen Aufgaben sucht, die in den AMT-HIT-Listen angezeigt werden.

Überwachung von Turkern

Die Forscher entwickelten eine Chrome-Erweiterung, die sie auf GitHub verfügbar gemacht haben, basierend auf vorheriger Arbeit, die die Aufmerksamkeitsgewohnheiten von AMT-Workern untersuchte, aber die Bewertung von unsichtbarer Arbeit nicht berücksichtigte. Die Erweiterung wurde auf den Systemen von 100 teilnehmenden Mechanical-Turk-Workern installiert, die insgesamt 40.903 HITs innerhalb einer Woche durchführten.

Die Hauptaufgabe der Erweiterung besteht darin, die tatsächliche Zeit zu bewerten, die ein Arbeiter für eine HIT-Aufgabe aufwendet, und dazu die AMT-bezogenen Seiten durch Scraping und Parsen des HTML-Inhalts einer Seite zu überwachen, auf der sich der Turker derzeit befindet, um die Interaktionen des Arbeiters mit dieser Seite zu verstehen. Die Erweiterung verfügt auch über einen zeitgesteuerten Hintergrundprozess, der Browser-Ereignisse auf dem MTurk-Domain und den Status jeder Seite (z. B. aktiv, inaktiv, geschlossen) protokolliert.

Zeitaufwendige Aspekte, die in diesem System überwacht werden, umfassen die Überprüfung des “Qualifikationsstatus” (um zu sehen, ob kürzlich abgeschlossene Arbeit sie “upgegradet” hat und ihnen Zugang zu besseren HITs gibt); “Waten und Sortieren” durch eine Flut von HIT-Postings mit Suchfiltern, um eine mögliche nächste Arbeit zu identifizieren und unerwünschte Arbeit auszuschließen; und das Filtern von “betrügerischen” HITs und die allgemeine Verwaltung und Überwachung von gewarteten HITs.

Verzögerungen und Hindernisse

Das System erkennt auch “Verzögerungsereignisse” und “falsche Starts”, wie z. B., wenn ein Arbeiter eine zuvor angenommene Aufgabe in den HIT-Pool zurückgibt, weil sie sich als anders herausstellte, als erwartet; die Zeit, die zum “Vorschau” von HITs, zum Lesen von Informationen über die HITs oder zum Senden von Nachrichten an den HIT-Ursprung, um die Anforderungen der Aufgabe besser zu verstehen, aufgewendet wird; und das Lesen allgemeiner Plattformhilfe von den Mechanical-Turk-Hilfeseiten.

Im sehr zeitaufwendigen Bereich “Zahlungen” fand die Forschung heraus, dass AMT-Worker häufig an ihrem Dashboard sind, um zu überprüfen, ob sie bezahlt wurden, da es möglich ist, dass abgeschlossene Arbeit abgelehnt oder unbezahlt bleibt, aus Gründen, die dem Arbeiter nie mitgeteilt werden; das Anzeigen ihrer Einnahmen, die einen eigenen Bereich des MTurk-Dashboards haben, im Gegensatz zu Ankündigungen einer neuen Zahlung; und das Ausführen von HITs, die “zeitlich begrenzt” sind – wo ein Arbeiter es nicht schafft, einen HIT innerhalb der zugewiesenen Zeit abzuschließen und keine Zahlung für die auf der Aufgabe geleistete Arbeit erhält (eine Kategorie, die die Forscher für den “Zahlungen”-Bereich halten).

Abgesehen von den Ergebnissen der Studie, dass unsichtbare Arbeit das zuvor geschätzte Median-Gehalt ($3,76) eines AMT-Workers um 39,5% senkt, wenn es in eine Arbeitszeit einbezogen wird, weist es auch darauf hin, dass die Wahrnehmung der Arbeiter hinsichtlich der Zeit, die sie für unbezahlte Arbeit in einer Sitzung aufgewendet haben, deutlich niedriger ist als die Überwachungssitzungen zeigen.

Die Autoren weisen darauf hin, dass sie alle Schätzungen in ihren methodologischen Ergebnissen abgerundet haben, um einen streng konservativen Ansatz für die Arbeit zu gewährleisten und Vorwürfe der Übertreibung der Ergebnisse zu vermeiden. Sie kommen zu dem Schluss:

‘Da das Median-Stundenlohn der Arbeiter nur 3,76 US-Dollar beträgt (ohne unsichtbare Arbeit zu berücksichtigen), ist es klar, dass Crowdsourced-Worker immer noch eine dramatische Erhöhung ihrer Löhne benötigen, bevor wir diese Arbeit als fair betrachten können. Dies ist jedoch nicht nur etwas, das Anfragende berücksichtigen sollten, sondern auch Plattformen, Arbeiter und sogar politische Entscheidungsträger.’

Der Zustand der Mechanical-Turk-Worker

Andere Autoren und Organisationen schätzen, dass der durchschnittliche AMT-Worker tatsächlich weniger verdient als in dem neuen Bericht geschätzt – nur etwa 1 US-Dollar pro Stunde.

Befürworter der Vorteile von AMT argumentieren mit relativer Häufigkeit, dass Kontroversen um die schlechte Bezahlung von AMT-Workern übertrieben sind. Eine Studie von 2020 befragte eine Gruppe von US-amerikanischen MTurk-Workern und fand heraus, dass ‘die finanzielle Situation von Menschen auf MTurk der allgemeinen Bevölkerung entspricht’ und dass Turker ‘die Flexibilität von MTurk nicht für weniger als 25 US-Dollar pro Stunde eintauschen würden’.

Diese Arbeit wurde von Mitarbeitern von CloudResearch (früher TurkPrime) durchgeführt, deren Dienstleistungen “Werkzeuge umfassen, die es Forschern ermöglichen, Studien auf Mechanical Turk durchzuführen”.

Da AMT-Worker als unabhängige Auftragnehmer gelten, werden sie in den USA nicht häufig von Arbeitsgesetzen erfasst. In einer Umfrage von 2016 des Pew Research Center gaben mehr als die Hälfte der AMT-Worker (52%) an, weniger als 4,99 US-Dollar pro Stunde zu verdienen, was – unter der Annahme von Vollzeitbeschäftigung ohne Urlaub oder Krankheitszeit – einem Jahreseinkommen von 10.379,20 US-Dollar entspricht.

Für viele Arbeiter stellte Mechanical Turk “die gesamte oder den größten Teil” ihres Einkommens dar, und diese Kategorie von Turkern war typischerweise jünger, weniger gebildet und lebte in Haushalten mit niedrigerem Einkommen.

Allerdings waren die Turker, laut der Umfrage, im Allgemeinen besser gebildet als der durchschnittliche amerikanische Arbeiter, mit 51%, die angaben, mindestens einen College-Abschluss zu haben, gegenüber 36% der erwachsenen Arbeiter in den USA – mit nur 12% der AMT-Worker, die angaben, nur einen High-School-Abschluss oder weniger zu haben.

Das Richtige Zeug?

Der Pew-Bericht weist auch darauf hin, dass typische AMT-Worker möglicherweise das Gegenteil des “durchschnittlichen Menschen” sind, den die meisten akademischen Studien nutzen möchten, mit Implikationen für den Umfang, in dem ihre ungewöhnlichen Antworten die Qualität von Maschinenlern-Projekten beeinträchtigen könnten, die auf Turker angewiesen sind.

Die Ergebnisse des Pew-Berichts besagen, dass Turker ‘nicht repräsentativ für die amerikanische Bevölkerung insgesamt sind – oder sogar für berufstätige Erwachsene’.

Es verweist auch auf eine frühere Studie von 2014, die darauf hindeutet, dass AMT-Worker so vielen Experimenten und Umfragen ausgesetzt sind, dass die Menge dieser Art von Arbeit ‘die Arbeiter an bestimmte Arten von Antworten gewöhnen oder sie allzu vertraut mit den Arten von Fragen machen könnte, die sie gestellt bekommen’ – effektiv, dass der Druck der AMT-Arbeit die Turker dazu bringen wird, Experten darin zu werden, “das System zu befriedigen”, anstatt authentische und akademisch (oder sogar klinisch) nützliche Eingaben zu liefern.