Amazon Mechanical Turk zahlt weniger als 40% des US-Mindestlohns, wie Forschungsergebnisse nahelegen

Die Ergebnisse einer Studie von Forschern in den USA und Mexiko deuten darauf hin, dass Crowdsourced-Worker im Amazon Mechanical Turk-Marktplatz, von denen 75% in den Vereinigten Staaten ansässig sind, nur etwa 2,83 Dollar pro Stunde verdienen – etwa 39,5% des gesetzlichen Mindestlohns von 7,25 Dollar pro Stunde, da die Remote-Worker ein Drittel ihrer Arbeitszeit damit verbringen, Listen von Arbeitsanfragen zu scannen, Zahlungen zu verwalten und andere Arten von “unsichtbarer Arbeit” auszuführen.

Die Ergebnisse kommen im Anschluss an einen aktuellen Bericht von der University of Massachusetts Amherst, der den niedrigen Lohn und die geringen Sozialleistungen für “Turker” kritisierte und die AMT-Struktur effektiv als eine Billig-Lohngruppe für unterfinanzierte akademische Forscher charakterisierte.

Gestartet im Jahr 2005, liefert Amazon Mechanical Turk (AMT) Crowdworkern ad-hoc Human Intelligence Tasks (HITs), die häufig von Maschinenlern-Forschern im Rahmen von “erschwinglichen” Studiengruppen für Aufgaben wie Bilderkennung, Natural Language Processing (NLP)-Auswertung und andere systematische, programmatische Aufgaben verwendet werden, die dazu dienen, Algorithmen zu entwickeln oder zu testen (obwohl der Dienst auch umfassend zur Generierung von Spam verwendet wird).

Unsichtbare Arbeit auf MTurk

Die neue Studie, betitelt Quantifizierung der unsichtbaren Arbeit in Crowd Work, wurde von Forschern der Northeastern University in Boston, Microsoft Research und der Universidad Nacional Autonoma de Mexico (UNAM) durchgeführt.

Der Umfang der unsichtbaren Arbeit, die von 100 Arbeitern auf über 40.000 HIT-Aufgaben über einen Zeitraum von einer Woche durchgeführt wird. Quelle: https://arxiv.org/pdf/2110.00169.pdf

Die Studie beschreibt den Umfang der “unsichtbaren Arbeit”, die 33% der Arbeitszeit eines Turkers ausmacht, wie in einer Feldstudie nachgewiesen wurde. Der größte Anteil an “verlorener” Zeit wurde durch die Zeit dargestellt, die AMT-Worker damit verbringen, ihre Zahlungsdetails zu überprüfen, um sicherzustellen, dass sie für eine Aufgabe bezahlt wurden. Der Bericht besagt, dass ‘97% der Arbeiter in unserer Studie unsichtbare Arbeit um den Besuch des Earnings-Bereichs auf ihrem Worker-Dashboard leisteten (vielleicht, um sicherzustellen, dass sie fair bezahlt wurden)’.

Der zweitgrößte Zeitaufwand für Turker war die “Hyper-Vigilanz”, die notwendig ist, um tatsächlich Arbeit zu erhalten, bei der Arbeiter die Seiten von Anfragern profilieren und nach neuen Aufgaben suchen, die in den AMT-HIT-Listen angezeigt werden.

Überwachung von Turker

Die Forscher entwickelten eine Chrome-Erweiterung, die sie auf GitHub verfügbar gemacht haben, basierend auf vorheriger Arbeit, die die Aufmerksamkeitsgewohnheiten von AMT-Workern untersuchte, aber die Bewertung der unsichtbaren Arbeit nicht ansprach. Die Erweiterung wurde auf den Systemen von 100 teilnehmenden Mechanical-Turk-Workern installiert, die insgesamt 40.903 HITs über einen Zeitraum von einer Woche durchführten.

Die Hauptaufgabe der Erweiterung besteht darin, die tatsächliche Zeit zu bewerten, die ein Arbeiter für eine HIT-Aufgabe aufwendet, und zu diesem Zweck überwacht sie den Zustand von AMT-bezogenen Seiten, indem sie den HTML-Inhalt einer Seite, auf der sich der Turker derzeit konzentriert, scrappt und parsen, um die Interaktionen des Arbeiters mit dieser Seite zu verstehen. Die Erweiterung verfügt auch über einen zeitgesteuerten Hintergrundprozess, der Browser-Ereignisse auf dem MTurk-Domain und den Status jeder Seite (d. h. aktiv, inaktiv, geschlossen) protokolliert.

Zeitaufwändige Aspekte, die unter diesem System überwacht werden, umfassen die Überprüfung des “Qualifikationsstatus” (um zu sehen, ob kürzlich abgeschlossene Arbeiten sie “upgegradet” haben, um Zugang zu besseren HITs zu erhalten); “Waten und Sortieren” durch eine Flut von HIT-Beiträgen mit Suchfiltern, um eine mögliche nächste Arbeit zu identifizieren und unerwünschte Arbeit auszuschließen; und das Filtern von “betrügerischen” HITs und die allgemeine Verwaltung und Überwachung von gewarteten HITs.

Verzögerungen und Hindernisse

Das System erkennt auch “Verzögerungsereignisse” und “falsche Starts”, wie z. B. wenn ein Arbeiter eine zuvor akzeptierte Aufgabe an den HIT-Pool zurückgibt, weil sie sich als anders herausstellte als erwartet; die Zeit, die zum “Vorschau” von HITs oder zum Lesen von Informationen über die HITs benötigt wird; um Nachrichten an den HIT-Ursprung zu senden, um die Anforderungen der Aufgabe besser zu verstehen; und das Lesen allgemeiner Plattformhilfen von den Mechanical-Turk-Hilfeseiten.

In der sehr zeitaufwändigen Kategorie “Zahlungen” fand die Forschung heraus, dass AMT-Worker häufig an ihrem Dashboard sind, um zu überprüfen, ob sie bezahlt wurden, da es möglich ist, dass abgeschlossene Arbeit abgelehnt, unbezahlt wird, aus Gründen, die der Arbeiter nie erfahren wird; die Ansicht ihrer Einnahmen, die einen eigenen Bereich des MTurk-Dashboards haben, im Gegensatz zu Ankündigungen einer neuen Zahlung; und das Durchführen von HITs, die “zeitlich begrenzt” sind – wo ein Arbeiter es nicht schafft, einen HIT innerhalb der zugewiesenen Zeit abzuschließen und keine Bezahlung für die auf dieser Aufgabe geleistete Arbeit erhält (eine Kategorie, die die Forscher für die “Zahlungen”-Sektion halten).

Neben den Ergebnissen der Studie, dass unsichtbare Arbeit den zuvor geschätzten Medianlohn ($3,76) eines AMT-Workers um 39,5% senkt, wenn sie in eine Arbeitszeit einbezogen wird, wird auch festgestellt, dass die Wahrnehmung der Arbeiter, wie viel Zeit sie mit unbezahlter Arbeit in einer Sitzung verbracht haben, deutlich niedriger ist als die Ergebnisse der Überwachungssitzungen.

Die Autoren bemerken, dass sie alle Schätzungen in ihren methodologischen Ergebnissen abgerundet haben, um einen rigoros “konservativen” Ansatz für die Arbeit zu gewährleisten und um Vorwürfe der Übertreibung der Ergebnisse zu vermeiden. Sie kommen zu dem Schluss:

‘Angesichts dessen, dass der Median-Stundenlohn der Arbeiter nur 3,76 Dollar beträgt (ohne die unsichtbare Arbeit zu berücksichtigen), ist es klar, dass Crowd-Worker immer noch eine dramatische Erhöhung ihrer Löhne benötigen, bevor wir diese Arbeit als fair betrachten können. Dies ist jedoch nicht nur etwas, das Anfragern zu berücksichtigen haben, sondern auch etwas, das Plattformen, Arbeiter und sogar politische Entscheidungsträger berücksichtigen sollten.’

Der Zustand der Mechanical-Turk-Worker

Andere Autoren und Organisationen schätzen, dass der durchschnittliche AMT-Worker sogar weniger verdient als in dem neuen Bericht geschätzt – nur etwa 1 Dollar pro Stunde.

Befürworter der Vorteile von AMT argumentieren mit relativer Häufigkeit, dass Kontroversen um die schlechte Bezahlung von AMT-Workern übertrieben seien. Eine Studie aus dem Jahr 2020 befragte eine Gruppe von US-amerikanischen MTurk-Workern und fand heraus, dass ‘die finanzielle Situation von Menschen auf MTurk der allgemeinen Bevölkerung entspricht’ und dass Turker ‘die Flexibilität von MTurk nicht gegen weniger als 25 Dollar pro Stunde eintauschen würden’.

Diese Arbeit wurde von Mitarbeitern von CloudResearch (früher TurkPrime) durchgeführt, deren Dienstleistungen “Werkzeuge umfassen, die es Forschern ermöglichen, Studien auf Mechanical Turk durchzuführen”.

Da AMT-Worker als unabhängige Auftragnehmer gelten, werden sie in den USA nicht häufig von Arbeitsgesetzen erfasst. In einer Umfrage von 2016 des Pew Research Center gaben mehr als die Hälfte der AMT-Worker (52%) an, weniger als 4,99 Dollar pro Stunde zu verdienen, was – unter der Annahme von Vollzeitbeschäftigung ohne Urlaub oder Krankheitszeit – einem Jahreseinkommen von 10.379,20 Dollar entspricht.

Für viele Arbeiter stellte Mechanical Turk “den größten Teil oder alle” ihres Einkommens dar, und diese Kategorie von Turkern war typischerweise jünger, weniger gebildet und lebte in Haushalten mit niedrigerem Einkommen.

Jedoch waren Turker, laut der Umfrage, im Allgemeinen besser gebildet als der durchschnittliche amerikanische Arbeiter, mit 51%, die angaben, mindestens einen College-Abschluss zu haben, gegenüber 36% der erwachsenen Arbeiter in den USA – mit nur 12% der AMT-Worker, die angaben, nur einen High-School-Abschluss oder weniger zu haben.

Das Richtige Zeug?

Der Pew-Bericht wies auch darauf hin, dass typische AMT-Worker möglicherweise das genaue Gegenteil des “durchschnittlichen Menschen” sind, den die meisten akademischen Studien nutzen möchten, mit Auswirkungen auf die Auswirkungen, die ihre ungewöhnlichen Antworten auf die Qualität von Maschinenlern-Projekten haben könnten, die auf Turker angewiesen sind.

Die Ergebnisse des Pew-Berichts besagen, dass Turker ‘nicht repräsentativ für die allgemeine Bevölkerung in den USA sind – oder sogar für berufstätige Erwachsene’.

Es verweist auch auf eine frühere (2014) Studie, die darauf hindeutete, dass AMT-Worker so vielen Experimenten und Umfragen ausgesetzt sind, dass die Menge dieser Art von Arbeit ‘die Arbeiter auf bestimmte Arten von Antworten konditionieren oder sie übermäßig vertraut mit den Arten von Fragen machen könnte, die sie gestellt werden’ – effektiv, dass der Einsatz von AMT die Turker dazu bringen kann, Experten im “System gefallen” zu werden, anstatt authentische und akademisch (oder sogar klinisch) nützliche Eingaben zu liefern.