Die ‘Unsichtbaren’, Oft Unglücklichen Arbeitnehmer, die die Zukunft von KI Bestimmen

Zwei neue Berichte, darunter ein von Google Research geleitetes Papier, äußern Bedenken, dass die aktuelle Tendenz, auf eine billige und oft entrechtete Gruppe von globalen Gig-Arbeitern angewiesen zu sein, um die Grundwahrheit für maschinelle Lernsysteme zu erstellen, erhebliche Auswirkungen auf die KI haben könnte.

Unter anderem kommt die Google-Studie zu dem Schluss, dass die eigenen Vorurteile der Crowdworker wahrscheinlich in die KI-Systeme eingebettet werden, deren Grundwahrheiten auf ihren Antworten basieren; dass weit verbreitete ungerechte Arbeitspraktiken (einschließlich in den USA) auf Crowdworking-Plattformen die Qualität der Antworten verschlechtern können; und dass das “Konsens”-System (effektiv eine “Mini-Wahl” für einen bestimmten Grundwahrheitsaspekt, der die nachgelagerten KI-Systeme beeinflusst) tatsächlich die besten und/oder informiertesten Antworten wegwerfen kann.

Das ist die schlechte Nachricht; die noch schlechtere Nachricht ist, dass fast alle Abhilfen teuer, zeitaufwändig oder beides sind.

Unsicherheit, Zufällige Ablehnung und Groll

Das erste Papier, von fünf Google-Forschern, heißt Whose Ground Truth? Accounting for Individual and Collective Identities Underlying Dataset Annotation; das zweite, von zwei Forschern an der Syracuse University in New York, heißt The Origin and Value of Disagreement Among Data Labelers: A Case Study of Individual Differences in Hate Speech Annotation.

Das Google-Papier weist darauf hin, dass Crowdworker – deren Bewertungen oft die definierende Grundlage von maschinellen Lernsystemen bilden, die möglicherweise unser Leben beeinflussen – häufig unter einer Reihe von Einschränkungen operieren, die ihre Antworten auf experimentelle Aufgaben beeinflussen können.

Zum Beispiel erlauben die aktuellen Richtlinien von Amazon Mechanical Turk es den Anfragern (denen, die die Aufgaben erteilen), die Arbeit eines Annotators ohne Rechenschaftspflicht abzulehnen*:

‘[E]ine große Mehrheit der Crowdworker (94%) haben Arbeit, die abgelehnt oder für die sie nicht bezahlt wurden. Dennoch behalten die Anfrager die vollen Rechte an den Daten, die sie erhalten, unabhängig davon, ob sie die Arbeit annehmen oder ablehnen; Roberts (2016) beschreibt dieses System als eines, das “Lohndiebstahl ermöglicht”.

‘Darüber hinaus ist die Ablehnung von Arbeit und die Zurückhaltung von Zahlungen schmerzhaft, da Ablehnungen oft durch unklare Anweisungen und den Mangel an sinnvollen Feedback-Kanälen verursacht werden; viele Crowdworker berichten, dass schlechte Kommunikation ihre Arbeit negativ beeinflusst.’

Die Autoren empfehlen, dass Forscher, die Outsourcing-Dienste zur Entwicklung von Datensätzen nutzen, berücksichtigen sollten, wie eine Crowdworking-Plattform ihre Arbeiter behandelt. Sie weisen auch darauf hin, dass in den Vereinigten Staaten Crowdworker als “unabhängige Auftragnehmer” eingestuft werden, wodurch die Arbeit unreguliert ist und nicht unter dem Mindestlohngesetz des Fair Labor Standards Act fällt.

Kontext Zählt

Das Papier kritisiert auch die Verwendung von ad hoc-globaler Arbeit für Annotationaufgaben ohne Berücksichtigung des Hintergrunds des Annotators.

Wo das Budget es erlaubt, ist es üblich für Forscher, die AMT und ähnliche Crowdwork-Plattformen nutzen, die gleiche Aufgabe vier Annotatoren zu geben und nach “Mehrheitsregel” zu verfahren.

Kontextuelle Erfahrung, so argumentiert das Papier, wird bemerkenswert wenig berücksichtigt. Zum Beispiel, wenn eine Aufgabenfrage im Zusammenhang mit Sexismus zufällig zwischen drei übereinstimmenden Männern im Alter von 18-57 und einer dissentierenden Frau im Alter von 29 verteilt wird, gewinnt die Meinung der Männer, außer in den relativ seltenen Fällen, in denen Forscher die Qualifikationen ihrer Annotatoren berücksichtigen.

Ebenso, wenn eine Frage zu Gang-Verhalten in Chicago zwischen einer ländlichen US-Amerikanerin im Alter von 36, einem männlichen Chicago-Bewohner im Alter von 42 und zwei Annotatoren aus Bangalore und Dänemark verteilt wird, hat die Person, die wahrscheinlich am meisten von der Frage betroffen ist (der Chicago-Bewohner), nur einen Viertelanteil an der Entscheidung, in einer Standard-Outsourcing-Konfiguration.

Die Forscher stellen fest:

‘[D]ie Vorstellung von “einer Wahrheit” in Crowdsourcing-Antworten ist ein Mythos; Uneinigkeit zwischen Annotatoren, die oft als negativ angesehen wird, kann tatsächlich ein wertvolles Signal liefern. Zweitens, da viele Crowdsourcing-Annotator-Pools soziodemografisch verzerrt sind, gibt es Auswirkungen auf die Bevölkerungsgruppen, die in Datensätzen repräsentiert sind, sowie auf die Bevölkerungsgruppen, die die Herausforderungen von [Crowdwork] gegenüberstehen.

‘Die Berücksichtigung von Verzerrungen in den demografischen Daten der Annotatoren ist entscheidend für die Kontextualisierung von Datensätzen und die Gewährleistung einer verantwortungsvollen nachgelagerten Verwendung. Kurz gesagt, es gibt einen Wert darin, die soziokulturellen Hintergründe der Arbeiter – sowohl aus der Perspektive der Datenqualität als auch der gesellschaftlichen Auswirkungen – anzuerkennen und zu berücksichtigen.’

Keine ‘Neutralen’ Meinungen zu Heißen Themen

Selbst wenn die Meinungen von vier Annotatoren nicht verzerrt sind, weder demografisch noch durch andere Metriken, äußert das Google-Papier Bedenken, dass Forscher die Lebenserfahrungen oder philosophische Einstellung der Annotatoren nicht berücksichtigen:

‘Während einige Aufgaben objektiv gestellte Fragen mit einer richtigen Antwort stellen (gibt es ein menschliches Gesicht in einem Bild?), zielen Datensätze oft darauf ab, Urteile über relativ subjektive Aufgaben mit keiner universell richtigen Antwort zu erfassen (ist dieser Text anstößig?). Es ist wichtig, sich bewusst zu machen, ob man sich auf die subjektiven Urteile der Annotatoren verlassen soll.’

In Bezug auf seinen spezifischen Umfang, um Probleme bei der Kennzeichnung von Hassreden anzugehen, weist das Syracuse-Papier darauf hin, dass mehr kategorische Fragen wie Ist ein Katze in diesem Foto? sich deutlich von der Frage unterscheiden, ob ein Crowdworker einen Ausdruck als “giftig” bezeichnen soll:

‘Wenn man die Komplexität der sozialen Realität berücksichtigt, variieren die Wahrnehmungen von Giftigkeit erheblich. Ihre Kennzeichnungen von giftigem Inhalt basieren auf ihren eigenen Wahrnehmungen.’

Die Syracuse-Forscher kommen zu dem Schluss, dass Persönlichkeit und Alter einen “erheblichen Einfluss” auf die dimensionale Kennzeichnung von Hassreden haben:

‘Diese Ergebnisse deuten darauf hin, dass Bemühungen, Konsistenz bei der Kennzeichnung von Hassreden unter Annotatoren mit unterschiedlichem Hintergrund und Persönlichkeit zu erzielen, möglicherweise nie vollständig erfolgreich sein werden.’

Der Richter Kann Auch Voreingenommen Sein

Diese mangelnde Objektivität ist wahrscheinlich auch weiter oben anzutreffen, so das Syracuse-Papier, das argumentiert, dass die manuelle Intervention (oder automatisierte Richtlinie, die auch von einem Menschen entschieden wird), die den “Gewinner” von Konsensabstimmungen bestimmt, auch einer Prüfung unterzogen werden sollte.

Die Autoren vergleichen den Prozess mit der Moderation von Foren und stellen fest*:

‘[E]ine Communitys-Moderatoren können das Schicksal von Beiträgen und Benutzern in ihrer Community bestimmen, indem sie Beiträge fördern oder verstecken, sowie Benutzer ehren, beschämen oder verbannen. Die Entscheidungen der Moderatoren beeinflussen den Inhalt, der an Community-Mitglieder und -Zuhörer geliefert wird, und beeinflussen auch die Erfahrung der Community mit der Diskussion.

‘Wenn man annimmt, dass ein menschlicher Moderator ein Community-Mitglied ist, das demografische Homogenität mit anderen Community-Mitgliedern aufweist, scheint es möglich, dass das mentale Schema, das er verwendet, um Inhalte zu bewerten, mit denen anderer Community-Mitglieder übereinstimmt.’

Dies gibt einen Hinweis darauf, warum die Syracuse-Forscher zu einem so despondenten Schluss über die Zukunft der Kennzeichnung von Hassreden gekommen sind; die Implikation ist, dass Richtlinien und Urteile über dissentierende Crowdwork-Meinungen nicht einfach willkürlich nach “akzeptablen” Grundsätzen angewendet werden können, die nicht irgendwo verankert sind (oder nicht auf ein anwendbares Schema reduziert werden können, selbst wenn sie existieren).

Die Menschen, die die Entscheidungen treffen (die Crowdworker), sind voreingenommen, und wären für solche Aufgaben nutzlos, wenn sie nicht voreingenommen wären, da die Aufgabe darin besteht, ein Werturteil abzugeben; die Menschen, die bei Crowdwork-Ergebnissen über Streitigkeiten entscheiden, treffen auch Werturteile, wenn sie Richtlinien für Streitigkeiten festlegen.

Es kann Hunderte von Richtlinien in nur einem Framework zur Erkennung von Hassreden geben, und es ist nicht klar, wo “autoritative” Konsens herrühren kann, es sei denn, jede einzelne Richtlinie wird bis zum Obersten Gerichtshof zurückverfolgt.

Die Google-Forscher schlagen vor, dass ‘[d]ie Uneinigkeit zwischen Annotatoren wertvolle Nuancen über die Aufgabe einbetten kann’. Das Papier schlägt die Verwendung von Metadaten in Datensätzen vor, die Streitigkeiten widerspiegeln und kontextualisieren.

Allerdings ist es schwierig zu sehen, wie eine solche kontextspezifische Datenebene jemals zu vergleichbaren Metriken führen, den Anforderungen etablierter Standardtests genügen oder irgendeine definitive Ergebnisse unterstützen kann – außer in dem unrealistischen Szenario, das gleiche Forscherteam über nachfolgende Arbeiten hinweg beizubehalten.

Auswahl der Annotator-Pool

All dies setzt voraus, dass es in einem Forschungsprojekt überhaupt ein Budget für multiple Annotationen gibt, die zu einer Konsensabstimmung führen. In vielen Fällen versuchen Forscher, den ausgelagerten Annotation-Pool billiger zu “kuratieren”, indem sie Merkmale angeben, die die Arbeiter haben sollten, wie geografische Lage, Geschlecht oder andere kulturelle Faktoren, und Pluralität gegen Spezifität eintauschen.

Das Google-Papier argumentiert, dass der Weg vorwärts aus diesen Herausforderungen durch die Errichtung erweiterter Kommunikationsrahmen mit Annotatoren führen könnte, ähnlich wie die minimalen Kommunikationen, die die Uber-App zwischen einem Fahrer und einem Fahrgast ermöglicht.

Eine solche sorgfältige Berücksichtigung der Annotatoren würde natürlich ein Hindernis für die Auslagerung von Annotationen im großen Maßstab darstellen, was entweder zu begrenzten und niedrigvolumigen Datensätzen führen würde, die eine bessere Begründung für ihre Ergebnisse haben, oder eine “überstürzte” Bewertung der Annotatoren, bei der nur begrenzte Informationen über sie erhoben werden, und sie als “für die Aufgabe geeignet” aufgrund von zu wenig Informationen charakterisiert werden.

Das ist, wenn die Annotatoren ehrlich sind.

Die ‘Menschenfreunde’ in der ausgelagerten Datensatz-Kennzeichnung

Mit einer verfügbaren Arbeitskraft, die unterbezahlt ist, unter starkem Wettbewerb um verfügbare Aufträge und von geringen Karriereaussichten deprimiert, sind Annotatoren motiviert, schnell die “richtige” Antwort zu liefern und zur nächsten Mini-Aufgabe überzugehen.

Wenn die “richtige” Antwort komplizierter ist als Hat Katze/Keine Katze, argumentiert das Syracuse-Papier, dass der Arbeiter wahrscheinlich versucht, eine “akzeptable” Antwort basierend auf dem Inhalt und dem Kontext der Frage abzuleiten*:

‘Sowohl die Verbreitung alternativer Konzeptionen als auch die weit verbreitete Verwendung von simplistischen Annotationsmethoden behindern möglicherweise den Fortschritt der Forschung zu Hassreden im Internet. Zum Beispiel fanden Ross et al. heraus, dass die Darstellung von Twitters Definition von hassvollem Verhalten gegenüber Annotatoren dazu führte, dass sie ihre eigenen Meinungen teilweise mit der Definition ausrichteten. Diese Neuausrichtung führte zu einer sehr geringen Übereinstimmung zwischen den Annotatoren.’

* Meine Umwandlung der inline-Zitate des Papiers in Hyperlinks.

Veröffentlicht am 13. Dezember 2021 – Aktualisiert am 18. Dezember 2021: Tags hinzugefügt