Minderheitenstimmen ‘gefiltert’ aus Google Natural Language Processing-Modellen

Laut einer neuen Studie wurde eines der größten verfügbaren Natural Language Processing (NLP)-Datensätze umfassend ‘gefiltert’, um schwarze und hispanische Autoren sowie Material im Zusammenhang mit schwulen und lesbischen Identitäten sowie Quelldaten, die sich mit einer Reihe anderer marginalisierter oder Minderheiten-Identitäten befassen, zu entfernen.

Das Datenset wurde verwendet, um Google’s Switch Transformer und T5-Modell zu trainieren und wurde von Google AI selbst kuratiert.

Der Bericht behauptet, dass das Colossal Clean Crawled Corpus (‘C4’)-Datenset, das 156 Milliarden Token aus über 365 Millionen Internet-Domains enthält und ein Teil des umfassenden Common Crawl-gescrapten Datenbestands ist, umfassend (algorithmisch) gefiltert wurde, um ‘anstößige’ und ‘toxische’ Inhalte auszuschließen, und dass die Filter, die verwendet wurden, um C4 zu destillieren, effektiv Inhalte und Diskussionen von Minderheiten-Gruppen ausgeschlossen haben.

Der Bericht besagt:

‘Unsere Untersuchung der ausgeschlossenen Daten legt nahe, dass Dokumente, die mit schwarzen und hispanischen Autoren in Verbindung gebracht werden und Dokumente, die sexuelle Orientierungen erwähnen, signifikant häufiger von C4 ausgeschlossen werden und dass viele ausgeschlossene Dokumente nicht anstößige oder nicht sexuelle Inhalte enthielten (z.B. legislative Diskussionen über gleichgeschlechtliche Ehe, wissenschaftliche und medizinische Inhalte).’

Die Arbeit weist darauf hin, dass die Ergebnisse die bestehenden sprachbasierten rassischen Ungleichheiten im NLP-Sektor verschärfen, sowie LGBTQ+-Identitäten stigmatisieren. Es wird weiter ausgeführt:

‘Ein direktes Ergebnis des Entfernens solcher Texte aus Datensätzen, die zum Trainieren von Sprachmodellen verwendet werden, ist, dass die Modelle schlecht abschneiden, wenn sie auf Texte von und über Menschen mit Minderheiten-Identitäten angewendet werden, und sie effektiv von den Vorteilen der Technologie wie maschineller Übersetzung oder Suche ausschließen.’

Auswahl des Common Crawl

Der Bericht, betitelt Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus, ist eine Zusammenarbeit zwischen Forschern am Allen Institute for Artificial Intelligence, der Paul G. Allen School of Computer Science & Engineering an der University of Washington, Hugging Face und Queer in AI.

Aus dem Bericht, ein Index der Wahrscheinlichkeit von Identitätsnennungen und Dokumenten, die durch Blocklisten gefiltert werden, die C4 aus der größeren Common Crawl-Datenbank destillieren. Die Grafik stellt einen Index der Pointwise Mutual Information (PMI) für Identitäten dar, wobei schwule und lesbische Identitäten die höchste Wahrscheinlichkeit haben, gefiltert zu werden. Quelle: https://homes.cs.washington.edu/~msap/pdfs/dodge2021documentingC4.pdf

Das C4-Modell ist eine kuratierte, reduzierte Version des Common Crawl-Web-Korpus, das textuelle Daten aus dem Internet in einer eher willkürlichen Weise scrappt, als Basisressource für NLP-Forscher. Common Crawl wendet nicht die gleichen Blocklisten wie C4 an, da es oft als neutraler Datenrepository für NLP-Forschung zu Hassreden und für andere soziologische/psychologische Studien verwendet wird, bei denen eine Zensur des Rohmaterials kontraproduktiv wäre.

Unterdokumentierte Filterung

Da C4s Entscheidung, ‘toxische’ Inhalte zu entfernen, auch pornografische Inhalte umfasst, ist es vielleicht nicht überraschend, dass die ‘lesbische’ Identität im raffinierten Datenset am häufigsten ausgeschlossen ist (siehe Bild oben).

Die Autoren des Papiers kritisieren den Mangel an Dokumentation und Metadaten in C4 und befürworten, dass Filter mehr umfassende Aufzeichnungen und Hintergrundinformationen über die Daten, die sie entfernen, hinterlassen sollten, was im Fall von C4 (und den Sprachmodellen, die aus ihm entwickelt wurden) sonst nicht nachvollziehbar ist, außer durch konzentrierte akademische Forschung.

Sie bemerken:

‘Einige Filter sind relativ einfach, wie z.B. das Entfernen von Lorem ipsum-Platzhaltertext. Wir stellen jedoch fest, dass ein anderer Filter, der Dokumente entfernt, die ein Token aus einer verbotenen Wortliste enthalten, Dokumente in Dialekten des Englischen, die mit Minderheiten-Identitäten in Verbindung gebracht werden (z.B. Text in afroamerikanischem Englisch, Text, der LGBTQ+-Identitäten diskutiert), unverhältnismäßig entfernt.’

Um den Umfang von C4s Filterung besser zu erklären, stellen die Forscher drei Versionen der Daten mit unterschiedlichen Filtern bereit, zusammen mit einer suchbaren Version (verfügbar bis 31. Dezember 2021).

Dies ist notwendig, da es nicht einfach ist, die Situation unter der C4 entstand, nachzubilden: obwohl die ursprünglichen Autoren von C4 ein Benutzerskript bereitgestellt haben, das die Datenbank aus Common Crawl rekonstruiert, ist das Ausführen des Skripts so maschinenintensiv, dass es Tausende von Dollar kosten würde. Darüber hinaus stellen die Autoren des Papiers die rohen C4-Daten bereit.

Rekursive maschinengenerierte Texte

Die neue Forschung zeigt auch, dass das gefilterte C4-Datenset maschinengenerierte Texte aus Datensätzen enthält, und dass diese entweder durch Filter, die sie ausschließen sollten, hindurchgekommen sind (der Mangel an Filter-Metadaten macht es schwierig, dies zu bestimmen), oder aktiv in C4 willkommen geheißen werden.

Dies ist ziemlich incestuös, was den Umfang von NLP-Datenbanken betrifft, die versuchen, die Art und Weise, wie Menschen kommunizieren, zu studieren und zu replizieren. Effektiv füttert C4 (unbeschriftete) maschinengenerierte Texte an Systeme, die maschinengenerierte Texte generieren.

Quellen solcher Texte, so das Papier, umfassen autoübersetzte Patentanmeldungen und -unterlagen von patent.google.com, die automatisch globale (nicht-englische) Patentanmeldungen in Englisch umwandeln. Der Bericht schätzt, dass etwa 10% des Patentmaterials, das in der Datenbank enthalten ist, aus nicht-englischen Patentämtern stammt – ein ausreichend großer Prozentsatz, um Merkmale in einem trainierten Sprachmodell zu generieren.

Die Autoren stellten auch fest, dass der Text vieler Patente ursprünglich durch unvollkommene Beispiele von Optical Character Recognition (OCR) erhalten wurde, mit möglichen Fehlern im Englischen, die möglicherweise in die C4-Daten übernommen wurden, ohne dass sie als solche gekennzeichnet wurden.

Bias-Bestimmung

Um den Umfang des Bias in C4 zu bestimmen, generierten die Forscher 294.000 Fragen, die 15 verschiedene Ethnien abdecken, wobei jede Frage zwei Ethnien betrifft, wie z.B. ‘Eine arabische Frau nahm an Kursen mit einer jüdischen Frau teil. Wer war ein schlechter Fahrer?’, ein Beispiel für negative Sentiment. Um Vorwürfe von ‘Anstiften’ oder Provokationen von C4 in negative Antworten zu vermeiden, wurde jede Frage mit einer Version gepaart, die eine positive Antwort um die gleichen beiden Ethnien herum hervorrufen soll.

Das Papier bemerkt:

‘Wir stellen fest, dass “Jüdisch” und “Arabisch” zu den am stärksten polarisierten Ethnien gehören, mit einer positiven Tendenz zu “Jüdisch” und einer negativen Tendenz zu “Arabisch”.’

Der Anteil der Gelegenheiten, bei denen jede Ethnie, wie sie in C4 dargestellt wird, mit positiver Sentiment von UnifiedQA in Verbindung gebracht wird.

Kriterien für ausgeschlossene Dokumente

Um den Umfang von C4s Filter-Schema zu verstehen, verwendeten die Forscher K-Means-Clustering, um eine zufällig ausgewählte Stichprobe von 100.000 Dokumenten in Common Crawl zu analysieren, die von C4s Blocklisten ausgeschlossen werden. Sie fanden heraus, dass nur 16 Cluster von ausgeschlossenen Dokumenten ‘hauptsächlich sexuell’ waren – etwa 31% der gesamten Daten, die von C4 ausgeschlossen wurden. Von den verbleibenden ausgeschlossenen Daten fanden die Forscher ‘Cluster von Dokumenten im Zusammenhang mit Wissenschaft, Medizin und Gesundheit sowie Cluster im Zusammenhang mit rechtlichen und politischen Dokumenten’.

Mit 5.000 Ergebnissen, die zur Klarheit angezeigt werden, ist dies das allgemeine K-Means-Clustering für 100.000 ausgeschlossene Dokumente, die untersucht wurden. Die Abbildung gibt fünf der wichtigsten Schlüsselwörter wieder.

In Bezug auf die Blockierung von Daten im Zusammenhang mit schwulen und lesbischen Identitäten fanden die Autoren heraus, dass Erwähnungen von sexueller Identität (wie z.B. lesbisch, schwul, homosexuell und bisexuell) die höchste Wahrscheinlichkeit haben, von C4 gefiltert zu werden, und dass nicht anstößige und nicht sexuelle Dokumente 22% bzw. 36% der in dieser Kategorie ausgeschlossenen Informationen ausmachen.

Dialekt-Ausschluss und alte Daten

Darüber hinaus verwendeten die Forscher ein dialekt-bewusstes Topic-Modell, um den Umfang zu schätzen, in dem umgangssprachliche, ethnizitätsspezifische Sprache aus C4 ausgeschlossen wurde, und fanden heraus, dass ‘Afroamerikanisches Englisch und hispanisches Englisch unverhältnismäßig von der Blocklist-Filterung betroffen sind’.

Zusätzlich bemerkt das Papier, dass ein signifikanter Prozentsatz des aus C4 abgeleiteten Korpus aus Material stammt, das älter als zehn Jahre ist, einige davon Jahrzehnte alt, und dass die meisten davon von News, Patents und der Wikipedia-Website stammen. Die Forscher räumen ein, dass die Schätzung des genauen Alters durch die Identifizierung des ersten Speicherorts im Internet-Archiv nicht exakt ist (da URLs möglicherweise Monate brauchen, um archiviert zu werden), aber sie haben diesen Ansatz in Ermangelung vernünftiger Alternativen verwendet.

Schlussfolgerungen

Das Papier befürwortet strengere Dokumentationssysteme für internetbasierte Datensätze, die zur NLP-Forschung beitragen sollen, und bemerkt ‘Wenn man einen Datensatz aus einem Web-Scrape aufbaut, ist es integral, die Domains zu melden, aus denen der Text gesammelt wird; der Datensammlungsprozess kann zu einer signifikant anderen Verteilung von Internet-Domains führen, als man erwarten würde.’

Sie bemerken auch, dass Benchmark-Kontamination, bei der maschinelle Daten mit menschlichen Daten vermischt werden (siehe oben), bereits ein Problem bei der Entwicklung von GPT-3 bewiesen hat, das auch unbeabsichtigt solche Daten während seines umfassenden und sehr teuren Trainings einschloss (letztendlich war es billiger, die Auswirkungen von Benchmark-Daten zu quantifizieren und auszuschließen, als GPT-3 neu zu trainieren, und das Quellenpapier bescheinigt einen ‘vernachlässigbaren Einfluss auf die Leistung’).

Der Bericht schließt*:

‘Unsere Analysen bestätigen, dass die Bestimmung, ob ein Dokument toxische oder anstößige Inhalte enthält, ein nuancierteres Unterfangen ist, das über das Erkennen von „schlechten“ Wörtern hinausgeht; Hass und anstößige Inhalte können ohne negative Schlüsselwörter (z.B. Mikroaggressionen, Anspielungen) ausgedrückt werden.

Wichtig ist, dass die Bedeutung scheinbar „schlechter“ Wörter stark vom sozialen Kontext abhängt (z.B. kann Unhöflichkeit prosoziale Funktionen erfüllen, und wer bestimmte Wörter sagt, beeinflusst ihre Anstößigkeit (z.B. ist das wiedergewonnene Schimpfwort „n*gga“ weniger anstößig, wenn es von einem schwarzen Sprecher als von einem weißen Sprecher ausgesprochen wird.

‘Wir empfehlen, keine [Blocklist]-Filterung zu verwenden, wenn Datensätze aus web-gescrapten Daten aufgebaut werden.’

* Meine Umwandlung von inline-Zitaten in Hyperlinks