Ein AI-gesteuerter Bias-Checker für Nachrichtenartikel, verfügbar in Python

Forscher in Kanada, Indien, China und Australien haben zusammengearbeitet, um ein kostenlos verfügbares Python-Paket zu erstellen, das effektiv verwendet werden kann, um “unfaire Sprache” in Nachrichtentexten zu erkennen und zu ersetzen.

Das System, das Dbias genannt wird, verwendet verschiedene Machine-Learning-Technologien und Datenbanken, um einen dreistufigen Kreislauf zu entwickeln, der voreingenommene Texte verfeinern kann, bis er eine nicht voreingenommene oder zumindest neutralere Version zurückgibt.

Geladene Sprache in einem Nachrichtensnippet wird als ‘voreingenommen’ identifiziert und in eine weniger anstößige Version durch Dbias umgewandelt. Quelle: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Das System stellt eine wiederverwendbare und selbstenthaltene Pipeline dar, die über Pip von Hugging Face installiert werden kann und in bestehende Projekte als zusätzlicher Schritt, Add-on oder Plugin integriert werden kann.

Im April wurde eine ähnliche Funktionalität in Google Docs kritisiert, nicht zuletzt wegen ihres Fehlens an Editierbarkeit. Dbias hingegen kann selektiver auf jeden Korpus von Nachrichten trainiert werden, den der Endbenutzer wünscht, und behält die Fähigkeit, maßgeschneiderte Fairness-Richtlinien zu entwickeln.

Der entscheidende Unterschied besteht darin, dass die Dbias-Pipeline darauf ausgelegt ist, “geladene Sprache” (Wörter, die eine kritische Schicht zur faktischen Kommunikation hinzufügen) automatisch in neutrale oder prosaische Sprache umzuwandeln, anstatt den Benutzer kontinuierlich zu schulen. Im Grunde genommen wird der Endbenutzer ethische Filter definieren und das System entsprechend trainieren; im Google-Docs-Ansatz wird das System – angeblich – den Benutzer in einseitiger Weise trainieren.

Konzeptionelle Architektur für den Dbias-Workflow.

Laut den Forschern ist Dbias das erste wirklich konfigurierbare Voreingenommenheits-Erkennungspaket, im Gegensatz zu den vorgefertigten Assembly-Projekten, die diesen Teilbereich des Natural Language Processing (NLP) bislang geprägt haben.

Die neue Studie trägt den Titel Ein Ansatz zur Gewährleistung von Fairness in Nachrichtenartikeln und stammt von Mitwirkenden der University of Toronto, der Toronto Metropolitan University, der Environmental Resources Management in Bangalore, der DeepBlue Academy of Sciences in China und der University of Sydney.

Methode

Das erste Modul in Dbias ist Voreingenommenheits-Erkennung, das das DistilBERT-Paket nutzt – eine hoch optimierte Version von Google’s maschinenintensivem BERT. Für das Projekt wurde DistilBERT auf dem Media Bias Annotation- (MBIC)-Dataset feinjustiert.

MBIC besteht aus Nachrichtenartikeln aus verschiedenen Medienquellen, einschließlich Huffington Post, USA Today und MSNBC. Die Forscher verwendeten die erweiterte Version des Datensatzes.

Obwohl die ursprünglichen Daten von Crowdsourced-Arbeitern annotiert wurden (eine Methode, die im Jahr 2021 unter Beschuss geriet), konnten die Forscher der neuen Studie zusätzliche nicht annotierte Beispiele von Voreingenommenheit im Datensatz identifizieren und manuell hinzufügen. Die identifizierten Vorfälle von Voreingenommenheit bezogen sich auf Rasse, Bildung, Ethnie, Sprache, Religion und Geschlecht.

Das nächste Modul, Voreingenommenheits-Erkennung, verwendet Named Entity Recognition (NER), um voreingenommene Wörter aus dem Eingabetext zu individuieren. Die Studie besagt:

‘Beispielsweise wurde die Nachricht “Kauf nicht den pseudo-wissenschaftlichen Hype über Tornados und Klimawandel” als voreingenommen von dem vorherigen Voreingenommenheits-Erkennungsmodul klassifiziert, und das Voreingenommenheits-Erkennungsmodul kann nun den Begriff “pseudo-wissenschaftlicher Hype” als voreingenommenes Wort identifizieren.’

NER ist nicht speziell für diese Aufgabe entwickelt worden, wurde aber bereits für Voreingenommenheits-Erkennung verwendet, insbesondere für ein 2021-Projekt der Durham University im Vereinigten Königreich.

Für diese Phase verwendeten die Forscher RoBERTa in Kombination mit der SpaCy English Transformer NER-Pipeline.

Die nächste Phase, Voreingenommenheits-Maskierung, umfasst eine neuartige multiple-Maskierung der identifizierten Voreingenommenheitswörter, die sequentiell in Fällen von mehreren identifizierten Voreingenommenheitswörtern operiert.

Geladene Sprache wird durch pragmatische Sprache in der dritten Phase von Dbias ersetzt.

Wenn notwendig, wird das Feedback aus dieser Phase an den Anfang der Pipeline zurückgesendet, um weitere Bewertungen durchzuführen, bis eine Reihe von geeigneten alternativen Formulierungen oder Wörtern generiert wurde. Diese Phase verwendet Masked Language Modeling (MLM) entlang von Linien, die von einer 2021-Kollaboration von Facebook Research etabliert wurden.

Normalerweise maskiert die MLM-Aufgabe 15 % der Wörter zufällig, aber der Dbias-Workflow sagt dem Prozess, die identifizierten voreingenommenen Wörter als Eingabe zu verwenden.

Die Architektur wurde auf Google Colab Pro auf einem NVIDIA P100 mit 24 GB VRAM bei einer Batch-Größe von 16 implementiert und trainiert, wobei nur zwei Labels (voreingenommen und nicht voreingenommen) verwendet wurden.

Tests

Die Forscher testeten Dbias gegen fünf vergleichbare Ansätze: LG-TFIDF mit Logistischer Regression und TfidfVectorizer (TFIDF) Wort-Einbettungen; LG-ELMO; MLP-ELMO (ein feed-forward künstliches neuronales Netzwerk, das ELMO-Einbettungen enthält); BERT; und RoBERTa.

Die für die Tests verwendeten Metriken waren Genauigkeit (ACC), Präzision (PREC), Recall (Rec) und ein F1-Score. Da die Forscher keine Kenntnis von einem bestehenden System hatten, das alle drei Aufgaben in einer einzigen Pipeline ausführen konnte, wurde eine Ausnahme für die konkurrierenden Frameworks gemacht, indem nur Dbias’ primäre Aufgaben – Voreingenommenheits-Erkennung und -Erkennung – bewertet wurden.

Ergebnisse der Dbias-Tests.

Dbias übertraf die Ergebnisse aller konkurrierenden Frameworks, einschließlich derer mit einem höheren Verarbeitungsfootprint

Die Studie besagt:

‘Das Ergebnis zeigt auch, dass tiefe neuronale Einbettungen im Allgemeinen traditionelle Einbettungsmethoden (z. B. TFIDF) bei der Voreingenommenheitsklassifizierung überbieten können. Dies wird durch die bessere Leistung von tiefen neuronalen Einbettungen (z. B. ELMO) im Vergleich zu TFIDF-Vektorisierung bei Verwendung mit LG gezeigt.

‘Dies liegt wahrscheinlich daran, dass tiefe neuronale Einbettungen den Kontext der Wörter im Text in verschiedenen Kontexten besser erfassen können. Die tiefen neuronalen Einbettungen und tiefen neuronalen Methoden (MLP, BERT, RoBERTa) performen auch besser als traditionelle ML-Methoden (LG).’

Die Forscher bemerken auch, dass Transformer-basierte Methoden konkurrierende Methoden bei der Voreingenommenheits-Erkennung überbieten.

Ein zusätzlicher Test umfasste einen Vergleich zwischen Dbias und verschiedenen Varianten des SpaCy Core Web, einschließlich core-sm (klein), core-md (mittel) und core-lg (groß). Dbias führte auch in diesen Tests die Rangliste an:

Die Forscher kommen zu dem Schluss, dass Voreingenommenheits-Erkennungsaufgaben im Allgemeinen eine bessere Genauigkeit in größeren und teureren Modellen zeigen, was – so spekulieren sie – auf die erhöhte Anzahl von Parametern und Datenpunkten zurückzuführen ist. Sie bemerken auch, dass die Wirksamkeit zukünftiger Arbeiten in diesem Bereich von größeren Anstrengungen zur Annotation hochwertiger Datensätze abhängt.

Der Wald und die Bäume

Hoffentlich wird ein solches feines Voreingenommenheits-Erkennungsprojekt letztendlich in Voreingenommenheits-Frameworks integriert, die einen weniger myopischen Blick haben und berücksichtigen, dass die Auswahl einer bestimmten Geschichte an sich ein Akt der Voreingenommenheit ist, der durch mehr als nur gemeldete Zuschauerzahlen getrieben sein kann.

Erstveröffentlicht am 14. Juli 2022.