Andersons Blickwinkel

KI-gestützte Prüfung von Nachrichtenartikeln auf Voreingenommenheit, verfügbar in Python

Martin Anderson
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Wichtige PunkteDbias ist das erste konfigurierbare Paket zur Erkennung von Voreingenommenheit in…
Mehr anzeigen
  • Dbias ist das erste konfigurierbare Paket zur Erkennung von Voreingenommenheit in Nachrichtenartikeln.
  • Die Pipeline wandelt geladene Sprache automatisch in neutralen Text um, anstatt die Benutzer zu trainieren.
  • Dbias übertraf alle konkurrierenden Frameworks, einschließlich BERT und RoBERTa, bei der Erkennung von Voreingenommenheit.

Forscher in Kanada, Indien, China und Australien haben zusammengearbeitet, um ein kostenlos verfügbares Python-Paket zu erstellen, das effektiv verwendet werden kann, um “unfaire Sprache” in Nachrichtentexten zu erkennen und zu ersetzen.

Das System, das Dbias genannt wird, verwendet verschiedene Machine-Learning-Technologien und Datenbanken, um einen dreistufigen Kreislauf zu entwickeln, der voreingenommene Texte verfeinern kann, bis er eine nicht voreingenommene oder zumindest neutralere Version zurückgibt.

Wertende Sprache in einem Nachrichtensnippet wird als 'voreingenommen' identifiziert und in eine weniger anstößige Version durch Dbias umgewandelt. Quelle: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Wertende Sprache in einem Nachrichtensnippet wird als ‘voreingenommen’ identifiziert und in eine weniger anstößige Version durch Dbias umgewandelt. Quelle: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Das System stellt eine wiederverwendbare und eigenständige Pipeline dar, die über Pip von Hugging Face installiert werden kann und in bestehende Projekte als zusätzlicher Schritt, Add-on oder Plugin integriert werden kann.

Im April wurde eine ähnliche Funktionalität in Google Docs kritisiert, nicht zuletzt wegen der fehlenden Anpassbarkeit. Dbias hingegen kann selektiver auf jeden Korpus von Nachrichten trainiert werden, den der Endbenutzer wünscht, und behält die Fähigkeit, maßgeschneiderte Fairness-Richtlinien zu entwickeln.

Der entscheidende Unterschied besteht darin, dass die Dbias-Pipeline darauf ausgelegt ist, “wertende Sprache” (Wörter, die eine kritische Schicht zur faktischen Kommunikation hinzufügen) automatisch in neutrale oder prosaische Sprache umzuwandeln, anstatt den Benutzer kontinuierlich zu schulen. Im Grunde genommen wird der Endbenutzer ethische Filter definieren und das System entsprechend trainieren; im Google-Docs-Ansatz wird das System – so ließe sich argumentieren – den Benutzer in einseitiger Weise trainieren.

Konzeptionelle Architektur für den Dbias-Workflow.

Konzeptionelle Architektur für den Dbias-Workflow.

Laut den Forschern ist Dbias das erste wirklich konfigurierbare Voreingenommenheits-Erkennungspaket, im Gegensatz zu den Projekten, die vorgefertigte Komponenten zusammenfügen, die diesen Teilbereich des Natural Language Processing (NLP) bislang geprägt haben.

Die neue Studie trägt den Titel Ein Ansatz zur Gewährleistung von Fairness in Nachrichtenartikeln und stammt von Mitwirkenden der University of Toronto, der Toronto Metropolitan University, der Environmental Resources Management in Bangalore, der DeepBlue Academy of Sciences in China und der University of Sydney.

Methode

Das erste Modul in Dbias ist Voreingenommenheits-Erkennung, das das DistilBERT-Paket nutzt – eine hoch optimierte Version von Googles relativ rechenintensivem Modell BERT. Für das Projekt wurde DistilBERT auf dem Media Bias Annotation- (MBIC)-Dataset feinjustiert.

MBIC besteht aus Nachrichtenartikeln aus verschiedenen Medienquellen, einschließlich Huffington Post, USA Today und MSNBC. Die Forscher verwendeten die erweiterte Version des Datensatzes.

Obwohl die ursprünglichen Daten von Crowdsourced-Arbeitern annotiert wurden (eine Methode, die Ende 2021 kritisiert wurde), konnten die Forscher der neuen Studie zusätzliche nicht annotierte Beispiele von Voreingenommenheit im Datensatz identifizieren und manuell hinzufügen. Die identifizierten Vorfälle von Voreingenommenheit bezogen sich auf Rasse, Bildung, Ethnie, Sprache, Religion und Geschlecht.

Das nächste Modul, Voreingenommenheits-Erkennung, verwendet Named Entity Recognition (NER), um einzelne voreingenommene Wörter im Eingabetext zu identifizieren. Die Studie besagt:

‘Beispielsweise wurde die Nachricht “Glaube nicht an den pseudowissenschaftlichen Hype über Tornados und Klimawandel” als voreingenommen von dem vorherigen Voreingenommenheits-Erkennungsmodul klassifiziert, und das Voreingenommenheits-Erkennungsmodul kann nun den Begriff “pseudowissenschaftlicher Hype” als voreingenommenes Wort identifizieren.’

NER ist nicht speziell für diese Aufgabe entwickelt worden, wurde aber bereits für Voreingenommenheits-Erkennung verwendet, insbesondere für ein 2021-Projekt der Durham University im Vereinigten Königreich.

Für diese Phase verwendeten die Forscher RoBERTa in Kombination mit der SpaCy English Transformer NER-Pipeline.

Die nächste Phase, Voreingenommenheits-Maskierung, umfasst eine neuartige multiple-Maskierung der identifizierten Voreingenommenheitswörter, die sequentiell in Fällen von mehreren identifizierten Voreingenommenheitswörtern operiert.

Wertende Sprache wird durch pragmatische Sprache in der dritten Phase von Dbias ersetzt. Beachten Sie, dass 'mouthing' und 'using' dieselbe Aktion bedeuten, obwohl die erste als herabwürdigend angesehen wird.

In der dritten Phase von Dbias wird wertende durch sachliche Sprache ersetzt. Die Wörter mouthing und using bezeichnen dieselbe Handlung, wobei das erste als abwertend gilt.

Wenn notwendig, wird das Feedback aus dieser Phase an den Anfang der Pipeline zurückgesendet, um weitere Bewertungen durchzuführen, bis eine Reihe von geeigneten alternativen Formulierungen oder Wörtern generiert wurde. Diese Phase verwendet Masked Language Modeling (MLM) nach einem Ansatz, der von einer 2021-Kollaboration von Facebook Research etabliert wurden.

Normalerweise maskiert die MLM-Aufgabe 15 % der Wörter zufällig, aber der Dbias-Workflow sagt dem Prozess, die identifizierten voreingenommenen Wörter als Eingabe zu verwenden.

Die Architektur wurde auf Google Colab Pro auf einem NVIDIA (NVDA ) P100 mit 24 GB VRAM bei einer Batch-Größe von 16 implementiert und trainiert, wobei nur zwei Labels (voreingenommen und nicht voreingenommen) verwendet wurden.

Tests

Die Forscher testeten Dbias gegen fünf vergleichbare Ansätze: LG-TFIDF mit Logistischer Regression und TfidfVectorizer (TFIDF) Wort-Einbettungen; LG-ELMO; MLP-ELMO (ein feed-forward künstliches neuronales Netzwerk, das ELMO-Einbettungen enthält); BERT; und RoBERTa.

Die für die Tests verwendeten Metriken waren Genauigkeit (ACC), Präzision (PREC), Recall (Rec) und ein F1-Score. Da die Forscher keine Kenntnis von einem bestehenden System hatten, das alle drei Aufgaben in einer einzigen Pipeline ausführen konnte, wurde eine Ausnahme für die konkurrierenden Frameworks gemacht, indem nur Dbias’ primäre Aufgaben – Erkennung von Voreingenommenheit und Identifizierung voreingenommener Wörter – bewertet wurden.

Ergebnisse der Dbias-Tests.

Ergebnisse der Dbias-Tests.

Dbias übertraf die Ergebnisse aller konkurrierenden Frameworks, einschließlich derer mit einem höheren Verarbeitungsfootprint

Die Studie besagt:

‘Das Ergebnis zeigt auch, dass tiefe neuronale Einbettungen im Allgemeinen traditionelle Einbettungsmethoden (z. B. TFIDF) bei der Voreingenommenheitsklassifizierung überbieten können. Dies wird durch die bessere Leistung von tiefen neuronalen Einbettungen (d. h. ELMO) im Vergleich zu TFIDF-Vektorisierung bei Verwendung mit LG gezeigt.’

‘Dies liegt wahrscheinlich daran, dass tiefe neuronale Einbettungen den Kontext der Wörter im Text in verschiedenen Kontexten besser erfassen können. Die tiefen neuronalen Einbettungen und tiefen neuronalen Methoden (MLP, BERT, RoBERTa) schneiden auch besser ab als traditionelle ML-Methoden (LG).’

Die Forscher bemerken auch, dass Transformer-basierte Methoden konkurrierende Methoden bei der Voreingenommenheits-Erkennung überbieten.

Ein zusätzlicher Test umfasste einen Vergleich zwischen Dbias und verschiedenen Varianten des SpaCy Core Web, einschließlich core-sm (klein), core-md (mittel) und core-lg (groß). Dbias führte auch in diesen Tests die Rangliste an:

Die Forscher kommen zu dem Schluss, dass Voreingenommenheits-Erkennungsaufgaben im Allgemeinen eine bessere Genauigkeit in größeren und teureren Modellen zeigen, was – so spekulieren sie – auf die erhöhte Anzahl von Parametern und Datenpunkten zurückzuführen ist. Sie bemerken auch, dass die Wirksamkeit zukünftiger Arbeiten in diesem Bereich von größeren Anstrengungen zur Annotation hochwertiger Datensätze abhängt.

Der Wald und die Bäume

Hoffentlich wird ein solches feines Voreingenommenheits-Erkennungsprojekt letztendlich in Voreingenommenheits-Frameworks integriert, die einen weniger verengten Blick haben und berücksichtigen, dass die Auswahl einer bestimmten Geschichte an sich ein Akt der Voreingenommenheit ist, der durch mehr als nur gemeldete Zuschauerzahlen getrieben sein kann.

 

Erstveröffentlicht am 14. Juli 2022.

Autor im Bereich maschinelles Lernen, Fachspezialist für menschliche Bildsynthese. Ehemaliger Leiter der Forschungsinhalte bei Metaphysic.ai, bis zu seiner Auflösung in DNEG's Brahma.ai.
Website: martinanderson.ai
Kontakt: martin@martinanderson.ai