MIT: Messung von Medienbias in großen Nachrichtenquellen mit Machine Learning

Eine Studie von MIT hat Machine-Learning-Techniken verwendet, um voreingenommene Formulierungen in etwa 100 der größten und einflussreichsten Nachrichtenquellen in den USA und darüber hinaus zu identifizieren, darunter 83 der einflussreichsten Print-Nachrichtenpublikationen. Es handelt sich um eine Forschungsarbeit, die den Weg zu automatisierten Systemen zeigt, die den politischen Charakter einer Publikation potenziell auto-klassifizieren und den Lesern einen tieferen Einblick in die ethische Haltung einer Quelle zu Themen geben könnten, die sie leidenschaftlich empfinden.

Die Arbeit konzentriert sich auf die Art und Weise, wie Themen mit bestimmten Formulierungen angesprochen werden, wie z.B. undokumentierter Einwanderer | illegaler Einwanderer, Fötus | ungeborenes Baby, Demonstranten | Anarchisten.

Das Projekt verwendete Natural-Language-Processing- (NLP-) Techniken, um solche Fälle von “geladener” Sprache (unter der Annahme, dass offensichtlich neutralere Begriffe auch eine politische Haltung darstellen) in eine umfassende Karte zu extrahieren und zu klassifizieren, die links- und rechtslastigen Voreingenommenheiten über drei Millionen Artikel von etwa 100 Nachrichtenquellen hinweg aufzeigt, was zu einer navigierbaren Voreingenommenheitslandschaft der betreffenden Publikationen führt.

Die Studie stammt von Samantha D’Alonzo und Max Tegmark vom Physikdepartment des MIT und bemerkt, dass eine Reihe von Initiativen zu “Fact-Checking” im Zuge zahlreicher “Fake-News”-Skandale als nicht ehrlich und dem Dienst bestimmter Interessen dienend interpretiert werden können. Das Projekt soll einen datengetriebeneren Ansatz zur Untersuchung der Verwendung von Voreingenommenheit und “Einfluss” in einem vermeintlich neutralen Nachrichtenkontext bieten.

Ein Spektrum von (wörtlich) links nach rechts gehenden Formulierungen, wie aus der Studie abgeleitet. Quelle: https://arxiv.org/pdf/2109.00024.pdf

NLP-Verarbeitung

Die Quelldaten der Studie wurden aus der Open-Source-Newspaper3K-Datenbank gewonnen und bestehen aus 3.078.624 Artikeln, die aus 100 Medien-Nachrichtenquellen stammen, darunter 83 Zeitungen. Die Zeitungen wurden aufgrund ihrer Reichweite ausgewählt, während Online-Medienquellen auch Artikel von der militärischen Nachrichtenanalyse-Website Defense One und Science enthielten.

Die in der Studie verwendeten Quellen.

Die Studie berichtet, dass der heruntergeladene Text “minimally” vorverarbeitet wurde. Direkte Zitate wurden eliminiert, da die Studie an der Sprache interessiert ist, die von Journalisten gewählt wird (obwohl die Auswahl von Zitaten selbst ein interessantes Forschungsgebiet ist).

Britische Schreibweisen wurden in amerikanische standardisiert, um die Datenbank zu standardisieren, alle Satzzeichen entfernt und alle bis auf Ordinalzahlen ebenfalls entfernt. Die anfängliche Satzgroßschreibung wurde in Kleinbuchstaben umgewandelt, aber alle anderen Großschreibungen beibehalten.

Die ersten 100.000 häufigsten Phrasen wurden identifiziert und schließlich gerankt, gesäubert und in eine Phrasenliste fusioniert. Alle redundante Sprache, die identifiziert werden konnte (wie “Teilen Sie diesen Artikel” und “Artikel erneut veröffentlicht”), wurde ebenfalls gelöscht. Variationen über wesentlich identische Phrasen (z.B. “Big Tech” und “Big Tech”, “Cyber-Sicherheit” und “Cyber-Sicherheitsmaßnahmen”) wurden standardisiert.

‘Nutpicking’

Der erste Test wurde zum Thema “Black Lives Matter” durchgeführt und konnte Phrasen-Voreingenommenheit und valente Synonyme über die Daten hinweg erkennen.

Allgemeine Prinzipkomponenten für Artikel über Black Lives Matter (BLM). Wir sehen Menschen, die an zivilem Handeln teilnehmen, die wörtlich und bildlich von links nach rechts als Demonstranten, Anarchisten und am rechten Ende des Spektrums als ‘Randalierer’ charakterisiert werden. Die Zeitungen, die die Phrase verursacht haben, sind im rechten Panel dargestellt.

Während “Protestierende” von “Anarchisten” zu “Randalierern” wechseln, wenn wir entlang der politischen Haltung der Quelle gleiten, bemerkt die Studie, dass die NLP-Extraktion und -Analyse durch die Praxis des “Nutpickings” behindert wird – wo eine Medienquelle eine Phrase zitiert, die von einem anderen politischen Segment der Gesellschaft als gültig angesehen wird und (scheinbar) auf ihre Leserschaft vertrauen kann, um die Phrase negativ zu betrachten. Die Studie zitiert “Entfinanzierung der Polizei” als Beispiel dafür.

Natürlich bedeutet dies, dass eine “linkslastige” Phrase in einem ansonsten rechtslastigen Kontext erscheint und eine ungewöhnliche Herausforderung für ein NLP-System darstellt, das auf kodifizierte Phrasen als Signifikanten für politische Haltungen angewiesen ist.

Solche Phrasen sind “zweideutig” [SIC], während bestimmte andere Phrasen eine so universell negative Konnotation haben (z.B. “Kindermord”), dass sie immer als negativ über einen Bereich von Quellen hinweg dargestellt werden.

Die Forschung zeigt auch ähnliche Karten für “heiße” Themen wie Abtreibung, Tech-Zensur, US-Einwanderung und Waffengesetze.

Hobby-Pferde

Es gibt bestimmte umstrittene politische Neigungen in Medienquellen, die sich nicht vorhersehbar in dieser Weise teilen, wie das Thema der Militärausgaben. Die Studie fand heraus, dass die “linkslastige” CNN neben der rechtslastigen National Review und Fox News auf diesem Thema landete.

Im Allgemeinen jedoch kann die politische Haltung durch andere Phrasen bestimmt werden, wie z.B. der Vorzug der Phrase “militärisch-industrieller Komplex” gegenüber der mehr rechtslastigen “Verteidigungsindustrie”. Die Ergebnisse zeigen, dass die erstere von etablierungskritischen Quellen wie Canary und American Conservative verwendet wird, während die letztere häufiger von Fox und CNN verwendet wird.

Die Forschung etabliert mehrere andere Fortschritte von etablierungskritischer zu pro-etablierter Sprache, einschließlich des Spektrums von “erschossen” zu dem mehr passiven “Tötung”; “inhaftierte Straftäter” zu “inhaftierte Menschen”; und “Ölhersteller” zu “Big Oil”.

Valente Synonyme mit etablierter Voreingenommenheit, von oben nach unten.

Die Forschung erkennt an, dass Quellen von ihrer Basis-Politik-Haltung abweichen werden, entweder auf linguistischer Ebene (wie die Verwendung von zweideutigen Phrasen) oder aus verschiedenen anderen Gründen. Zum Beispiel veröffentlicht die renommierte rechtslastige britische Publikation The Spectator, die 1828 gegründet wurde, häufig und prominent linkslastige Denkstücke, die gegen den allgemeinen politischen Fluss ihres Inhaltsstroms reiben. Ob dies aus einem Gefühl der unparteiischen Berichterstattung oder um ihre Kernleserschaft gelegentlich in verkehrsgenerierende Kommentarstürme zu versetzen, geschieht, ist eine Angelegenheit der Mutmaßung – und kein einfacher Fall für ein Machine-Learning-System, das nach klaren und konsistenten Token sucht.

Diese besonderen “Hobby-Pferde” und die mehrdeutige Verwendung von “störenden” Meinungen unter einzelnen Nachrichtenorganisationen verwirren die Links-Rechts-Karte, die die Forschung letztendlich bietet, obwohl sie einen breiten Hinweis auf die politische Zugehörigkeit gibt.

Verborgene Bedeutung

Obwohl die Studie am 2. September datiert und Ende August 2021 veröffentlicht wurde, hat sie relativ wenig Aufmerksamkeit erhalten. Teilweise könnte dies daran liegen, dass kritische Forschung, die auf die Mainstream-Medien abzielt, unwahrscheinlich von diesen begeistert aufgenommen wird; aber es könnte auch an der Zurückhaltung der Autoren liegen, klare und unmissverständliche Grafiken zu erstellen, die zeigen, wo einflussreiche und mächtige Medienpublikationen auf verschiedenen Themen stehen, zusammen mit aggregierten Werten, die den Umfang anzeigen, in dem eine Publikation nach links oder rechts tendiert. In der Tat scheinen die Autoren sich bemüht zu haben, die potenziell brisante Wirkung der Ergebnisse abzumildern.

Ebenso zeigt die umfangreiche veröffentlichte Daten der Studie Häufigkeitszahlen von Vorkommen von Wörtern, aber scheint anonymisiert zu sein, was es schwierig macht, ein klares Bild von Medienbias über die untersuchten Publikationen hinweg zu erhalten. Ohne die Operationalisierung des Projekts in irgendeiner Weise bleibt nur die ausgewählten Beispiele, die in der Studie präsentiert werden.

Spätere Studien dieser Art würden möglicherweise nützlicher sein, wenn sie nicht nur die verwendete Formulierung für Themen, sondern auch die Frage berücksichtigen würden, ob das Thema überhaupt abgedeckt wurde, da Schweigen viel sagt und eine eigene politische Dimension hat, die oft mehr als nur budgetäre Einschränkungen oder andere pragmatische Faktoren, die die Nachrichtenauswahl beeinflussen, ausdrückt.

Trotzdem scheint die MIT-Studie die größte ihrer Art zu sein und könnte den Rahmen für zukünftige Klassifizierungssysteme bilden und sogar sekundäre Technologien wie Browser-Plug-ins, die Casual-Leser auf die politische Färbung der Publikation, die sie gerade lesen, aufmerksam machen könnten.

Blasen, Voreingenommenheit und Gegenreaktion

Zusätzlich müsste berücksichtigt werden, ob solche Systeme die Tendenz von algorithmischen Empfehlungssystemen, einen Betrachter in Umgebungen zu führen, in denen er nie eine kontrastierende oder herausfordernde Meinung sieht, weiter verstärken würden, was wahrscheinlich die Meinung des Lesers zu Kernthemen weiter verfestigen würde.

Ob ein solcher Inhalts-Blasen ein “sicheres Umfeld” ist, ein Hindernis für intellektuelles Wachstum oder ein Schutz vor teilweiser Propaganda, ist eine Wertentscheidung – eine philosophische Frage, die aus der mechanistischen, statistischen Perspektive von Machine-Learning-Systemen schwer zu erreichen ist.

Weiterhin hat die MIT-Studie sich bemüht, die Daten die Ergebnisse definieren zu lassen, die Klassifizierung der politischen Werte von Phrasen ist unvermeidlich auch eine Art von Wertentscheidung, die nicht leicht der Fähigkeit der Sprache standhält, toxischen oder umstrittenen Inhalt in neue Phrasen umzukodifizieren, die nicht im Handbuch, in den Forenregeln oder in der Trainingsdatenbank stehen.

Wenn eine solche Kodifizierung in populäre Online-Systeme eingebettet würde, scheint es wahrscheinlich, dass ein anhaltender Versuch, die ethische und politische Temperatur großer Nachrichtenquellen zu kartieren, sich zu einem Kalten Krieg zwischen der Fähigkeit von KI, Voreingenommenheit zu erkennen, und der Fähigkeit der Verleger, ihre Standpunkte in einer sich entwickelnden Sprache auszudrücken, die regelmäßig die Verständnis von Semantik durch Machine Learning überholt, entwickeln könnte.

14.09.21 – 1:41 GMT+2 – Geändert von ‘100 Zeitungen’ in ‘100 Nachrichtenquellen’
16:58 Uhr – Korrigierte Zitierung des Papiers, um Samantha D’Alonzo einzuschließen, und damit verbundene Korrekturen.