Erzeugung und Identifizierung von Propaganda mit Machine Learning

Neue Forschung aus den USA und Katar bietet eine neuartige Methode zur Identifizierung von Falschinformationen, die auf die Art und Weise geschrieben sind, wie Menschen tatsächlich Falschinformationen schreiben – indem sie ungenaue Aussagen in einen größtenteils wahrheitsgetreuen Kontext einbetten und die Verwendung von beliebten Propagandatechniken wie Appelle an die Autorität und geladene Sprache.

Das Projekt hat zur Erstellung eines neuen Trainingsdatensatzes für die Falschinformationserkennung namens PropaNews geführt, der diese Techniken umfasst. Die Autoren des Studiums haben festgestellt, dass Detektoren, die auf dem neuen Datensatz trainiert wurden, 7,3-12% genauer sind bei der Erkennung von menschlich erstellten Falschinformationen als vorherige State-of-the-Art-Ansätze.

Aus dem neuen Papier, Beispiele für ‘Appell an die Autorität’ und ‘geladene Sprache’. Quelle: https://arxiv.org/pdf/2203.05386.pdf

Die Autoren behaupten, dass es sich um das erste Projekt handelt, das Propagandatechniken (anstatt von einfachen faktischen Fehlern) in maschinell generierte Textbeispiele einbezieht, die dazu bestimmt sind, Falschinformationserkennungsalgorithmen zu trainieren.

Die meisten aktuellen Arbeiten in diesem Bereich, so behaupten sie, haben sich auf Vorurteile konzentriert oder “Propaganda”-Daten im Kontext von Vorurteilen neu formuliert (arguably, weil Vorurteile nach der post-Analytica-Ära zu einem hochfinanzierten Machine-Learning-Sektor wurden).

Die Autoren erklären:

‘Im Gegensatz dazu generieren wir Falschinformationen, indem wir Propagandatechniken einbeziehen und die Mehrheit der korrekten Informationen bewahren. Daher ist unser Ansatz besser geeignet, um Verteidigungsmechanismen gegen menschlich erstellte Falschinformationen zu studieren.’

Sie erläutern weiter die wachsende Dringlichkeit von fortschrittlicheren Propaganda-Erkennungstechniken*:

‘[Menschlich erstellte] Falschinformationen, die oft verwendet werden, um bestimmte Bevölkerungsgruppen zu manipulieren, hatten katastrophale Auswirkungen auf mehrere Ereignisse, wie die Präsidentschaftswahlen 2016 in den USA, Brexit, die COVID-19-Pandemie und den jüngsten Angriff Russlands auf die Ukraine. Daher benötigen wir dringend einen Verteidigungsmechanismus gegen menschlich erstellte Falschinformationen.’

Das Papier trägt den Titel Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation und stammt von fünf Forschern der University of Illinois Urbana-Champaign, der Columbia University, der Hamad Bin Khalifa University in Katar, der University of Washington und dem Allen Institute for AI.

Definierung von Unwahrheit

Die Herausforderung der Quantifizierung von Propaganda ist größtenteils eine logistische: Es ist sehr teuer, Menschen zu beschäftigen, um reale Materialien mit Propaganda-ähnlichen Merkmalen zu erkennen und zu annotieren, um sie in einen Trainingsdatensatz einzubeziehen, und es könnte viel billiger sein, hochrangige Merkmale zu extrahieren und zu nutzen, die wahrscheinlich auf “unbekannte”, zukünftige Daten funktionieren.

Um eine skalierbarere Lösung zu finden, sammelten die Forscher zunächst menschlich erstellte Falschinformationen-Artikel aus Nachrichtenquellen, die als faktisch ungenau galten, über die Website Media Bias Fact Check.

Sie fanden heraus, dass 33% der untersuchten Artikel Propagandatechniken wie Emotion auslösende Begriffe, logische Fehlschlüsse und Appelle an die Autorität verwendeten. Weitere 55% der Artikel enthielten ungenaue Informationen, die mit genauen Informationen vermischt waren.

Erzeugung von Appellen an die Autorität

Der Appell an die Autorität hat zwei Anwendungsfälle: die Zitierung von ungenauen Aussagen und die Zitierung von völlig fiktiven Aussagen. Die Forschung konzentriert sich auf den zweiten Anwendungsfall.

Aus dem neuen Projekt, die Natural Language Inference-Framework RoBERTa identifiziert zwei weitere Beispiele für Appelle an die Autorität und geladene Sprache.

Um maschinell generierte Propaganda für den neuen Datensatz zu erstellen, verwendeten die Forscher die vorgebildete seq2seq-Architektur BART, um wichtige Sätze zu identifizieren, die später in Propaganda umgewandelt werden konnten. Da es keinen öffentlich verfügbaren Datensatz für diese Aufgabe gab, verwendeten die Autoren ein extraktives Summarisierungsmodell aus dem Jahr 2019, um die Saliency der Sätze zu schätzen.

Für einen Artikel aus jeder untersuchten Nachrichtenquelle ersetzten die Forscher diese “markierten” Sätze durch gefälschte Argumente von “Autoritäten”, die sowohl aus dem Wikidata Query Service als auch aus Autoritäten stammten, die in den Artikeln erwähnt wurden (d. h. Personen und/oder Organisationen).

Erzeugung von geladener Sprache

Geladene Sprache umfasst Wörter, oft sensationell aufgeladene Adverbien und Adjektive (wie im oben gezeigten Beispiel), die implizite Werturteile enthalten, die in den Kontext der Darstellung von Fakten eingebettet sind.

Um Daten über geladene Sprache zu erhalten, verwendeten die Autoren einen Datensatz aus einer Studie aus dem Jahr 2019, der 2.547 geladene Sprache-Instanzen enthielt. Da nicht alle Beispiele in den Daten aus dem Jahr 2019 Emotion auslösende Adverbien oder Adjektive enthielten, verwendeten die Forscher SpaCy, um Abhängigkeitsanalyse und Part-of-Speech-Tagging durchzuführen und nur geeignete Beispiele für die Einbeziehung in den Rahmen zu behalten.

Der Filterprozess ergab 1.017 gültige geladene Sprache-Beispiele. Ein weiteres Beispiel von BART wurde verwendet, um wichtige Sätze in den Quelldokumenten zu maskieren und durch geladene Sprache zu ersetzen.

PropaNews-Datensatz

Nach einer Zwischenmodellierung, die auf dem CNN/DM-Datensatz von 2015 von Google Deep Mind und der Universität Oxford durchgeführt wurde, generierten die Forscher den PropaNews-Datensatz, indem sie nicht-triviale Artikel aus “vertrauenswürdigen” Quellen wie The New York Times und The Guardian in “geänderte” Versionen umwandelten, die algorithmische Propaganda enthielten.

Das Experiment wurde nach einer Studie aus dem Jahr 2013 von Hanover modelliert, die automatisch generierte Zeitleisten-Zusammenfassungen von Nachrichtengeschichten über 17 Nachrichtenereignisse und insgesamt 4.535 Geschichten erstellte.

Die generierte Falschinformation wurde 400 einzigartigen Arbeitern auf Amazon Mechanical Turk (AMT) vorgelegt, die 2000 Human-Intelligence-Tasks (HITs) durchführten. Nur die propagandageschwängerten Artikel, die von den Arbeitern als genau bewertet wurden, wurden in die endgültige Version von PropaNews aufgenommen. Die Entscheidung über Meinungsverschiedenheiten wurde nach der Worker-Agreement-With-Aggregate-(WAWA)-Methode getroffen.

Die endgültige Version von PropaNews enthält 2.256 Artikel, die zwischen gefälschten und echten Ausgaben ausgewogen sind, von denen 30% den Appell an die Autorität nutzen, und weitere 30% geladene Sprache verwenden. Der Rest enthält einfach ungenaue Informationen, wie sie größtenteils in vorherigen Datensätzen in diesem Forschungsbereich vorkommen.

Die Daten wurden in 1.256:500:500 Trainings-, Test- und Validierungsverteilungen aufgeteilt.

HumanNews-Datensatz

Um die Effektivität der trainierten Propaganda-Erkennungsroutinen zu bewerten, erstellten die Forscher 200 von Menschen geschriebene Nachrichtenartikel, darunter Artikel, die von Politifact widerlegt wurden und zwischen 2015 und 2020 veröffentlicht wurden.

Diese Daten wurden mit zusätzlichen widerlegten Artikeln aus unzuverlässigen Nachrichtenmedien ergänzt und von einem Absolventen eines Informatik-Studiums faktisch überprüft.

Der endgültige Datensatz, der den Titel HumanNews trägt, enthält auch 100 Artikel aus der Los Angeles Times.

Tests

Der Erkennungsprozess wurde in zwei Formen mit vorherigen Frameworks verglichen: PN-Silver, das die Validierung der AMT-Annotatoren ignoriert, und PN-Gold, das die Validierung als Kriterium einbezieht.

Die konkurrierenden Frameworks umfassten das Angebot von 2019 Grover-GEN, 2020 Fact-GEN und FakeEvent, bei dem Artikel aus PN-Silver durch Dokumente ersetzt werden, die mit älteren Methoden generiert wurden.

Variationen von Grover und RoBERTa erwiesen sich als am effektivsten, wenn sie auf dem neuen PropaNews-Datensatz trainiert wurden, und die Forscher kamen zu dem Schluss, dass ‘Detektoren, die auf PropaNews trainiert werden, besser darin sind, menschlich erstellte Falschinformationen zu erkennen, als wenn sie auf anderen Datensätzen trainiert werden’.

Die Forscher stellen auch fest, dass sogar der semi-zerstörte Ablationsdatensatz PN-Silver ältere Methoden auf anderen Datensätzen übertrifft.

Veraltet?

Die Autoren wiederholen den Mangel an Forschung bislang über die automatisierte Generierung und Erkennung von Propaganda-zentrierter Falschinformation und warnen davor, dass die Verwendung von Modellen, die auf Daten vor kritischen Ereignissen (wie COVID oder der aktuellen Situation in Osteuropa) trainiert wurden, nicht optimal funktionieren können:

‘Ungefähr 48% der falsch klassifizierten menschlich erstellten Falschinformationen werden durch die Unfähigkeit verursacht, dynamisches Wissen aus neuen Nachrichtenquellen zu erwerben. Zum Beispiel werden COVID-bezogene Artikel normalerweise nach 2020 veröffentlicht, während ROBERTA auf Nachrichtenartikeln vor 2019 vorgebildet wurde. Es ist sehr schwierig für ROBERTA, Falschinformationen zu solchen Themen zu erkennen, es sei denn, der Detektor ist mit der Fähigkeit ausgestattet, dynamisches Wissen aus Nachrichtenartikeln zu erwerben.’

Die Autoren stellen weiter fest, dass RoBERTa eine Genauigkeit von 69,0% für die Erkennung von Falschinformationen erreicht, wenn das Material vor 2019 veröffentlicht wurde, aber auf 51,9% Genauigkeit fällt, wenn es auf Nachrichtenartikel nach diesem Datum angewendet wird.

Palters und Kontext

Obwohl die Studie dies nicht direkt anspricht, ist es möglich, dass diese Art von tiefem Einblick in semantische Auswirkungen letztendlich subtilere Waffen der Sprache wie Palters – die selbstsüchtige und selektive Verwendung von wahren Aussagen, um ein bestimmtes Ergebnis zu erzielen, das dem wahrgenommenen Geist und der Absicht der verwendeten Beweise entgegengesetzt sein kann – angehen könnte.

Ein verwandter und etwas weiterentwickelter Forschungsbereich in NLP, Computer-Vision und multimodaler Forschung ist die Studie des Kontexts als Ergänzung der Bedeutung, bei der selektive und selbstsüchtige Umordnung oder Neukontextualisierung von wahren Fakten gleichbedeutend mit einem Versuch ist, eine andere Reaktion hervorzurufen, als die Fakten möglicherweise hätten, wenn sie in einem klareren und lineareren Format präsentiert worden wären.

* Meine Umwandlung der Inline-Zitate der Autoren in direkte Hyperlinks.

Erstveröffentlicht am 11. März 2022.