Generierung und Identifizierung von Propaganda mit Machine Learning

Neue Forschung aus den Vereinigten Staaten und Katar bietet eine neuartige Methode zur Identifizierung von Fake News, die auf die Art und Weise geschrieben wurde, wie Menschen tatsächlich Fake News schreiben – indem ungenaue Aussagen in einen größtenteils wahrheitsgetreuen Kontext eingebettet werden und durch den Einsatz beliebter Propagandatechniken wie Appelle an die Autorität und geladene Sprache.

Das Projekt hat zur Erstellung eines neuen Trainingsdatensatzes für die Erkennung von Fake News namens PropaNews geführt, der diese Techniken umfasst. Die Autoren der Studie haben festgestellt, dass Detektoren, die auf dem neuen Datensatz trainiert wurden, 7,3-12% genauer sind bei der Erkennung von menschlich geschriebener Desinformation als vorherige State-of-the-Art-Ansätze.

Aus dem neuen Paper, Beispiele für ‘Appell an die Autorität’ und ‘geladene Sprache’. Quelle: https://arxiv.org/pdf/2203.05386.pdf

Die Autoren behaupten, dass das Projekt, soweit sie wissen, das erste ist, das Propagandatechniken (und nicht nur einfache faktische Ungenauigkeiten) in maschinengenerierte Textbeispiele für die Erkennung von Fake News einbezieht.

Die meisten Arbeiten in diesem Bereich haben, so behaupten sie, Bias studiert oder “Propaganda”-Daten im Kontext von Bias neu formuliert (arguably, weil Bias zu einem hoch geförderten Bereich des Machine Learning in der post-Analytica-Ära wurde).

Die Autoren stellen fest:

‘Im Gegensatz dazu generiert unsere Arbeit Fake News, indem sie Propagandatechniken einbezieht und die Mehrheit der korrekten Informationen bewahrt. Daher ist unser Ansatz besser geeignet für die Untersuchung der Verteidigung gegen menschlich geschriebene Fake News.’

Sie veranschaulichen weiter die wachsende Dringlichkeit von noch sophistizierteren Propaganda-Erkennungstechniken*:

‘[Menschlich geschriebene] Desinformation, die oft verwendet wird, um bestimmte Bevölkerungsgruppen zu manipulieren, hatte katastrophale Auswirkungen auf mehrere Ereignisse, wie die Präsidentschaftswahlen 2016 in den USA, Brexit, die COVID-19-Pandemie und den jüngsten Angriff Russlands auf die Ukraine. Daher benötigen wir dringend ein Verteidigungsmechanismus gegen menschlich geschriebene Desinformation.’

Das Papier trägt den Titel Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation und stammt von fünf Forschern der University of Illinois Urbana-Champaign, Columbia University, Hamad Bin Khalifa University in Katar, der University of Washington und dem Allen Institute for AI.

Definieren von Unwahrheit

Die Herausforderung, Propaganda zu quantifizieren, ist größtenteils eine logistische: Es ist sehr teuer, Menschen anzustellen, um reale Materialien mit propagandistischen Merkmalen für die Aufnahme in einen Trainingsdatensatz zu erkennen und zu annotieren, und es könnte viel billiger sein, hochrangige Merkmale zu extrahieren und zu nutzen, die wahrscheinlich auf “unbekannte”, zukünftige Daten funktionieren.

Um eine skalierbarere Lösung zu erreichen, sammelten die Forscher zunächst menschlich erstellte Desinformationsartikel von Nachrichtenquellen, die als niedrig in faktischer Genauigkeit galten, über die Website Media Bias Fact Check.

Sie fanden heraus, dass 33% der untersuchten Artikel unredliche Propagandatechniken verwendeten, einschließlich emotionsauslösender Begriffe, logischer Fehlschlüsse und Appelle an Autoritäten. Ein weiteres 55% der Artikel enthielten ungenaue Informationen, die mit genauen Informationen vermischt waren.

Generieren von Appellen an die Autorität

Der Appell an die Autorität-Ansatz hat zwei Anwendungsfälle: die Zitierung ungenauer Aussagen und die Zitierung völlig fiktiver Aussagen. Die Forschung konzentriert sich auf den zweiten Anwendungsfall.

Aus dem neuen Projekt, das Natural Language Inference-Framework RoBERTa identifiziert zwei weitere Beispiele für Appelle an die Autorität und geladene Sprache.

Um maschinengenerierte Propaganda für den neuen Datensatz zu erstellen, verwendeten die Forscher die vorge trainierte seq2seq-Architektur BART, um wichtige Sätze zu identifizieren, die später in Propaganda geändert werden konnten. Da es keinen öffentlich verfügbaren Datensatz für diese Aufgabe gab, verwendeten die Autoren ein extraktives Summarisierungsmodell, das 2019 vorgeschlagen wurde, um die Saliency von Sätzen zu schätzen.

Für einen Artikel aus jeder untersuchten Nachrichtenquelle ersetzten die Forscher diese “markierten” Sätze mit falschen Argumenten von “Autoritäten”, die sowohl aus dem Wikidata Query Service als auch von Autoritäten abgeleitet wurden, die in den Artikeln erwähnt wurden (d. h. Personen und/oder Organisationen).

Generieren von geladener Sprache

Geladene Sprache umfasst Wörter, oft sensationell aufgeladene Adverbien und Adjektive (wie im oben gezeigten Beispiel), die implizite Werturteile enthalten, die in den Kontext der Darstellung einer Tatsache eingebettet sind.

Um Daten über geladene Sprache zu erhalten, verwendeten die Autoren einen Datensatz aus einer Studie von 2019, der 2.547 geladene Sprache-Instanzen enthielt. Da nicht alle Beispiele in den Daten von 2019 emotionsauslösende Adverbien oder Adjektive enthielten, verwendeten die Forscher SpaCy, um Abhängigkeitsanalyse und Part-of-Speech-Tagging durchzuführen und nur geeignete Beispiele für die Aufnahme in den Rahmen zu erhalten.

Der Filterprozess ergab 1.017 gültige geladene Sprache-Beispiele. Ein weiteres Beispiel von BART wurde verwendet, um wichtige Sätze in den Quelldokumenten durch geladene Sprache zu ersetzen.

PropaNews-Datensatz

Nach einer Zwischenmodellierung, die auf dem CNN/DM-Datensatz von 2015 von Google Deep Mind und der Universität Oxford durchgeführt wurde, generierten die Forscher den PropaNews-Datensatz, indem sie nicht-triviale Artikel aus “vertrauenswürdigen” Quellen wie The New York Times und The Guardian in “geänderte” Versionen umwandelten, die handgefertigte algorithmische Propaganda enthielten.

Das Experiment wurde nach einer Studie von 2013 aus Hanover modelliert, die automatisch generierte Zeitachsenzusammenfassungen von Nachrichtengeschichten über 17 Nachrichtenereignisse und insgesamt 4.535 Geschichten erstellte.

Die generierte Desinformation wurde 400 einzigartigen Arbeitern bei Amazon Mechanical Turk (AMT) vorgelegt, die 2.000 Human Intelligence Tasks (HITs) umfassten. Nur die propagandageschwängerten Artikel, die von den Arbeitern als genau bewertet wurden, wurden in die endgültige Version von PropaNews aufgenommen. Abstimmungen über Meinungsverschiedenheiten wurden nach der Worker Agreement With Aggregate (WAWA)-Methode bewertet.

Die endgültige Version von PropaNews enthält 2.256 Artikel, die zwischen Fake- und Real-Output ausbalanciert sind, 30% davon nutzen Appelle an die Autorität, und weitere 30% verwenden geladene Sprache. Der Rest enthält einfach ungenaue Informationen der Art, die größtenteils vorherige Datensätze in diesem Forschungsbereich bevölkert haben.

Die Daten wurden in 1.256:500:500-Verteilungen für Training, Testen und Validierung aufgeteilt.

HumanNews-Datensatz

Um die Wirksamkeit der trainierten Propaganda-Erkennungsroutinen zu bewerten, compilierten die Forscher 200 menschlich geschriebene Nachrichtenartikel, darunter Artikel, die von Politifact widerlegt wurden und zwischen 2015 und 2020 veröffentlicht wurden.

Diese Daten wurden mit zusätzlichen widerlegten Artikeln aus unzuverlässigen Nachrichtenmedien ergänzt und die Summe von einem Informatik-Diplomanden faktisch überprüft.

Der endgültige Datensatz, der den Titel HumanNews trägt, enthält auch 100 Artikel aus der Los Angeles Times.

Tests

Der Erkennungsprozess wurde in zwei Formen gegen vorherige Frameworks gestellt: PN-Silver, das die Validierung der AMT-Annotatoren ignoriert, und PN-Gold, das die Validierung als Kriterium einschließt.

Die konkurrierenden Frameworks umfassten das Angebot von 2019 Grover-GEN, 2020’s Fact-GEN und FakeEvent, bei dem Artikel aus PN-Silver durch Dokumente ersetzt wurden, die mit diesen älteren Methoden generiert wurden.

Varianten von Grover und RoBERTa erwiesen sich als am effektivsten, wenn sie auf dem neuen PropaNews-Datensatz trainiert wurden, und die Forscher kamen zu dem Schluss, dass ‘Detektoren, die auf PROPANEWS trainiert werden, besser darin sind, menschlich geschriebene Desinformation zu erkennen, als wenn sie auf anderen Datensätzen trainiert werden’.

Die Forscher bemerken auch, dass sogar der semi-cripple-Ablationsdatensatz PN-Silver ältere Methoden auf anderen Datensätzen übertrifft.

Veraltet?

Die Autoren wiederholen den Mangel an Forschung bis dato über die automatisierte Generierung und Erkennung von propaganda-zentrierter Fake News und warnen davor, dass die Verwendung von Modellen, die auf Daten vor kritischen Ereignissen (wie COVID oder, argumentierbar, der aktuellen Situation in Osteuropa) trainiert wurden, nicht optimal funktionieren kann:

‘Etwa 48% der falsch klassifizierten menschlich geschriebenen Desinformationen werden durch die Unfähigkeit verursacht, dynamisches Wissen aus neuen Nachrichtenquellen zu erwerben. Zum Beispiel werden COVID-bezogene Artikel normalerweise nach 2020 veröffentlicht, während ROBERTA auf Nachrichtenartikeln trainiert wurde, die vor 2019 veröffentlicht wurden. Es ist sehr schwierig für ROBERTA, Desinformation zu solchen Themen zu erkennen, es sei denn, der Detektor ist mit der Fähigkeit ausgestattet, dynamisches Wissen aus Nachrichtenartikeln zu erwerben.’

Die Autoren stellen weiter fest, dass RoBERTa eine Genauigkeit von 69,0% für die Erkennung von Fake-News-Artikeln erreicht, die vor 2019 veröffentlicht wurden, aber auf 51,9% Genauigkeit sinkt, wenn sie auf Nachrichtenartikel angewendet wird, die nach diesem Datum veröffentlicht wurden.

Paltieren und Kontext

Obwohl die Studie dies nicht direkt anspricht, ist es möglich, dass diese Art von tiefem Einblick in semantische Auswirkungen eventually die subtilere Waffe der Sprache, wie Paltieren – die selbstsüchtige und selektive Verwendung wahrer Aussagen, um ein bestimmtes Ergebnis zu erzielen, das dem wahrgenommenen Geist und der Absicht der verwendeten Beweise entgegenstehen kann – angehen könnte.

Eine verwandte und etwas entwickeltere Forschungsrichtung in NLP, Computer Vision und multimodaler Forschung ist die Studie des Kontexts als Ergänzung der Bedeutung, bei der die selektive und selbstsüchtige Umordnung oder Neukontextualisierung von wahren Fakten gleichbedeutend mit einem Versuch ist, eine andere Reaktion hervorzurufen, als die Fakten normalerweise bewirken würden, wenn sie in einer klaren und linearen Form präsentiert würden.

* Meine Umwandlung der inline-Zitate der Autoren in direkte Hyperlinks.

Erstveröffentlicht am 11. März 2022.