Statistisches Modell hilft bei der Erkennung von Fehlinformationen in sozialen Medien

Ein Mathematikprofessor von der American University, zusammen mit seinem Team von Mitarbeitern, entwickelte ein statistisches Modell, das Fehlinformationen in sozialen Medien-Beiträgen erkennen kann.

Machine Learning wird immer mehr verwendet, um die Verbreitung von Fehlinformationen zu stoppen, aber es gibt immer noch ein großes Hindernis, das mit dem Problem der Black Boxes zusammenhängt. Dies bezieht sich auf die Situation, in der Forscher nicht verstehen, wie eine Maschine zu denselben Entscheidungen wie menschliche Trainer kommt.

Fehlinformationen mit statistischen Modellen erkennen

Zois Boukouvalas, Assistenzprofessor im Department of Mathematics and Statistics der AU, verwendete ein Twitter-Datensatz mit Fehlinformationen-Tweets über COVID-19, um zu demonstrieren, wie statistische Modelle Fehlinformationen in sozialen Medien während großer Ereignisse wie einer Pandemie oder einer Katastrophe erkennen können.

Boukouvalas und seine Kollegen, darunter die AU-Studentin Caitlin Moroney und der Computer Science Professor Nathalie Japkowics, demonstrierten, wie die Entscheidungen des Modells mit denen von Menschen übereinstimmen, in der neu veröffentlichten Forschung.

“Wir möchten wissen, was eine Maschine denkt, wenn sie Entscheidungen trifft, und wie und warum sie mit den Menschen übereinstimmt, die sie trainiert haben”, sagte Boukouvalas. “Wir wollen nicht, dass jemand sein soziales Medien-Konto gesperrt wird, weil das Modell eine voreingenommene Entscheidung trifft.”

Die Methode, die das Team verwendet, ist eine Art Machine Learning, die auf Statistik basiert. Statistische Modelle sind effektiv und bieten eine weitere Möglichkeit, Fehlinformationen zu bekämpfen.

Das Modell erreichte eine hohe Vorhersageleistung und klassifizierte einen Testdatensatz von 112 echten und Fehlinformationen-Tweets mit fast 90% Genauigkeit.

“Was an diesem Ergebnis bedeutsam ist, ist, dass unser Modell Genauigkeit bei gleichzeitiger Transparenz über die Art und Weise, wie es die Tweets als Fehlinformationen erkannt hat, erreicht hat”, fuhr Boukouvalas fort. “Deep-Learning-Methoden können diese Art von Genauigkeit nicht mit Transparenz erreichen.”

Das Modell trainieren und vorbereiten

Die Forscher bereiteten das Modell vor, bevor sie es auf einem Datensatz testeten, da die von Menschen bereitgestellten Informationen Vorurteile und Black Boxes einführen können.

Die Tweets wurden von den Forschern als Fehlinformationen oder echte Tweets auf der Grundlage einer Reihe von vordefinierten Regeln über die in Fehlinformationen verwendete Sprache klassifiziert. Das Team berücksichtigte auch Nuancen in der menschlichen Sprache und linguistische Merkmale, die mit Fehlinformationen in Verbindung stehen.

Bevor das Modell trainiert wurde, identifizierte der Soziolinguistik-Professor Christine Mallinson von der University of Maryland Baltimore County die Tweets für Schreibstile, die mit Fehlinformationen, Vorurteilen und weniger verlässlichen Quellen in Nachrichtenmedien in Verbindung stehen.

“Sobald wir diese Eingaben in das Modell einfügen, versucht es, die zugrunde liegenden Faktoren zu verstehen, die zur Trennung von guter und schlechter Information führen”, sagte Japkowicz. “Es lernt den Kontext und wie Wörter interagieren.”

Die Forscher werden nun daran arbeiten, die Benutzeroberfläche für das Modell zu verbessern, sowie dessen Fähigkeit, Fehlinformationen in sozialen Medien-Beiträgen zu erkennen, die Bilder oder andere Multimedia-Elemente enthalten. Das statistische Modell muss lernen, wie verschiedene Elemente miteinander interagieren, um Fehlinformationen zu erstellen.

Sowohl Boukouvalas als auch Japkowicz sagen, dass menschliche Intelligenz und Medienkompetenz Schlüssel sind, um die Verbreitung von Fehlinformationen zu stoppen.

“Durch unsere Arbeit entwickeln wir Werkzeuge auf der Grundlage von Machine Learning, um die Öffentlichkeit zu warnen und zu bilden, um Fehlinformationen zu eliminieren, aber wir glauben fest, dass Menschen eine aktive Rolle spielen müssen, um Fehlinformationen nicht zu verbreiten”, sagte Boukouvalas.