Statistisches Modell hilft bei der Erkennung von Fehlinformationen in sozialen Medien

Ein Mathematikprofessor von der American University, zusammen mit seinem Team von Mitarbeitern, entwickelte ein statistisches Modell, das Fehlinformationen in sozialen Medien-Beiträgen erkennen kann.

Machine Learning wird immer mehr verwendet, um die Verbreitung von Fehlinformationen zu stoppen, aber es gibt immer noch ein großes Hindernis, das mit dem Problem der Black Boxes zusammenhängt. Dies bezieht sich darauf, wenn Forscher nicht verstehen, wie eine Maschine zu denselben Entscheidungen wie menschliche Trainer kommt.

Erkennung von Fehlinformationen mit statistischen Modellen

Zois Boukouvalas, Assistenzprofessor im Department of Mathematics and Statistics der AU, verwendete ein Twitter-Datensatz mit Fehlinformationen-Tweets über COVID-19, um zu demonstrieren, wie statistische Modelle Fehlinformationen in sozialen Medien während großer Ereignisse wie einer Pandemie oder einer Katastrophe erkennen können.

Boukouvalas und seine Kollegen, zu denen auch die AU-Studentin Caitlin Moroney und der Informatikprofessor Nathalie Japkowics gehören, demonstrierten, wie die Entscheidungen des Modells mit denen der Menschen übereinstimmen, in der neu veröffentlichten Forschung.

“Wir möchten wissen, was eine Maschine denkt, wenn sie Entscheidungen trifft, und wie und warum sie mit den Menschen übereinstimmt, die sie trainiert haben”, sagte Boukouvalas. “Wir wollen nicht das soziale Medien-Konto einer Person blockieren, weil das Modell eine voreingenommene Entscheidung trifft.”

Die Methode, die das Team verwendet, ist eine Art Machine Learning, die auf Statistik basiert. Statistische Modelle sind effektiv und bieten eine weitere Möglichkeit, Fehlinformationen zu bekämpfen.

Das Modell erzielte eine hohe Vorhersageleistung und klassifizierte einen Testdatensatz von 112 realen und Fehlinformationen-Tweets mit fast 90% Genauigkeit.

“Was an diesem Ergebnis bemerkenswert ist, ist, dass unser Modell Genauigkeit erzielte, während es Transparenz über die Art und Weise bot, wie es die Tweets als Fehlinformationen erkannte”, fuhr Boukouvalas fort. “Deep-Learning-Methoden können diese Art von Genauigkeit mit Transparenz nicht erreichen.”

Trainieren und Vorbereiten des Modells

Die Forscher bereiteten das Modell vor, bevor sie es auf einem Datensatz testeten, da die von Menschen bereitgestellten Informationen Vorurteile und Black Boxes einführen können.

Die Tweets wurden von den Forschern als Fehlinformationen oder real basierend auf einer Reihe von vordefinierten Regeln über die in Fehlinformationen verwendete Sprache klassifiziert. Das Team berücksichtigte auch Nuancen in der menschlichen Sprache und linguistische Merkmale, die mit Fehlinformationen in Verbindung stehen.

Bevor das Modell trainiert wurde, identifizierte der Soziolinguist Professor Christine Mallinson von der University of Maryland Baltimore County die Tweets für Schreibstile, die mit Fehlinformationen, Vorurteilen und weniger verlässlichen Quellen in den Nachrichtenmedien in Verbindung stehen.

“Sobald wir diese Eingaben in das Modell aufnehmen, versucht es, die zugrunde liegenden Faktoren zu verstehen, die zur Trennung von guter und schlechter Information führen”, sagte Japkowicz. “Es lernt den Kontext und wie Wörter interagieren.”

Die Forscher werden nun daran arbeiten, die Benutzeroberfläche für das Modell sowie seine Fähigkeit, Fehlinformationen in sozialen Medien-Beiträgen zu erkennen, die Bilder oder andere Multimedia-Elemente enthalten, zu verbessern. Das statistische Modell muss lernen, wie eine Vielzahl von verschiedenen Elementen miteinander interagiert, um Fehlinformationen zu erstellen.

Sowohl Boukouvalas als auch Japkowicz sagen, dass menschliche Intelligenz und Nachrichtenkompetenz Schlüssel sind, um die Verbreitung von Fehlinformationen zu stoppen.

“Durch unsere Arbeit entwerfen wir Werkzeuge auf der Grundlage von Machine Learning, um die Öffentlichkeit zu warnen und zu bilden, um Fehlinformationen zu eliminieren, aber wir glauben fest, dass Menschen eine aktive Rolle bei der Verhinderung der Verbreitung von Fehlinformationen spielen müssen”, sagte Boukouvalas.