Demotion von veralteten “Wahrheiten” mit Machine Learning

Manchmal hat die Wahrheit ein Ablaufdatum. Wenn eine zeitlich begrenzte Behauptung (wie “Masksen sind im öffentlichen Verkehr obligatorisch”) in den Suchmaschinen-Rankings auftaucht, kann ihre scheinbar “autoritative” Lösung auch nach vielen Jahren noch vorhanden sein und später veröffentlichte und genauere Inhalte auf dem gleichen Thema überlagern.

Dies ist ein Nebenprodukt der Bestrebungen der Suchmaschinen-Algorithmen, “langfristige” definitive Lösungen zu identifizieren und zu fördern, und ihrer Neigung, gut verlinkte Inhalte zu priorisieren, die über die Zeit hinweg Traffic aufrechterhalten – und einer zunehmend vorsichtigen Haltung gegenüber neuem Inhalt in der aufkommenden Ära von Fake News.

Andererseits birgt die Abwertung wertvollen Webinhalts allein wegen des Zeitstempels, der mit ihm verknüpft ist, das Risiko, dass eine Generation von tatsächlich nützlichen Inhalten automatisch herabgestuft wird, um Platz für nachfolgendes Material zu machen, das möglicherweise von geringerem Standard ist.

Um dieses Syndrom zu beheben, haben Forscher in Italien, Belgien und Dänemark in einem neuen Paper verschiedene Machine-Learning-Techniken verwendet, um eine Methodik zur zeitbewussten Evidenzbewertung zu entwickeln.

Jenseits veralteter Antworten

Das Paper wurde von Forschern der Europäischen Kommission am Joint Research Centre (JRC) in Ispra, der Katholieke Universiteit in Leuven und der Universität Kopenhagen verfasst.

Die Arbeit betrachtet vier zeitliche Bewertungsmethoden, die über drei Fact-Checking-Methoden angewendet werden, von denen jede einen anderen Ansatz zur Evidenzbewertung hat, und bietet eine neue Methodik zur Bewertung an, die Evidenz-Timestamps als “Goldstandard” verwendet. Die Studie zeigt, dass die zeitbewusste Evidenzbewertung die Scharfsinnigkeit der Ergebnisse verbessert und auch die Autorität und Wahrheitsvorhersagen von zeitabhängigen Fakten und Behauptungen verbessert.

Die Forschung wird als mögliche Ergänzung zu späteren oder bestehenden Systemen angeboten und soll der Forschung dienen und als möglicher zusätzlicher Faktor für die Entwicklung neuer und evolvierter Suchmaschinen-Algorithmen dienen.

Die Arbeit modelliert die zeitlichen Dynamiken von Evidenz für inhaltsbasiertes Fact-Checking und übertrifft die “semantische Ähnlichkeit”-Ansätze, die von typischen Suchmaschinen-Rankings-Algorithmen verwendet werden. Das von den Forschern trainierte Modell verwendet eine optimierte Learning-to-Rank-Funktion, die leicht in eine bestehende Fact-Checking-Architektur überlagert werden kann. Die Forscher behaupten, dass das System ein neuer Beitrag zum automatischen Fact-Checking ist.

Änderung mehrerer Fact-Checking-Architekturen

Die Forscher haben ihre zeitlich begrenzte Faktorisierung auf drei bestehende Fact-Checking-Architekturen aufgezwungen. Die erste davon ist das Bidirectional Long Short Term Memory (BiLSTM)-Modell, das im MultiFC-Datensatz von 2019 vorgeschlagen wurde.

Die zweite ist eine Modifikation der ersten, bei der ein unidirektionales Recurrent Neural Network (RNN) den LSTM-Komponenten ersetzt.

Das dritte Modell, das die Forscher verwendet haben, ist ein DistilBERT-Transformer aus der Hugging-Faces-Bibliothek, eine destillierte Version von Google’s BERT-NLP-Modell.

Über alle drei Architekturen hinweg haben die Forscher eine ListMLE-Verlustfunktion angewendet, die von Microsoft geleitet wurde und die in den letzten zwei Jahrzehnten konsistent zu neuen Fact-Checking-Forschungen beigetragen hat.

Die beiden primären Fact-Checking-Modelle, denen das Forschungsteam einen zeitlichen Komponenten als Filter für Autorität und nachfolgende Rangwerte hinzugefügt hat. Quelle: https://arxiv.org/pdf/2009.06402.pdf

Timestamp-Werte wurden aus den Trainingsmetadaten extrahiert und als Rangfaktoren in jedem Modell einbezogen.

Testen

Die experimentelle Bewertung des Systems umfasste die Verwendung des MultiFC-Datensatzes, da dies derzeit der einzige hochvolumige Open-Source-Datensatz für dieses spezifische Forschungsinteresse ist. MultiFC enthält 34.924 reale Behauptungen, die aus 26 verschiedenen Fact-Checking-Domains stammen, einschließlich Snopes und der Washington Post.

Die Vorhersage der Wahrheit jeder Behauptung wird durch zehn Evidenz-Snippets ergänzt, die von der Google-Suche-API bereitgestellt werden, und durch Vorhersagen, die durch eine Kombination von Elementen wie Sprecher, Tags und Kategorien erhalten werden.

Oft ist der relevante Zeitstempel nicht unbedingt der, der in den Metadaten enthalten ist; ein Artikel kann auf Ereignisse aus früheren Zeiten verweisen, und in diesem Fall mussten die Systeme der Forscher sorgfältig darauf achten, diese Daten direkt aus dem Text zu extrahieren und umzuwandeln. Ohne diesen Prozess neigt eine “Neuauflage” veralteter Nachrichten dazu, ihnen einen neuen Anstrich zu geben, insbesondere im Falle von Websites mit hoher Autorität, und verbreitet die veralteten Daten.

Die Daten wurden mit einer Python-Routine extrahiert, und die offiziellen Metadaten-Daten wurden auf Konsistenz der Formatierung getestet (da beispielsweise die US- und UK-Datumsformatierung unterschiedlich ist). Bei manueller Überprüfung wurden keine Fehler in den Zeitstempel-Metadaten gefunden.

Ergebnisse

Im Vergleich zu einer manuellen Überprüfung der automatischen Ergebnisse fanden die Forscher heraus, dass die zeitbewusste Evidenzbewertung die Relevanzannahmen, die auf reiner semantischer Ähnlichkeit oder SERPs-Rankings basieren, deutlich verbessert. Sie sind auch der Meinung, dass ihre Methode die Wahrheitsvorhersagen für zeitabhängige Behauptungen (d. h. Umstände, in denen sich eine Nachrichtensituation schnell ändern kann und in denen es wichtig ist, aktuelle Informationen zu priorisieren, ohne einfach die neuesten Ergebnisse auf einem Thema zu priorisieren) verbessert.

Die Forscher note, dass dieser Ansatz von hohem Wert bei der Verbesserung der Rangmodelle für volatile Themen wie Politik und Unterhaltung sein wird, bei denen sich die Informationen schnell ändern und hochrangige Entwicklungen eine Rahmenbedingung für die automatische Herabstufung von der Spitzenposition in der Rangliste benötigen, die sie bei der Veröffentlichung erreicht haben.