Ein NLP-Ansatz zur Exaggerationserkennung in der Wissenschaftsjournalistik

Forscher aus Dänemark haben ein “Exaggerationserkennungssystem” entwickelt, das darauf abzielt, die Auswirkungen zu mindern, die entstehen, wenn Journalisten die Implikationen neuer wissenschaftlicher Forschungsarbeiten überbetonen, wenn sie diese zusammenfassen und berichten. Die Arbeit wurde durch das Ausmaß angeregt, in dem neu veröffentlichte Forschungsergebnisse zu COVID-19 in Berichtskanälen verzerrt wurden, obwohl die Autoren einräumen, dass sie auf einen breiten Bereich des allgemeinen Wissenschaftsberichtswesens anwendbar ist.

Die Studie, betitelt Semi-Supervised Exaggeration Detection of Health Science Press Releases, stammt von der Universität Kopenhagen und weist darauf hin, dass das Problem durch die Tendenz von Veröffentlichungen verstärkt wird, keine Quellenlinks zu den Originalforschungen beizufügen – eine zunehmend häufige journalistische Praxis, die versucht, die Originalarbeit zu ersetzen und die neu berichtete Zusammenfassung als “Quellenwissen” zu substituieren – sogar wenn die Arbeit öffentlich zugänglich ist.

Aus der Studie, eine typische Manifestation der Exaggeration wissenschaftlicher Arbeiten. Quelle: https://arxiv.org/pdf/2108.13493.pdf

Das Problem beschränkt sich nicht auf externe journalistische Reaktionen auf neue Arbeiten, sondern kann sich auch auf andere Arten von Zusammenfassungen erstrecken, einschließlich interner PR-Bemühungen von Universitäten und Forschungseinrichtungen; Werbematerial, das darauf abzielt, die Aufmerksamkeit von Nachrichtenagenturen zu erregen; und die nützlichen Verweislinks (und potenzielle Munition für Finanzierungsrunden), die entstehen, wenn Journalisten “anbeißen”.

Die Arbeit nutzt Natural Language Processing (NLP) gegen ein neues Datenset von gepaarten Pressemitteilungen und Abstracts, wobei die Forscher behaupten, eine “[neue, realistischere Aufgabenformulierung]” für die Erkennung wissenschaftlicher Exaggeration entwickelt zu haben. Die Autoren haben versprochen, den Code und die Daten für die Arbeit auf GitHub bald zu veröffentlichen.

Die Bekämpfung von Sensationalismus

Eine Reihe von Studien hat sich in den letzten dreißig Jahren mit dem Problem des wissenschaftlichen Sensationalismus befasst und auf die Fehlinformationen hingewiesen, die daraus resultieren können. Der verstorbene amerikanische Wissenschaftssoziologe Dorothy Nelkin hat sich in dem 1987 erschienenen Buch Selling Science: How the Press Covers Science and Technology mit diesem Thema auseinandergesetzt; der Embo-Bericht von 2006 Bad science in the headlines hat die Notwendigkeit von mehr wissenschaftlich ausgebildeten Journalisten hervorgehoben, gerade als das Internet kritische budgetäre Druck auf die traditionellen Medien ausübte.

Zusätzlich hat die britische medizinische Zeitschrift BMJ 2014 das Problem in einem Bericht in den Fokus gerückt; und eine 2019 von Wellcome Open Research durchgeführte Studie hat sogar festgestellt, dass die Exaggeration wissenschaftlicher Arbeiten keinen Vorteil (in Bezug auf Reichweite oder Traffic) für die Nachrichtenagenturen und andere Berichtssysteme bringt, die diese Praxis betreiben.

Jedoch hat die Pandemie die negativen Auswirkungen dieser Übertreibung in den Fokus gerückt, mit einer Reihe von Informationsplattformen, einschließlich der Google-Suchergebnisseite und Cornells Arxiv-Index wissenschaftlicher Arbeiten, die jetzt automatisch Disclaimer zu jedem Inhalt hinzufügen, der anscheinend mit COVID zu tun hat.

Geänderte Schnittstellen für Suchanfragen und Inhalte im Zusammenhang mit COVID, von der Google-Suchergebnisseite und von Cornells einflussreichem Arxiv-Repository wissenschaftlicher Arbeiten.

Frühere Projekte haben versucht, Exaggerationserkennungssysteme für wissenschaftliche Arbeiten durch die Nutzung von NLP zu entwickeln, einschließlich einer 2019 von Forschern aus Hongkong und China durchgeführten Zusammenarbeit und einer anderen (unabhängigen) dänischen Studie von 2017.

Die Forscher der neuen Studie weisen darauf hin, dass diese früheren Bemühungen Datensätze von Aussagen aus Abstracts und Zusammenfassungen von PubMed und EurekAlert erstellt haben, die für “Stärke” beschriftet wurden, und diese verwendet haben, um maschinelle Lernalgorithmen zu trainieren, um Aussagestärke in unbekannten Daten vorherzusagen.

MT-PET

Die neue Forschung kombiniert stattdessen eine Pressemitteilung und ein Abstract als kombinierte Datenentität und nutzt das resultierende Datenset in MT-PET, einer multitaskfähigen Version der Pattern-Exploiting-Training-Forschung, die erstmals 2020 als Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference vorgestellt wurde, einer kombinierten Forschungsarbeit von zwei deutschen Forschungseinrichtungen.

Kein bestehendes Datenset wurde als geeignet für die Aufgabe gefunden, und das Team hat daher ein neues Datenset von gepaarten Sätzen aus Abstracts und verwandten Pressemitteilungen kuratiert, die von “Experten” in Bezug auf ihre Tendenz zur Exaggeration bewertet wurden.

Die Forscher verwendeten das Few-Shot-Text-Classification-Framework PETAL als Teil einer Pipeline, um automatisch Muster-Verbalizer-Paare zu generieren, und wiederholten dies, bis ungefähr äquivalente Tupel für zwei Eigenschaften gefunden wurden: Exaggerationserkennung und Aussagestärke.

Die “Gold”-Daten für die Tests wurden von den oben genannten früheren Forschungsprojekten wiederverwendet und bestehen aus 823 Paaren von Abstracts und Pressemitteilungen. Die Forscher lehnten die mögliche Verwendung der 2014-BMJ-Daten ab, da sie paraphrasiert sind.

Dieser Prozess ergab ein Datenset von 663 Abstract-Release-Paaren, die für Exaggeration und Aussagestärke beschriftet wurden. Die Forscher wählten 100 davon zufällig als Few-Shot-Lernalgorithmen-Trainingsdaten aus, und 553 Beispiele wurden für die Tests zurückgehalten. Zusätzlich wurde ein kleines Trainingsset erstellt, das aus 1.138 Sätzen besteht, die als Hauptfolgerung der Zusammenfassung oder Pressemitteilung klassifiziert wurden. Diese wurden verwendet, um “Schlussfolgerungssätze” in nicht beschrifteten Paaren zu identifizieren.

Tests

Die Forscher testeten den Ansatz in drei Konfigurationen: einer vollständig überwachten Umgebung mit ausschließlich beschrifteten Daten; einer Single-Task-PET-Szenario; und auf dem neuen MT-PET, der eine sekundäre Formulierung als Hilfsaufgabe hinzufügt (da das Ziel des Projekts darin besteht, zwei separate Eigenschaften aus einem Datenset mit gepaarten Datenkonstrukten zu untersuchen).

Die Forscher fanden heraus, dass MT-PET die Basis-PET-Ergebnisse in allen Testumgebungen verbesserte und feststellten, dass die Identifizierung der Aussagestärke half, weich beschriftete Trainingsdaten für die Exaggerationserkennung zu produzieren. Allerdings weist die Studie darauf hin, dass in bestimmten Konfigurationen unter einer komplexen Reihe von Tests, insbesondere im Zusammenhang mit Aussagestärke, die Anwesenheit professionell beschrifteter Daten ein Faktor in den verbesserten Ergebnissen sein kann (im Vergleich zu früheren Forschungsprojekten, die sich mit diesem Problem befassen). Dies könnte Auswirkungen auf den Umfang haben, in dem die Pipeline automatisiert werden kann, abhängig von der Datenbetonung der Aufgabe.

Trotzdem kommen die Forscher zu dem Schluss, dass MT-PET “bei den schwierigeren Fällen hilft, direkte kausale Aussagen von schwächeren Aussagen zu unterscheiden, und dass der leistungsfähigste Ansatz darin besteht, die individuelle Aussagestärke von Aussagen aus den Quell- und Ziel-Dokumenten zu klassifizieren und zu vergleichen”.

Zum Abschluss spekuliert die Arbeit, dass MT-PET nicht nur auf einen breiteren Bereich wissenschaftlicher Arbeiten (außerhalb des Gesundheitssektors) angewendet werden könnte, sondern auch die Grundlage für neue Werkzeuge bilden könnte, um Journalisten dabei zu helfen, bessere Übersichten wissenschaftlicher Arbeiten zu erstellen (obwohl dies vielleicht naiv annimmt, dass Journalisten die Aussagestärke durch Unwissenheit überbetonen), sowie der Forschungsgemeinschaft bei der Formulierung einer klareren Sprache zur Erklärung komplexer Ideen. Weiterhin bemerkt die Studie:

“[es] sollte beachtet werden, dass die vorliegenden Ergebnisse der Vorhersageleistung für Pressemitteilungen gelten, die von Wissenschaftsjournalisten verfasst wurden – man könnte schlechtere Ergebnisse für Pressemitteilungen erwarten, die wissenschaftliche Artikel stärker vereinfachen.”