Ein NLP-Ansatz zur Erkennung von Übertreibungen in der Wissenschaftsjournalistik

Forscher aus Dänemark haben ein “Übertreibungs-Erkennungssystem” entwickelt, das darauf abzielt, die Auswirkungen von Journalisten zu mildern, die die Implikationen neuer wissenschaftlicher Forschungsarbeiten überbetonen, wenn sie diese zusammenfassen und berichten. Die Arbeit wurde durch das Ausmaß angedrängt, in dem neue veröffentlichte Forschungsergebnisse zu COVID-19 in Berichtskanälen verzerrt wurden, obwohl die Autoren einräumen, dass es auf einen breiten Bereich des allgemeinen Wissenschaftsberichtswesens anwendbar ist.

Das Papier, betitelt Semi-Supervised Exaggeration Detection of Health Science Press Releases, stammt von der Universität Kopenhagen und weist darauf hin, dass das Problem durch die Tendenz von Veröffentlichungen verschlimmert wird, keine Quellenlinks zu den Originalforschungen zu enthalten – eine zunehmend häufige journalistische Praxis, die versucht, die Originalarbeit zu ersetzen und die wiedergegebene Zusammenfassung als “Quellenwissen” zu substituieren – selbst wenn die Arbeit öffentlich zugänglich ist.

Aus dem Papier, eine typische Manifestation der Übertreibung wissenschaftlicher Arbeiten. Quelle: https://arxiv.org/pdf/2108.13493.pdf

Das Problem ist nicht nur auf externe journalistische Reaktionen auf neue Arbeiten beschränkt, sondern kann auch andere Arten von Zusammenfassungen umfassen, einschließlich interner PR-Bemühungen von Universitäten und Forschungseinrichtungen; Werbematerial, das darauf abzielt, die Aufmerksamkeit von Nachrichtenagenturen zu erregen; und die nützlichen Verweislinks (und potenzielle Munition für Finanzierungsrunden), die entstehen, wenn Journalisten “anbeißen”.

Die Arbeit nutzt Natural Language Processing (NLP) gegen ein neues Dataset von gepaarten Pressemitteilungen und Abstracts, wobei die Forscher behaupten, eine “[eine] neue, realistischere Aufgabenformulierung” für die Erkennung wissenschaftlicher Übertreibungen entwickelt zu haben. Die Autoren haben versprochen, den Code und die Daten für die Arbeit auf GitHub bald zu veröffentlichen.

Übertreibungen bekämpfen

Eine Reihe von Studien hat in den letzten dreißig Jahren das Problem des wissenschaftlichen Sensationalismus angegangen und auf die Fehlinformationen hingewiesen, die dies verursachen kann. Der verstorbene amerikanische wissenschaftliche Soziologe Dorothy Nelkin hat das Problem in ihrem 1987 erschienenen Buch Selling Science: How the Press Covers Science and Technology hervorgehoben; der 2006 veröffentlichte Embo-Bericht Bad science in the headlines hat die Notwendigkeit von mehr wissenschaftlich ausgebildeten Journalisten betont, gerade als das Internet kritische budgetäre Druck auf die traditionellen Medien ausübte.

Zusätzlich hat die britische medizinische Zeitschrift 2014 das Problem in einem Bericht in den Fokus gerückt; und eine 2019 veröffentlichte Studie von Wellcome Open Research hat sogar festgestellt, dass die Übertreibung wissenschaftlicher Arbeiten keinen Nutzen (in Bezug auf Reichweite oder Verkehr) für die Nachrichtenagenturen und andere Berichtssysteme bringt, die diese Praxis betreiben.

Die Pandemie hat jedoch die negativen Auswirkungen dieser Übertreibung in den Fokus gerückt, mit einer Reihe von Informationsplattformen, einschließlich der Google-Suchergebnisseite und Cornells Arxiv-Index wissenschaftlicher Arbeiten, die jetzt automatisch Warnhinweise zu jedem Inhalt hinzufügen, der anscheinend mit COVID zu tun hat.

Geänderte Schnittstellen für Suchanfragen und Inhalte im Zusammenhang mit COVID, von der Google-Suchergebnisseite und von Cornells einflussreichem Arxiv-Repository wissenschaftlicher Arbeiten.

Frühere Projekte haben versucht, Übertreibungs-Erkennungssysteme für wissenschaftliche Arbeiten zu entwickeln, indem sie NLP nutzten, einschließlich einer 2019 durchgeführten Zusammenarbeit zwischen Forschern aus Hongkong und China und einer anderen (nicht damit verbundenen) dänischen Arbeit aus dem Jahr 2017.

Die Forscher der neuen Arbeit weisen darauf hin, dass diese früheren Bemühungen Datensätze von Aussagen aus Abstracts und Zusammenfassungen von PubMed und EurekAlert erstellt haben, die für “Stärke” beschriftet wurden, und diese verwendet haben, um maschinelle Lernalgorithmen zu trainieren, um die Aussagestärke in nicht gesehenen Daten vorherzusagen.

MT-PET

Die neue Forschung kombiniert stattdessen eine Pressemitteilung und ein Abstract als kombinierte Datenentität und nutzt das resultierende Dataset in MT-PET, einer multi-task-fähigen Version der Pattern-Exploiting-Training-Forschung, die erstmals 2020 als Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference vorgestellt wurde, einer gemeinsamen Forschungsarbeit von zwei deutschen Forschungseinrichtungen.

Kein bestehendes Dataset wurde als geeignet für die Aufgabe gefunden, und das Team hat daher ein neues Dataset von gepaarten Sätzen aus Abstracts und verwandten Pressemitteilungen erstellt, das von “Experten” in Bezug auf ihre Neigung zur Übertreibung bewertet wurde.

Die Forscher verwendeten das Few-Shot-Text-Classification-Framework PETAL als Teil einer Pipeline, um automatisch Muster-Verbalizer-Paare zu generieren, und wiederholten dies, bis ungefähr äquivalente Tupel für zwei Qualitäten gefunden wurden: Übertreibungs-Erkennung und Aussagestärke.

Die “Gold”-Daten für die Tests wurden von den oben genannten früheren Forschungsprojekten wiederverwendet und bestanden aus 823 Paaren von Abstracts und Pressemitteilungen. Die Forscher lehnten die mögliche Verwendung der 2014-BMJ-Daten ab, da sie paraphrasiert sind.

Dieser Prozess ergab ein Dataset von 663 Abstract-/Pressemitteilungspaaren, die für Übertreibung und Aussagestärke beschriftet wurden. Die Forscher wählten 100 davon zufällig als Few-Shot-Lernalgorithmen-Trainingsdaten aus, mit 553 Beispielen, die für die Tests beiseite gelegt wurden. Zusätzlich wurde ein kleines Trainingsset erstellt, das aus 1.138 Sätzen bestand, die als solche klassifiziert wurden, ob sie die Hauptfolgerung der Zusammenfassung oder der Pressemitteilung darstellen. Diese wurden verwendet, um “Folgerungssätze” in nicht beschrifteten Paaren zu identifizieren.

Testen

Die Forscher testeten den Ansatz in drei Konfigurationen: einer vollständig überwachten Umgebung mit ausschließlich beschrifteten Daten; einer Einzel-Aufgabe-PET-Szene; und auf dem neuen MT-PET, das einen sekundären Formulierungsthread als Hilfsaufgabe hinzufügt (da das Ziel des Projekts darin besteht, zwei separate Qualitäten aus einem Dataset mit gepaarten Datenkonstrukten zu untersuchen).

Die Forscher fanden heraus, dass MT-PET die Basis-PET-Ergebnisse in allen Testumgebungen verbesserte und feststellten, dass die Identifizierung der Aussagestärke half, weich beschriftete Trainingsdaten für die Übertreibungs-Erkennung zu produzieren. Allerdings weist das Papier darauf hin, dass in bestimmten Konfigurationen unter einer komplexen Reihe von Tests, insbesondere im Zusammenhang mit der Aussagestärke, die Anwesenheit professionell beschrifteter Daten ein Faktor in den verbesserten Ergebnissen sein könnte (im Vergleich zu früheren Forschungsprojekten, die dieses Problem angehen). Dies könnte Auswirkungen auf den Umfang haben, in dem die Pipeline automatisiert werden kann, abhängig von der Datenbetonung der Aufgabe.

Trotzdem kommen die Forscher zu dem Schluss, dass MT-PET ‘hilft, die schwierigeren Fälle der Identifizierung und Unterscheidung direkter kausaler Aussagen von schwächeren Aussagen zu erkennen, und dass der leistungsstärkste Ansatz darin besteht, die individuelle Aussagestärke von Aussagen aus den Quell- und Ziel-Dokumenten zu klassifizieren und zu vergleichen’.

Zum Abschluss spekuliert die Arbeit, dass MT-PET nicht nur auf einen breiteren Bereich wissenschaftlicher Arbeiten (außerhalb des Gesundheitssektors) angewendet werden könnte, sondern auch die Grundlage für neue Werkzeuge bilden könnte, um Journalisten dabei zu helfen, bessere Übersichten wissenschaftlicher Arbeiten zu erstellen (obwohl dies vielleicht naiv ist und annimmt, dass Journalisten Aussagestärke durch Unwissenheit überbetonen), sowie der Forschungsgemeinschaft bei der Formulierung einer klareren Verwendung von Sprache zur Erklärung komplexer Ideen zu helfen. Weiterhin bemerkt das Papier:

‘[es] sollte beachtet werden, dass die vorhergesagten Leistungsresultate in diesem Papier für Pressemitteilungen gelten, die von Wissenschaftsjournalisten verfasst wurden – man könnte schlechtere Ergebnisse für Pressemitteilungen erwarten, die wissenschaftliche Artikel stärker vereinfachen.’