Une approche NLP pour la détection de l’exagération dans le journalisme scientifique

Des chercheurs danois ont développé un système de « détection de l’exagération » conçu pour atténuer les effets des journalistes qui surestiment les implications des nouvelles recherches scientifiques lorsqu’ils les résument et les rapportent. Ce travail a été motivé par l’étendue à laquelle les nouvelles recherches publiées sur le COVID-19 ont été déformées dans les canaux de reportage, bien que les auteurs reconnaissent qu’il est applicable à un large éventail du secteur général de la science.

Le document, intitulé Détection semi-supervisée de l’exagération des communiqués de presse sur les sciences de la santé, provient de l’Université de Copenhague, et note que le problème est exacerbé par la tendance des publications à ne pas inclure de liens sources vers la recherche originale – une pratique journalistique de plus en plus courante qui tente de supplanter le document original et de substituer le résumé réédité comme « connaissance source » – même lorsque le document est publiquement disponible.

Du document, une manifestation typique de l’exagération des articles scientifiques. Source: https://arxiv.org/pdf/2108.13493.pdf

Le problème ne se limite pas à la réaction journalistique externe aux nouvelles études, mais peut s’étendre à d’autres types de résumé, notamment les efforts de relations publiques internes des universités et des institutions de recherche; le matériel promotionnel destiné à solliciter l’attention des médias; et les liens de référence utiles (et potentielles munitions pour les cycles de financement) qui en découlent lorsque les journalistes « mordent ».

Le travail utilise le traitement automatique du langage (NLP) contre un nouveau jeu de données de communiqués de presse et de résumés appariés, les chercheurs prétendant avoir développé « une nouvelle formulation de tâche plus réaliste » pour la détection de l’exagération scientifique. Les auteurs ont promis de publier le code et les données pour le travail sur GitHub bientôt.

Lutte contre le sensationnalisme

Plusieurs études ont abordé le problème du sensationnalisme scientifique au cours des trente dernières années, et ont attiré l’attention sur les fausses informations que cela peut entraîner. La sociologue scientifique américaine Dorothy Nelkin a abordé ce problème de manière notable dans le livre de 1987 Vendre la science: Comment la presse couvre la science et la technologie; le rapport Embo de 2006 Mauvaise science dans les titres a souligné la nécessité de journalistes plus formés scientifiquement, juste au moment où Internet apportait des pressions budgétaires critiques sur les médias traditionnels.

En outre, en 2014, le British Medical Journal a mis en évidence le problème dans un rapport; et une étude de 2019 de Wellcome Open Research a même établi que l’exagération des articles scientifiques ne confère aucun avantage (en termes de portée ou de trafic) aux médias et autres systèmes de reportage qui perpétuent cette pratique.

Cependant, l’avènement de la pandémie a mis en évidence les effets négatifs de cet hyperbole, avec une gamme de plateformes d’information, notamment la page de résultats de recherche Google et l’index de documents scientifiques Arxiv de l’Université Cornell, qui ajoutent désormais automatiquement des avertissements à tout contenu qui semble traiter du COVID.

Interfaces modifiées pour les recherches et le contenu liés au COVID, de la page de résultats de recherche Google et de l’influenceux référentiel scientifique Arxiv.

Des projets antérieurs ont tenté de créer des systèmes de détection de l’exagération pour les articles scientifiques en utilisant le NLP, notamment une collaboration de 2019 entre des chercheurs de Hong Kong et de Chine, et un autre document danois (sans rapport) en 2017.

Les chercheurs de la nouvelle étude notent que ces efforts antérieurs ont développé des ensembles de données de revendications à partir de résumés et de résumés de PubMed et EurekAlert, étiquetés pour « force », et les ont utilisés pour former des modèles d’apprentissage automatique pour prédire la force de la revendication dans des données non vues.

MT-PET

La nouvelle recherche combine un communiqué de presse et un résumé en tant qu’entité de données combinée, et exploite l’ensemble de données résultant dans MT-PET, une version capable de plusieurs tâches du Pattern Exploiting Training, présenté pour la première fois en 2020 sous la forme d’une recherche conjointe de deux institutions de recherche allemandes.

Aucun ensemble de données existant n’a été trouvé pour être adapté à la tâche, et l’équipe a donc créé un nouvel ensemble de données de phrases appariées de résumés et de communiqués de presse, évaluées par des « experts » en termes de tendance à exagérer.

Les chercheurs ont utilisé le cadre de classification de texte à quelques exemples PETAL dans le cadre d’un pipeline pour générer automatiquement des paires de modèles-verbaliseurs, réitérant ensuite à travers les données jusqu’à ce que des tuplets approximativement équivalents soient trouvés pour deux qualités: détection de l’exagération et force de la revendication.

Les « données d’or » pour les tests ont été réutilisées des projets de recherche antérieurs, consistant en 823 paires de résumés et de communiqués de presse. Les chercheurs ont rejeté la possibilité d’utiliser les données de 2014 du BMJ, car elles sont paraphrasées.

Ce processus a obtenu un ensemble de données de 663 paires de résumés et de communiqués de presse étiquetés pour l’exagération et la force de la revendication. Les chercheurs ont échantillonné aléatoirement 100 d’entre eux en tant que données d’apprentissage à quelques exemples, avec 553 exemples mis de côté pour les tests. De plus, un petit ensemble d’entraînement a été créé, consistant en 1 138 phrases, classées pour savoir si elles représentent ou non la principale conclusion du résumé ou du communiqué de presse. Ceux-ci ont été utilisés pour identifier les « phrases de conclusion » dans les paires non étiquetées.

Test

Les chercheurs ont testé l’approche dans trois configurations: un environnement supervisé avec des données étiquetées exclusivement; un scénario PET à tâche unique; et sur le nouveau MT-PET, qui ajoute un fil de tâche secondaire en tant que tâche auxiliaire (puisque l’objectif du projet est d’examiner deux qualités distinctes à partir d’un ensemble de données avec des constructions de données appariées).

Les chercheurs ont constaté que MT-PET améliore les résultats de base de PET dans tous les environnements de test, et ont constaté que l’identification de la force de la revendication aide à produire des données d’entraînement étiquetées pour la détection de l’exagération. Cependant, le document note que dans certaines configurations parmi un ensemble complexe de tests, en particulier liées à la force de la revendication, la présence de données étiquetées professionnellement peut être un facteur dans les résultats améliorés (par rapport aux projets de recherche antérieurs qui abordent ce problème). Cela pourrait avoir des implications pour la mesure dans laquelle le pipeline peut être automatisé, en fonction de l’accent mis sur les données de la tâche.

Néanmoins, les chercheurs concluent que MT-PET ‘aide dans les cas plus difficiles d’identification et de différenciation des revendications directes causales des revendications plus faibles, et que l’approche la plus performante implique de classer et de comparer la force de revendication individuelle des énoncés des documents source et cible’.

En conclusion, le travail spécule que MT-PET ne pourrait pas seulement être appliqué à un plus large éventail d’articles scientifiques (en dehors du secteur de la santé), mais pourrait également former la base d’outils pour aider les journalistes à produire de meilleures synthèses d’articles scientifiques (bien que cela suppose peut-être naïvement que les journalistes exagèrent la force de la revendication par ignorance), ainsi qu’aider la communauté de recherche à formuler un usage plus clair du langage pour expliquer les idées complexes. De plus, le document observe:

‘[il] devrait être noté que les résultats de performance prédictive rapportés dans ce document sont pour les communiqués de presse rédigés par des journalistes scientifiques – on pourrait s’attendre à de moins bons résultats pour les communiqués de presse qui simplifient fortement les articles scientifiques.’