Un enfoque de NLP para la detección de exageración en el periodismo científico

Investigadores de Dinamarca han desarrollado un sistema de “detección de exageración” diseñado para mitigar los efectos de los periodistas que exageran las implicaciones de los nuevos artículos de investigación científica al resumirlos y reportarlos. El trabajo ha sido impulsado por la medida en que la nueva investigación publicada sobre COVID-19 ha sido distorsionada en los canales de informes, aunque los autores conceden que es aplicable en un amplio sector del periodismo científico en general.

El artículo, titulado Detección de exageración semisupervisada de comunicados de prensa de ciencia de la salud, proviene de la Universidad de Copenhague, y señala que el problema se ve exacerbado por la tendencia de las publicaciones a no incluir enlaces de origen a la investigación original – una práctica periodística cada vez más común que intenta reemplazar el artículo original y sustituir el resumen informado como “conocimiento de fuente” – incluso cuando el artículo está disponible públicamente.

De el artículo, una manifestación típica de exageración de artículos científicos. Fuente: https://arxiv.org/pdf/2108.13493.pdf

El problema no se limita a la reacción periodística externa a los nuevos artículos, sino que también puede extenderse a otros tipos de resumen, incluidos los esfuerzos de relaciones públicas internas de las universidades y las instituciones de investigación; material promocional destinado a solicitar la atención de los medios de comunicación; y los enlaces de referencia útiles (y el posible material para las rondas de financiación) que conllevan cuando los periodistas “muerden”.

El trabajo aprovecha el Procesamiento de Lenguaje Natural (NLP) contra un conjunto de datos novel de comunicados de prensa y resúmenes emparejados, con los investigadores afirmando haber desarrollado “[una] nueva formulación de tarea más realista” para la detección de exageración científica. Los autores han prometido publicar el código y los datos del trabajo en GitHub pronto.

Abordando el sensacionalismo

Una serie de estudios han abordado el problema del sensacionalismo científico en los últimos treinta años, y han llamado la atención sobre la desinformación que esto puede generar. La fallecida socióloga científica estadounidense Dorothy Nelkin abordó el tema de manera notable en el libro de 1987 Vender la ciencia; el informe Embo de 2006 Mala ciencia en los titulares destacó la necesidad de más periodistas con formación científica, justo cuando Internet estaba ejerciendo presiones presupuestarias críticas sobre los medios de comunicación tradicionales.

Además, en 2014, la Revista Médica Británica puso de relieve el problema en un informe; y un estudio de 2019 de Wellcome Open Research estableció que la exageración de los artículos científicos no confiere ningún beneficio (en términos de alcance o tráfico) a los medios de comunicación y otros sistemas de informes que perpetúan esta práctica.

No obstante, el surgimiento de la pandemia ha llevado los efectos negativos de esta hipérbole a un enfoque crítico, con una serie de plataformas de información, incluida la página de resultados de búsqueda de Google y el índice de artículos científicos Arxiv de la Universidad de Cornell, ahora agregan automáticamente advertencias a cualquier contenido que parezca tratar sobre COVID.

Interfaz modificada para búsquedas y contenido relacionado con COVID, de la página de resultados de búsqueda de Google y del repositorio científico Arxiv de la Universidad de Cornell.

Proyectos anteriores han intentado crear sistemas de detección de exageración para artículos científicos aprovechando el NLP, incluida una colaboración entre investigadores de Hong Kong y China en 2019, y otro (no relacionado) artículo de Dinamarca en 2017.

Los investigadores del nuevo artículo señalan que estos esfuerzos anteriores desarrollaron conjuntos de datos de afirmaciones de resúmenes y abstractos de PubMed y EurekAlert, etiquetados para “fuerza”, y los utilizaron para entrenar modelos de aprendizaje automático para predecir la fuerza de la afirmación en datos no vistos.

MT-PET

La nueva investigación combina un comunicado de prensa y un resumen como una entidad de datos combinada, y explota el conjunto de datos resultante en MT-PET, una versión capaz de realizar múltiples tareas de la formación de investigación de explotación de patrones presentada por primera vez en 2020 como Aprovechando preguntas de cloze para la clasificación de texto y la inferencia de lenguaje natural con pocos disparos, un esfuerzo de investigación combinado de dos instituciones de investigación alemanas.

No se encontró ningún conjunto de datos existente que fuera adecuado para la tarea, y el equipo curó un conjunto de datos novel de oraciones emparejadas de resúmenes y comunicados de prensa relacionados, evaluados por “expertos” en términos de su tendencia a exagerar.

Los investigadores utilizaron el marco de clasificación de texto de pocos disparos PETAL como parte de una canalización para generar automáticamente pares de patrones-verbalizadores, reiterando posteriormente a través de los datos hasta que se encontraron tuplas aproximadamente equivalentes para dos cualidades: detección de exageración y fuerza de la afirmación.

Los datos “oro” para la prueba se reutilizaron de los proyectos de investigación anteriores, consistiendo en 823 pares de resúmenes y comunicados de prensa. Los investigadores rechazaron el posible uso de los datos del BMJ de 2014, ya que están parafraseados.

Este proceso obtuvo un conjunto de datos de 663 pares de resúmenes y comunicados de prensa etiquetados para exageración y fuerza de la afirmación. Los investigadores muestrearon aleatoriamente 100 de ellos como datos de entrenamiento de aprendizaje de pocos disparos, con 553 ejemplos reservados para la prueba. Además, se creó un conjunto de entrenamiento pequeño que consistía en 1.138 oraciones, clasificadas según si representaban o no la conclusión principal del resumen o del comunicado de prensa. Estos se utilizaron para identificar “oraciones de conclusión” en pares no etiquetados.

Pruebas

Los investigadores probaron el enfoque en tres configuraciones: un entorno supervisado completamente con datos etiquetados exclusivamente; un escenario PET de una sola tarea; y en el nuevo MT-PET, que agrega un hilo de formulación secundario como una tarea auxiliar (ya que el objetivo del proyecto es examinar dos cualidades separadas de un conjunto de datos con constructos de datos emparejados).

Los investigadores encontraron que MT-PET mejoró los resultados de la base PET en todos los entornos de prueba, y encontraron que identificar la fuerza de la afirmación ayudó a producir datos de entrenamiento con etiquetas suaves para la detección de exageración. Sin embargo, el artículo señala que en ciertas configuraciones entre una matriz compleja de pruebas, particularmente relacionadas con la fuerza de la afirmación, la presencia de datos profesionalmente etiquetados puede ser un factor en los resultados mejorados (en comparación con proyectos de investigación anteriores que abordan este problema). Esto podría tener implicaciones para la medida en que la canalización puede automatizarse, dependiendo del énfasis de los datos de la tarea.

No obstante, los investigadores concluyen que MT-PET ‘ayuda en los casos más difíciles de identificar y diferenciar afirmaciones causales directas de afirmaciones más débiles, y que el enfoque más performante implica clasificar y comparar la fuerza individual de la afirmación de las declaraciones de los documentos de origen y destino’.

En conclusión, el trabajo especula que MT-PET no solo podría aplicarse a una gama más amplia de artículos científicos (fuera del sector de la salud), sino que también podría formar la base de nuevas herramientas para ayudar a los periodistas a producir mejores resúmenes de artículos científicos (aunque esto, quizás ingenuamente, asume que los periodistas exageran la fuerza de la afirmación por ignorancia), así como ayudar a la comunidad de investigación a formular un uso más claro del lenguaje para explicar ideas complejas. Además, el artículo observa:

‘[debe señalarse que los resultados del rendimiento predictivo informados en este artículo son para comunicados de prensa escritos por periodistas científicos – se podría esperar peores resultados para comunicados de prensa que simplifiquen más los artículos científicos.’