Uma Abordagem de NLP para Detecção de Exagero em Jornalismo Científico

Pesquisadores da Dinamarca desenvolveram um sistema de ‘detecção de exagero’ projetado para mitigar os efeitos de jornalistas que superestimam as implicações de novos artigos de pesquisa científica ao resumi-los e relatá-los. O trabalho foi motivado pela extensão com que novas pesquisas publicadas sobre COVID-19 foram distorcidas nos canais de relatórios, embora os autores concordem que é aplicável a uma ampla gama do setor de relatórios científicos em geral.

O artigo, intitulado Deteção de Exagero Semi-Supervisionada de Comunicados de Imprensa de Ciência da Saúde, vem da Universidade de Copenhague, e observa que o problema é agravado pela tendência das publicações de não incluir links de fonte para a pesquisa original – uma prática jornalística cada vez mais comum que tenta substituir o artigo original e substituir o resumo re-relatado como ‘conhecimento de fonte’ – mesmo quando o artigo está publicamente disponível.

Do artigo, uma manifestação típica de exagero de artigos científicos. Fonte: https://arxiv.org/pdf/2108.13493.pdf

O problema não se limita à reação jornalística externa a novos artigos, mas pode se estender a outros tipos de resumo, incluindo esforços de RP internos de universidades e instituições de pesquisa; material promocional destinado a solicitar a atenção de veículos de notícias; e os links de referência úteis (e potencial munição para rodadas de financiamento) que decorrem quando os jornalistas ‘mordem’.

O trabalho aproveita o Processamento de Linguagem Natural (NLP) contra um conjunto de dados novo de comunicados de imprensa e resumos emparelhados, com os pesquisadores alegando ter desenvolvido ‘[uma] nova formulação de tarefa mais realista’ para a detecção de exagero científico. Os autores prometeram publicar o código e os dados do trabalho no GitHub em breve.

Combate ao Sensacionalismo

Vários estudos abordaram o problema do sensacionalismo científico nos últimos trinta anos, aproximadamente, e chamaram a atenção para a desinformação que isso pode levar. A falecida socióloga científica americana Dorothy Nelkin abordou a questão notavelmente no livro de 1987 Vendendo Ciência: Como a Imprensa Cobrir Ciência e Tecnologia; o relatório Embo de 2006 Ciência Ruim nos Títulos destacou a necessidade de mais jornalistas treinados cientificamente, assim como a internet estava trazendo pressões orçamentárias críticas sobre a mídia tradicional.

Além disso, em 2014, o British Medical Journal trouxe o problema para o foco em um relatório; e um estudo de 2019 da Wellcome Open Research estabeleceu que o exagero de artigos científicos não confere benefício (em termos de alcance ou tráfego) aos veículos de notícias e outros sistemas de relatórios que perpetuam essa prática.

No entanto, o advento da pandemia trouxe os efeitos negativos dessa hipérbole para o foco crítico, com uma gama de plataformas de informação, incluindo a página de resultados de busca do Google e o repositório de artigos científicos Arxiv da Universidade de Cornell, agora adicionando automaticamente avisos a qualquer conteúdo que pareça lidar com COVID.

Interfaces modificadas para buscas e conteúdo relacionados a COVID, da página de resultados de busca do Google e do repositório de artigos científicos Arxiv da Universidade de Cornell.

Projetos anteriores tentaram criar sistemas de detecção de exagero para artigos científicos aproveitando o NLP, incluindo uma colaboração de 2019 entre pesquisadores de Hong Kong e China, e outro (não relacionado) artigo da Dinamarca em 2017.

Os pesquisadores do novo artigo observam que esses esforços anteriores desenvolveram conjuntos de dados de alegações de resumos e sumários do PubMed e EurekAlert, rotulados para ‘força’, e usados para treinar modelos de aprendizado de máquina para prever força de alegação em dados não vistos.

MT-PET

A nova pesquisa combina um comunicado de imprensa e um resumo como uma entidade de dados combinada e explora o conjunto de dados resultante em MT-PET, uma versão capaz de múltiplas tarefas do treinamento de exploração de padrões, apresentado pela primeira vez em 2020 como Aproveitando Perguntas de Cloze para Classificação de Texto de Disparo e Inferência de Linguagem Natural, um esforço de pesquisa combinado de duas instituições de pesquisa alemãs.

Nenhum conjunto de dados existente foi encontrado para ser adequado para a tarefa, e a equipe, portanto, curou um conjunto de dados novo de pares de frases de resumos e comunicados de imprensa relacionados, avaliados por ‘especialistas’ em termos de sua tendência a exagerar.

Os pesquisadores usaram o framework de classificação de texto de disparo PETAL como parte de um pipeline para gerar automaticamente pares de verbalizador de padrão, subsequentemente reiterando pelo dados até que tuplas aproximadamente equivalentes fossem encontradas para duas qualidades: detecção de exagero e força de alegação.

Os dados ‘ouro’ para teste foram reutilizados dos projetos de pesquisa anteriores mencionados, consistindo em 823 pares de resumos e comunicados de imprensa. Os pesquisadores rejeitaram a possível utilização dos dados do BMJ de 2014, desde que é parafraseado.

Esse processo obteve um conjunto de dados de 663 pares de resumo/comunicado de imprensa rotulados para exagero e força de alegação. Os pesquisadores amostraram aleatoriamente 100 deles como dados de treinamento de disparo, com 553 exemplos reservados para teste. Além disso, um pequeno conjunto de treinamento foi criado, consistindo em 1.138 frases, classificadas como se representassem ou não a principal conclusão do resumo ou comunicado de imprensa. Esses foram usados para identificar ‘frases de conclusão’ em pares não rotulados.

Teste

Os pesquisadores testaram a abordagem em três configurações: um ambiente supervisionado totalmente com dados rotulados exclusivamente; um cenário PET de tarefa única; e no novo MT-PET, que adiciona uma thread de formulação secundária como tarefa auxiliar (já que o objetivo do projeto é examinar duas qualidades separadas de um conjunto de dados com construtos de dados emparelhados).

Os pesquisadores encontraram que o MT-PET melhorou os resultados da PET base em ambientes de teste e encontraram que identificar a força de alegação ajudou a produzir dados de treinamento soft-rotulados para detecção de exagero. No entanto, o artigo observa que, em certas configurações entre uma matriz complexa de testes, particularmente relacionados à força de alegação, a presença de dados profissionalmente rotulados pode ser um fator nos resultados melhorados (em comparação com projetos de pesquisa anteriores que abordam esse problema). Isso pode ter implicações para a extensão com que o pipeline pode ser automatizado, dependendo do ênfase de dados da tarefa.

Não obstante, os pesquisadores concluem que o MT-PET ‘ajuda nos casos mais difíceis de identificar e diferenciar alegações causais diretas de alegações mais fracas, e que a abordagem mais performática envolve classificar e comparar a força de alegação individual de declarações dos documentos de origem e destino’.

Em conclusão, o trabalho especula que o MT-PET não apenas pode ser aplicado a uma gama mais ampla de artigos científicos (fora do setor de saúde), mas também pode formar a base de novas ferramentas para ajudar jornalistas a produzir melhores visões gerais de artigos científicos (embora isso, talvez ingenuamente, suponha que os jornalistas estão exagerando a força de alegação por ignorância), bem como ajudar a comunidade de pesquisa a formular um uso mais claro da linguagem para explicar ideias complexas. Além disso, o artigo observa:

‘[deve ser observado que os resultados de desempenho preditivo relatados neste artigo são para comunicados de imprensa escritos por jornalistas científicos – poderíamos esperar resultados piores para comunicados de imprensa que simplificam mais fortemente os artigos científicos.’