Uma Abordagem de NLP para Detecção de Exagero em Jornalismo Científico

Pesquisadores da Dinamarca desenvolveram um sistema de ‘detecção de exagero’ projetado para mitigar os efeitos de jornalistas que superestimam as implicações de novos artigos de pesquisa científica ao resumi-los e relatá-los. O trabalho foi motivado pela extensão com que novas pesquisas publicadas sobre COVID-19 foram distorcidas nos canais de notícias, embora os autores concordem que é aplicável a uma ampla gama do setor de relatórios científicos em geral.

O artigo, intitulado Detecção de Exagero Semissupervisionada de Comunicados de Imprensa de Ciências da Saúde, vem da Universidade de Copenhague e observa que o problema é agravado pela tendência das publicações de não incluir links de fonte para a pesquisa original – uma prática jornalística cada vez mais comum que tenta substituir o artigo original e substituir o resumo re-relatado como ‘conhecimento de fonte’ – mesmo quando o artigo é publicamente disponível.

Do artigo, uma manifestação típica de exagero de artigos científicos. Fonte: https://arxiv.org/pdf/2108.13493.pdf

O problema não se limita à reação jornalística externa a novos artigos, mas pode se estender a outros tipos de resumo, incluindo esforços de relações públicas internas de universidades e instituições de pesquisa; material promocional destinado a solicitar a atenção de veículos de notícias; e os links de referência úteis (e potencial munição para rodadas de financiamento) que decorrem quando os jornalistas ‘mordem’.

O trabalho aproveita o Processamento de Linguagem Natural (NLP) contra um novo conjunto de dados de comunicados de imprensa e resumos emparelhados, com os pesquisadores alegando ter desenvolvido ‘[uma] nova formulação de tarefa mais realista’ para a detecção de exagero científico. Os autores prometeram publicar o código e os dados do trabalho no GitHub em breve.

Combate ao Sensacionalismo

Vários estudos abordaram o problema do sensacionalismo científico nos últimos trinta anos, aproximadamente, e chamaram a atenção para as informações erradas que isso pode levar. A falecida socióloga científica americana Dorothy Nelkin abordou a questão notavelmente no livro de 1987 Vendendo Ciência; o relatório Embo de 2006 Ciência ruim nos títulos destacou a necessidade de mais jornalistas treinados cientificamente, assim como a internet estava trazendo pressões orçamentárias críticas sobre a mídia tradicional.

Além disso, em 2014, o British Medical Journal trouxe o problema para o foco em um relatório; e um estudo de 2019 da Wellcome Open Research estabeleceu que o exagero de artigos científicos não confere benefício (em termos de alcance ou tráfego) para os veículos de notícias e outros sistemas de relatórios que perpetuam essa prática.

No entanto, o advento da pandemia trouxe os efeitos negativos desse hiperbólico para o foco crítico, com uma gama de plataformas de informações, incluindo a página de resultados do mecanismo de busca do Google e o índice de artigos científicos da Universidade de Cornell Arxiv, agora adicionando automaticamente avisos a qualquer conteúdo que pareça lidar com COVID.

Interfaces modificadas para buscas e conteúdo relacionado ao COVID, da página de resultados do mecanismo de busca do Google e do repositório científico influente Arxiv da Universidade de Cornell.

Projetos anteriores tentaram criar sistemas de detecção de exagero para artigos científicos aproveitando o NLP, incluindo uma colaboração de 2019 entre pesquisadores de Hong Kong e China, e outro (não relacionado) artigo da Dinamarca em 2017.

Os pesquisadores do novo artigo observam que esses esforços anteriores desenvolveram conjuntos de dados de afirmações de resumos e sumários do PubMed e EurekAlert, rotulados para ‘força’, e usados para treinar modelos de aprendizado de máquina para prever força de afirmação em dados não vistos.

MT-PET

A nova pesquisa combina um comunicado de imprensa e um resumo como uma entidade de dados combinada e explora o conjunto de dados resultante em MT-PET, uma versão capaz de múltiplas tarefas do Treinamento de Exploração de Padrões, apresentado pela primeira vez em 2020 como Aproveitando Perguntas de Cloze para Classificação de Texto de Poucos Disparos e Inferência de Linguagem Natural, um esforço de pesquisa combinado de duas instituições de pesquisa alemãs.

Nenhum conjunto de dados existente foi considerado adequado para a tarefa, e a equipe, portanto, curou um novo conjunto de dados de frases emparelhadas de resumos e comunicados de imprensa relacionados, avaliados por ‘especialistas’ em termos de sua tendência a exagerar.

Os pesquisadores usaram o framework de classificação de texto de poucos disparos PETAL como parte de um pipeline para gerar automaticamente pares de padronizador-verbalizador, subsequentemente reiterando os dados até que tuplas aproximadamente equivalentes fossem encontradas para duas qualidades: detecção de exagero e força de afirmação.

O ‘ouro’ dos dados para teste foi reutilizado dos projetos de pesquisa anteriores mencionados, consistindo em 823 pares de resumos e comunicados de imprensa. Os pesquisadores rejeitaram a possível utilização dos dados do BMJ de 2014, desde que é parafraseado.

Esse processo obteve um conjunto de dados de 663 pares de resumo/comunicado de imprensa rotulados para exagero e força de afirmação. Os pesquisadores amostraram aleatoriamente 100 deles como dados de treinamento de poucos disparos, com 553 exemplos reservados para teste. Além disso, um pequeno conjunto de treinamento foi criado, consistindo em 1.138 frases, classificadas como se representassem ou não a principal conclusão do resumo ou do comunicado de imprensa. Essas foram usadas para identificar ‘frases de conclusão’ em pares não rotulados.

Testes

Os pesquisadores testaram a abordagem em três configurações: um ambiente supervisionado com dados exclusivamente rotulados; um cenário PET de tarefa única; e no novo MT-PET, que adiciona uma thread de formulação secundária como tarefa auxiliar (já que o objetivo do projeto é examinar duas qualidades separadas de um conjunto de dados com construtos de dados emparelhados).

Os pesquisadores encontraram que o MT-PET melhorou os resultados da base PET em ambientes de teste e encontraram que identificar a força de afirmação ajudou a produzir dados de treinamento soft-rotulados para detecção de exagero. No entanto, o artigo observa que, em certas configurações entre uma matriz complexa de testes, particularmente relacionados à força de afirmação, a presença de dados profissionalmente rotulados pode ser um fator nos resultados melhorados (em comparação com projetos de pesquisa anteriores que abordam esse problema). Isso pode ter implicações para a extensão com que o pipeline pode ser automatizado, dependendo do ênfase dos dados da tarefa.

No entanto, os pesquisadores concluem que o MT-PET ‘ajuda nos casos mais difíceis de identificar e diferenciar afirmações causais diretas de afirmações mais fracas, e que a abordagem mais performática envolve classificar e comparar a força de afirmação individual de afirmações dos documentos de origem e destino’.

Em conclusão, o trabalho especula que o MT-PET não apenas pode ser aplicado a uma gama mais ampla de artigos científicos (fora do setor de saúde), mas também pode formar a base de novas ferramentas para ajudar jornalistas a produzir melhores visões gerais de artigos científicos (embora isso, talvez ingenuamente, pressuponha que os jornalistas estão exagerando a força de afirmação por ignorância), bem como ajudar a comunidade de pesquisa a formular um uso mais claro da linguagem para explicar ideias complexas. Além disso, o artigo observa:

‘[deve ser observado que os resultados de desempenho preditivo relatados neste artigo são para comunicados de imprensa escritos por jornalistas científicos – pode-se esperar piores resultados para comunicados de imprensa que simplifiquem mais fortemente os artigos científicos.’