Geração e Identificação de Propaganda com Aprendizado de Máquina

Pesquisas recentes nos Estados Unidos e no Catar oferecem um método novo para identificar notícias falsas que foram escritas da maneira como os humanos realmente escrevem notícias falsas – incorporando declarações imprecisas em um contexto principalmente verdadeiro, e utilizando técnicas de propaganda populares, como apelo à autoridade e linguagem carregada.

O projeto resultou na criação de um novo conjunto de dados de treinamento para detecção de notícias falsas chamado PropaNews, que incorpora essas técnicas. Os autores do estudo descobriram que detectores treinados no novo conjunto de dados são 7,3-12% mais precisos em detectar desinformação escrita por humanos do que as abordagens anteriores de estado da arte.

Do novo artigo, exemplos de ‘apelo à autoridade’ e ‘linguagem carregada’. Fonte: https://arxiv.org/pdf/2203.05386.pdf

Os autores afirmam que, ao melhor de seu conhecimento, o projeto é o primeiro a incorporar técnicas de propaganda (em vez de simplesmente inexactidão factual) em exemplos de texto gerados por máquina destinados a alimentar detectores de notícias falsas.

A maioria dos trabalhos recentes nesse campo, eles argumentam, estudou viés, ou reformulou ‘propaganda’ em termos de viés (possivelmente porque o viés se tornou um setor de aprendizado de máquina altamente financiável na era pós-Analytica).

Os autores declaram:

‘Em contraste, nosso trabalho gera notícias falsas incorporando técnicas de propaganda e preservando a maioria das informações corretas. Portanto, nossa abordagem é mais adequada para estudar a defesa contra notícias falsas escritas por humanos.’

Eles ilustram ainda a crescente urgência de técnicas de detecção de propaganda mais sofisticadas*:

‘[Desinformação] escrita por humanos, que é frequentemente usada para manipular certas populações, teve um impacto catastrófico em vários eventos, como a eleição presidencial dos EUA em 2016, Brexit, a pandemia de COVID-19 e o recente ataque da Rússia à Ucrânia. Portanto, estamos em necessidade urgente de um mecanismo de defesa contra a desinformação escrita por humanos.’

O artigo é intitulado Fazendo Notícias Falsas para Detecção Real de Notícias Falsas: Geração de Dados de Treinamento Carregados de Propaganda, e vem de cinco pesquisadores da Universidade de Illinois Urbana-Champaign, Universidade de Columbia, Universidade Hamad Bin Khalifa do Catar, Universidade de Washington e Instituto Allen para Inteligência Artificial.

Definindo a Mentira

O desafio de quantificar a propaganda é basicamente logístico: é muito caro contratar humanos para reconhecer e anotar material do mundo real com características de propaganda para inclusão em um conjunto de dados de treinamento, e potencialmente muito mais barato extrair e utilizar recursos de alto nível que provavelmente funcionem em ‘não vistos’, futuros dados.

Em serviço de uma solução mais escalável, os pesquisadores inicialmente reuniram artigos de desinformação criados por humanos de fontes de notícias consideradas de baixa precisão factual, por meio do site Media Bias Fact Check.

Eles descobriram que 33% dos artigos estudados usavam técnicas de propaganda desonestas, incluindo termos que desencadeiam emoções, falácias lógicas e apelo à autoridade. Um adicional de 55% dos artigos continham informações imprecisas misturadas com informações precisas.

Gerando Apelos à Autoridade

A abordagem do apelo à autoridade tem dois casos de uso: a citação de declarações imprecisas e a citação de declarações completamente fictícias. A pesquisa se concentra no segundo caso de uso.

Do novo projeto, o framework de Inferência de Linguagem Natural RoBERTa identifica dois exemplos adicionais de apelo à autoridade e linguagem carregada.

Com o objetivo de criar propaganda gerada por máquina para o novo conjunto de dados, os pesquisadores usaram a arquitetura pré-treinada seq2seq BART para identificar frases salientes que poderiam ser alteradas em propaganda posteriormente. Como não havia um conjunto de dados público disponível relacionado a essa tarefa, os autores usaram um modelo de resumo extrativo proposto em 2019 para estimar a saliência das frases.

Para um artigo de cada veículo de imprensa estudado, os pesquisadores substituíram essas ‘frases marcadas’ com argumentos falsos de ‘autoridades’ derivados tanto do Wikidata Query Service quanto de autoridades mencionadas nos artigos (ou seja, pessoas e/ou organizações).

Gerando Linguagem Carregada

Linguagem carregada inclui palavras, frequentemente advérbios e adjetivos sensacionalizados (como no exemplo ilustrado acima), que contêm julgamentos de valor implícitos enredados no contexto de entregar um fato.

Para derivar dados sobre linguagem carregada, os autores usaram um conjunto de dados de um estudo de 2019 contendo 2.547 linguagem carregada instâncias. Como nem todos os exemplos nos dados de 2019 incluíam advérbios ou adjetivos que desencadeiam emoções, os pesquisadores usaram SpaCy para realizar parsing de dependência e marcação de Part of Speech (PoS), retenendo apenas exemplos apropriados para inclusão no framework.

O processo de filtragem resultou em 1.017 amostras de linguagem carregada válida. Outra instância de BART foi usada para mascarar e substituir frases salientes nos documentos de origem com linguagem carregada.

Conjunto de Dados PropaNews

Após o treinamento intermediário do modelo realizado no conjunto de dados CNN/DM de 2015 da Google Deep Mind e da Universidade de Oxford, os pesquisadores geraram o conjunto de dados PropaNews, convertendo artigos não triviais de fontes ‘confiáveis’ como The New York Times e The Guardian em ‘versões alteradas’ contendo propaganda algorítmica criada.

O experimento foi modelado em um estudo de 2013 de Hanover, que gerou automaticamente resumos de linha do tempo de histórias de notícias em 17 eventos de notícias e um total de 4.535 histórias.

A desinformação gerada foi submetida a 400 trabalhadores únicos no Amazon Mechanical Turk (AMT), abrangendo 2000 Tarefas de Inteligência Humana (HITs). Apenas os artigos de propaganda considerados precisos pelos trabalhadores foram incluídos na versão final do PropaNews. A adjudicação sobre desacordos foi pontuada pelo método Worker Agreement With Aggregate (WAWA).

A versão final do PropaNews contém 2.256 artigos, balanceados entre saída falsa e real, 30% dos quais utilizam apelo à autoridade, com mais 30% usando linguagem carregada. O restante simplesmente contém informações imprecisas do tipo que tem povoado principalmente conjuntos de dados anteriores nesse campo de pesquisa.

Os dados foram divididos em 1.256:500:500 em distribuições de treinamento, teste e validação.

Conjunto de Dados HumanNews

Para avaliar a eficácia das rotinas de detecção de propaganda treinadas, os pesquisadores compilaram 200 artigos de notícias escritos por humanos, incluindo artigos desmascarados pelo Politifact e publicados entre 2015-2020.

Esses dados foram aumentados com artigos adicionais desmascarados de veículos de imprensa não confiáveis e o total foi verificado por um estudante de graduação em ciência da computação.

O conjunto de dados final, intitulado HumanNews, também inclui 100 artigos do Los Angeles Times.

Testes

O processo de detecção foi comparado a frameworks anteriores em duas formas: PN-Prata, que ignora a validação do annotador do AMT, e PN-Ouro, que inclui a validação como um critério.

Frameworks concorrentes incluíram a oferta de 2019 Grover-GEN, 2020’s Fact-GEN e FakeEvent, onde artigos do PN-Prata são substituídos por documentos gerados por esses métodos mais antigos.

Variants de Grover e RoBERTa provaram ser os mais eficazes quando treinados no novo conjunto de dados PropaNews, com os pesquisadores concluindo que ‘detecção treinada em PropaNews performa melhor na identificação de desinformação escrita por humanos em comparação com o treinamento em outros conjuntos de dados’.

Os pesquisadores também observam que mesmo o conjunto de dados de ablação semi-deficiente PN-Prata supera métodos mais antigos em outros conjuntos de dados.

Desatualizado?

Os autores reiteram a falta de pesquisa até o momento sobre a geração e identificação automatizada de notícias falsas centradas em propaganda, e alertam que o uso de modelos treinados em dados anteriores a eventos críticos (como COVID ou, argumentavelmente, a situação atual na Europa Oriental) não pode ser esperado para performar de forma ideal:

‘Cerca de 48% das desinformações escritas por humanos mal classificadas são causadas pela incapacidade de adquirir conhecimento dinâmico de novas fontes de notícias. Por exemplo, artigos relacionados ao COVID são geralmente publicados após 2020, enquanto o ROBERTA foi pré-treinado em artigos de notícias publicados antes de 2019. É muito desafiador para o ROBERTA detectar desinformação sobre tais tópicos, a menos que o detector seja equipado com a capacidade de adquirir conhecimento dinâmico de artigos de notícias.’

Os autores também notam que o RoBERTa alcança uma precisão de 69,0% para a detecção de artigos de notícias falsas onde o material é publicado antes de 2019, mas cai para 51,9% de precisão quando aplicado contra artigos de notícias publicados após essa data.

Paltering e Contexto

Embora o estudo não aborde diretamente, é possível que esse tipo de mergulho profundo em afeto semântico possa eventualmente abordar a weaponização mais sutil da linguagem, como paltering – o uso seletivo e auto-servidor de declarações verdadeiras para obter um resultado desejado que pode se opor ao espírito e à intenção percebida da evidência de apoio usada.

Uma linha de pesquisa relacionada e ligeiramente mais desenvolvida em NLP, visão computacional e pesquisa multimodal é o estudo do contexto como um adjunto de significado, onde a reordenação seletiva ou re-contextualização de fatos verdadeiros se torna equivalente a uma tentativa de evocar uma reação diferente do que os fatos poderiam ordinariamente efeito, se apresentados de forma mais clara e linear.

* Minha conversão das citações inline dos autores para links diretos.

Publicado pela primeira vez em 11 de março de 2022.