Modelo Estatístico Ajuda a Detectar Desinformação nas Mídias Sociais

Um professor de matemática da American University, junto com sua equipe de colaboradores, desenvolveu um modelo estatístico que pode detectar desinformação em posts de mídias sociais.

A aprendizagem de máquina está sendo cada vez mais utilizada para parar a propagação de desinformação, mas ainda há um grande obstáculo envolvendo o problema das caixas pretas que ocorrem. Isso se refere a quando os pesquisadores não entendem como uma máquina chega à mesma decisão que os treinadores humanos.

Detectando Desinformação com Modelos Estatísticos

Zois Boukouvalas, professor assistente no Departamento de Matemática e Estatística da AU, usou um conjunto de dados do Twitter com tweets de desinformação sobre COVID-19 para demonstrar como os modelos estatísticos podem detectar desinformação em mídias sociais durante eventos importantes como uma pandemia ou desastre.

Boukouvalas e seus colegas, que incluem a estudante da AU Caitlin Moroney e a Professora de Ciência da Computação Nathalie Japkowics, demonstraram como as decisões do modelo se alinham com as dos humanos na pesquisa recentemente publicada.

“Gostaríamos de saber o que uma máquina está pensando quando toma decisões e como e por que ela concorda com os humanos que a treinaram”, disse Boukouvalas. “Não queremos bloquear a conta de mídia social de alguém porque o modelo toma uma decisão tendenciosa.”

O método utilizado pela equipe é um tipo de aprendizagem de máquina que se baseia em estatísticas. Os modelos estatísticos são eficazes e fornecem outra maneira de combater a desinformação.

O modelo alcançou um alto desempenho de previsão e classificou um conjunto de testes de 112 tweets reais e de desinformação com quase 90% de precisão.

“O que é significativo sobre essa descoberta é que nosso modelo alcançou precisão enquanto oferecia transparência sobre como detectou os tweets que eram desinformação”, continuou Boukouvalas. “Os métodos de aprendizagem profunda não podem alcançar esse tipo de precisão com transparência.”

Treinando e Preparando o Modelo

Os pesquisadores prepararam o modelo para treinar antes de testá-lo em um conjunto de dados, desde que as informações fornecidas pelos humanos podem introduzir vieses e caixas pretas.

Os tweets foram rotulados pelos pesquisadores como desinformação ou reais com base em um conjunto de regras pré-definidas sobre a linguagem usada na desinformação. A equipe também considerou nuances na linguagem humana e recursos linguísticos que estão ligados à desinformação.

Antes de treinar o modelo, a professora de socio-linguística Christine Mallinson, da University of Maryland Baltimore County, identificou os tweets para estilos de escrita associados à desinformação, viés e fontes menos confiáveis na mídia.

“Uma vez que adicionamos essas entradas no modelo, ele está tentando entender os fatores subjacentes que levam à separação de boa e má informação”, disse Japkowicz. “Ele está aprendendo o contexto e como as palavras interagem.”

Os pesquisadores agora buscarão melhorar a interface do usuário para o modelo, bem como sua capacidade de detectar desinformação em posts de mídias sociais que incluem imagens ou outros elementos multimídia. O modelo estatístico precisará aprender como uma variedade de elementos diferentes interage entre si para criar desinformação.

Tanto Boukouvalas quanto Japkowicz dizem que a inteligência humana e a literacia em notícias são fundamentais para parar a propagação de desinformação.

“Por meio de nosso trabalho, projetamos ferramentas baseadas em aprendizagem de máquina para alertar e educar o público a fim de eliminar a desinformação, mas acreditamos firmemente que os humanos precisam desempenhar um papel ativo em não espalhar desinformação em primeiro lugar”, disse Boukouvalas.