Demovendo ‘Verdades’ Desatualizadas com Aprendizado de Máquina

Às vezes, a verdade tem uma data de validade. Quando uma afirmação com prazo determinado (como “máscaras são obrigatórias em transportes públicos”) surge nos rankings de motores de busca, sua solução aparentemente “autoritativa” pode ultrapassar seu prazo de validade, mesmo após muitos anos, superando conteúdo mais recente e preciso sobre o mesmo tópico.

Isso é um subproduto da determinação dos algoritmos de motores de busca em identificar e promover soluções “definitivas” de longo prazo e de sua tendência a priorizar conteúdo bem vinculado que mantém tráfego ao longo do tempo – e de uma atitude cada vez mais cautelosa em relação a conteúdo mais recente na era emergente de notícias falsas.

Alternativamente, desvalorizar conteúdo valioso da web simplesmente porque o carimbo de data e hora associado a ele passou de uma “janela de validade” arbitrária corre o risco de que uma geração de conteúdo genuinamente útil seja automaticamente rebaixada em favor de material subsequente que pode ser de padrão inferior.

No sentido de corrigir essa síndrome, um novo artigo de pesquisadores da Itália, Bélgica e Dinamarca utilizou uma variedade de técnicas de aprendizado de máquina para desenvolver uma metodologia para classificação de evidências com consciência de tempo.

Além de Respostas Desatualizadas

O artigo é autorizado por pesquisadores da Comissão Europeia no Centro Comum de Pesquisa (JRC) em Ispra, a Universidade Católica em Leuven e a Universidade de Copenhague.

O trabalho considera quatro métodos de classificação temporal aplicados sobre três metodologias de verificação de fatos, cada uma com uma abordagem diferente para classificação de evidências, e oferece uma metodologia nova para classificação que usa carimbos de data e hora de evidências como um “padrão ouro”. O estudo mostra que a classificação de evidências com consciência de tempo melhora a perspicácia dos resultados e também melhora as previsões de autoridade e veracidade de fatos e afirmações sensíveis ao tempo.

A pesquisa é oferecida como um possível complemento a sistemas posteriores ou existentes e é projetada para auxiliar na pesquisa e como um fator adicional possível para inclusão no desenvolvimento de novos algoritmos de motores de busca evoluídos.

O trabalho modela a dinâmica temporal de evidências para verificação de fatos baseada em conteúdo e supera as abordagens de “semelhança semântica” adotadas por algoritmos de classificação de motores de busca típicos. O modelo treinado pelos pesquisadores utiliza uma função de aprendizado de classificação otimizada que pode ser facilmente superposta a uma arquitetura de verificação de fatos existente. Os pesquisadores defendem que o sistema é uma contribuição nova para a verificação de fatos automatizada.

Modificando Múltiplas Arquiteturas de Verificação de Fatos

Os pesquisadores impuseram seu fator de tempo restrito a três arquiteturas de verificação de fatos existentes. A primeira delas é o modelo de Memória de Longo Prazo Bidirecional (BiLSTM) proposto no conjunto de dados MultiFC lançado em 2019.

A segunda é uma modificação da primeira, com uma Rede Neural Recorrente unidirecional (RNN) substituindo o componente LSTM.

O terceiro modelo que os pesquisadores utilizaram é um transformador DistilBERT da biblioteca Hugging Faces, uma versão distilada do modelo de NLP BERT do Google.

Em todas as três arquiteturas, os pesquisadores aplicaram uma perda ListMLE, da pesquisa liderada pela Microsoft, que contribuiu consistentemente para novas pesquisas de verificação de fatos nas últimas duas décadas.

Os dois principais modelos de verificação de fatos aos quais a equipe de pesquisa adicionou um componente temporal como um filtro para autoridade e valores de classificação subsequentes. Fonte: https://arxiv.org/pdf/2009.06402.pdf

Valores de carimbo de data e hora foram extraídos dos metadados de treinamento e incluídos como fatores de classificação em cada modelo.

Testes

A avaliação experimental do sistema envolveu o uso do conjunto de dados MultiFC, pois é atualmente o único conjunto de dados de alto volume disponível para esse interesse de pesquisa específico. O MultiFC contém 34.924 afirmações reais obtidas de 26 diferentes domínios de verificação de fatos, incluindo Snopes e o Washington Post.

A previsão da veracidade de cada afirmação é aumentada por dez trechos de evidências fornecidos pela API de Pesquisa do Google, e previsões obtidas por meio de uma confluência de elementos, incluindo orador, tags e categorias.

Muito frequentemente, o carimbo de data e hora relevante não é necessariamente o contido nos metadados; um artigo pode se referir a eventos de tempos anteriores, e, nesse caso, os sistemas dos pesquisadores tiveram que se esforçar para extrair e converter esses dados diretamente do texto. Sem esse processo, uma “reexecução” de notícias desatualizadas tenderá a dar a elas um novo brilho, particularmente no caso de sites de alta autoridade, propagando os dados ultrapassados.

As datas foram extraídas com uma rotina em Python, e as datas oficiais de metadados foram testadas para consistência de formatação (já que, por exemplo, o formato de data dos EUA e do Reino Unido é diferente). Quando verificados manualmente, zero erros foram encontrados nos metadados de carimbo de data e hora.

Resultados

Contra uma verificação manual dos resultados automatizados, os pesquisadores encontraram que a classificação de evidências com consciência de tempo melhorou notavelmente em suposições de relevância baseadas em semelhança semântica pura ou classificações de SERPs. Eles também afirmam que seu método melhora as previsões de veracidade para afirmações sensíveis ao tempo (ou seja, circunstâncias em que uma situação de notícias pode estar mudando rapidamente, e onde é essencial que informações atualizadas sejam priorizadas sem apenas forçar a priorização dos resultados mais recentes sobre um tópico).

Os pesquisadores observam que essa abordagem será de alto valor para melhorar os modelos de classificação para tópicos voláteis, como política e entretenimento, onde as informações mudam rapidamente, e desenvolvimentos de alto nível exigem um quadro para demolição automática dos principais lugares em classificação que eles podem ter alcançado na liberação.