Reidentificando Comentários de Mídia Social Banidos com Aprendizado de Máquina

Pesquisadores da Universidade Johns Hopkins desenvolveram uma abordagem de Métrica Profunda para identificar comentaristas online que podem ter tido contas suspensas anteriormente ou podem estar usando várias contas para astroturf ou manipular a boa fé de comunidades online, como Reddit e Twitter.

A abordagem, apresentada em um novo artigo liderado pelo pesquisador de PLN Aleem Khan, não requer que os dados de entrada sejam anotados automaticamente ou manualmente, e melhora os resultados de tentativas anteriores, mesmo quando apenas pequenas amostras de texto estão disponíveis e quando o texto não estava presente no conjunto de dados no momento do treinamento.

O sistema oferece um esquema simples de aumento de dados, com embeddings de diferentes tamanhos treinados em um conjunto de dados de alto volume que contém mais de 300 milhões de comentários que cobrem um milhão de contas de usuário diferentes.

A arquitetura do modelo do sistema de reidentificação de Johns Hopkins, onde os componentes essenciais são 1) conteúdo de texto, 2) recurso de sub-Reddit e 3) data/hora de publicação. Fonte: https://arxiv.org/pdf/2105.07263.pdf

O framework, baseado em dados de uso do Reddit, considera o conteúdo de texto, o recurso de sub-Reddit e a data/hora de publicação. Os três fatores são combinados com métodos de embedding diversificados, incluindo convoluções unidimensionais e projeções lineares, e são assistidos por um mecanismo de atenção e uma camada de pooling máximo.

Embora o sistema se concentre no domínio de texto, os pesquisadores argumentam que sua abordagem pode ser traduzida para a análise de vídeo ou imagens, pois o algoritmo derivado opera em ocorrências de frequência em um nível alto, apesar de uma variedade de comprimentos de entrada para os pontos de dados de treinamento.

Evitando ‘Deriva de Tópico’

Uma armadilha que pesquisas dessa natureza podem cair, e que os autores abordaram expressamente no design do sistema, é colocar ênfase excessiva na reocorrência de tópicos ou temas específicos em posts de diferentes contas.

Embora um usuário possa escrever repetidamente ou iterativamente em uma linha de pensamento específica, o tópico provavelmente evoluirá e “derivar” ao longo do tempo, desvalorizando seu uso como chave de identidade. Os autores caracterizam essa armadilha potencial como “estar certo pelos motivos errados” – uma armadilha estudada anteriormente em Johns Hopkins.

Metodologia de Treinamento

O sistema usa treinamento de precisão mista, uma inovação apresentada em 2018 pela Baidu e NVIDIA (NVDA ), que reduz os requisitos de memória pela metade usando floats de precisão dupla: valores de ponto flutuante de 16 bits em vez de 32 bits. Os dados foram treinados em dois V100 GPUs, com o tempo de treinamento médio em 72 horas.

O esquema emprega codificação de texto simplificada, com codificadores convolucionais limitados a 2-4 subpalavras. Embora o comprimento médio para frameworks dessa natureza seja um máximo de cinco subpalavras, os pesquisadores encontraram que essa economia não teve impacto no desempenho de classificação, e que aumentar as subpalavras para um máximo de cinco na verdade degradou a precisão de classificação.

O Conjunto de Dados

Os pesquisadores derivaram um conjunto de dados de 300 milhões de posts do Reddit do conjunto de dados Pushshift Reddit Corpus de 2020, chamado de Conjunto de Dados de Um Milhão de Usuários (MUD).

O conjunto de dados compreende todos os posts de autores do Reddit que publicaram 100-1000 posts entre julho de 2015 e junho de 2016. Amostragem ao longo do tempo dessa forma fornece um comprimento de história adequado para o estudo e reduz o impacto de posts de spam esporádicos que não estão dentro do escopo dos objetivos da pesquisa.

Estatísticas no conjunto de dados derivado para o projeto de reidentificação de Johns Hopkins.

Resultados

A imagem abaixo mostra a melhoria cumulativa dos resultados à medida que a precisão de classificação é testada em intervalos de uma hora durante o treinamento. Após seis horas, o sistema supera os feitos de base das iniciativas anteriores relacionadas.

Em um estudo de ablação, os pesquisadores encontraram que remover o recurso de sub-Reddit do fluxo de trabalho teve surpreendentemente pouco impacto na precisão de classificação, sugerindo que o sistema generaliza muito eficazmente, com ferramentas de recursos robustas.

Frequência de Postagem como Assinatura de Reidentificação

Isso também indica que o framework é altamente transferível para outros sistemas de comentários ou publicação onde apenas o conteúdo de texto e a data/hora de publicação estão disponíveis – e, essencialmente, que a frequência temporal de postagem é, em si, um indicador valioso de identidade colateral para o conteúdo de texto real.

Os pesquisadores observam que tentar realizar a mesma estimativa dentro do conteúdo de um único sub-Reddit apresenta um desafio maior, desde que o sub-Reddit em si serve como um proxy de tópico, e um esquema adicional seria necessariamente necessário para preencher esse papel.

O estudo foi capaz de alcançar resultados promissores dentro dessas restrições, com a única ressalva de que o sistema funciona melhor em grandes volumes e pode ter dificuldade aumentada em reidentificar usuários onde o volume de postagem é baixo.

Desenvolvendo o Trabalho

Em contraste com muitas iniciativas de aprendizado supervisionado, os recursos no esquema de reidentificação de Hopkins são discretos e robustos o suficiente para que o desempenho do sistema melhore notavelmente à medida que o volume de dados aumenta.

Os pesquisadores expressam interesse em desenvolver o sistema adotando uma abordagem mais granular para a análise de horários de publicação, desde que os horários frequentemente previsíveis de spammers rotineiros (automatizados ou não) são suscetíveis a identificação por essa abordagem, e isso tornaria possível eliminar mais eficazmente o conteúdo de robô de um estudo principalmente direcionado a usuários vexatórios, ou ajudar a identificar conteúdo automatizado.

on times, since the often predictable schedules of rote spammers (automated or otherwise) are susceptible to identification by such an approach, and this would make it possible to either more effectively eliminate robot content from a study primarily aimed at vexatious users, or to aid in identifying automated content.