Detecção de Avaliações Online Maliciosas “Profissionais” com Aprendizado de Máquina

Uma nova colaboração de pesquisa entre a China e os EUA oferece uma maneira de detectar avaliações maliciosas de comércio eletrônico projetadas para minar concorrentes ou facilitar chantagem, aproveitando o comportamento de assinatura de tais avaliadores.

O sistema, intitulado modelo de detecção de usuário malicioso (MMD), utiliza Aprendizado de Métrica, uma técnica comumente usada em visão computacional e sistemas de recomendação, juntamente com uma Rede Neural Recorrente (RNN), para identificar e rotular a saída de tais avaliadores, que o artigo nomeia Usuários Maliciosos Profissionais (PMUs).

Ótimo! 1 estrela

A maioria das avaliações online de comércio eletrônico fornece duas formas de feedback do usuário: uma classificação por estrelas (ou uma classificação de 10) e uma avaliação baseada em texto, e, em um caso típico, essas correspondem logicamente (ou seja, uma avaliação ruim será acompanhada de uma classificação baixa).

Os PMUs, no entanto, normalmente subvertem essa lógica, deixando uma avaliação ruim com uma classificação alta, ou uma classificação ruim acompanhada de uma avaliação boa.

Isso permite que a avaliação do usuário cause danos à reputação sem acionar os filtros relativamente simples implantados por sites de comércio eletrônico para identificar e abordar a saída de avaliadores maliciosos. Se um filtro baseado em Processamento de Linguagem Natural (NLP) identifica invectivas no texto de uma avaliação, essa “bandeira” é efetivamente cancelada pela classificação por estrelas (ou decimal) alta que o PMU também atribuiu, tornando o conteúdo malicioso “neutro” do ponto de vista estatístico.

Um exemplo de como uma avaliação maliciosa pode ser combinada estatisticamente com avaliações genuínas, do ponto de vista de um sistema de filtragem colaborativa que tenta identificar esse comportamento. Fonte: https://arxiv.org/pdf/2205.09673.pdf

O novo artigo observa que a intenção de um PMU é frequentemente extorquir dinheiro de varejistas online em troca da alteração de avaliações negativas, e/ou uma promessa de não postar mais avaliações negativas. Em alguns casos, os atores são ad hoc indivíduos procurando descontos, embora frequentemente o PMU seja empregado casualmente por concorrentes da vítima.

Encobrindo Avaliações Negativas

A geração atual de detectores automatizados para tais avaliações usa Filtragem Colaborativa ou um modelo baseado em conteúdo, e está procurando por claros e inequívocos “outliers” – avaliações que são uniformemente negativas em ambas as formas de feedback, e que divergem notavelmente da tendência geral de sentimento e classificação.

A outra assinatura clássica que esses filtros procuram é uma alta frequência de postagem, enquanto um PMU postará estrategicamente e apenas ocasionalmente (já que cada avaliação pode representar uma comissão individual ou uma etapa em uma estratégia mais longa projetada para ofuscar a métrica de “frequência”).

Portanto, os pesquisadores do novo artigo integraram a estranha polaridade de avaliações maliciosas profissionais em um sistema dedicado, resultando em um algoritmo que está quase no nível da capacidade de um revisor humano de “sentir um rato” na disparidade entre a classificação e o conteúdo do texto da avaliação.

A arquitetura conceitual para MMD, composta por dois módulos centrais: Perfiling de Usuário Malicioso (MUP) e Aprendizado de Métrica de Atenção (MLC, em cinza).

Comparação com Abordagens Anteriores

Como o MMD é, segundo os autores, o primeiro sistema a tentar identificar PMUs com base em seu estilo de postagem esquizofrênico, não há trabalhos anteriores diretos para comparar. Portanto, os pesquisadores compararam seu sistema com vários algoritmos de componentes nos quais filtros automatizados tradicionais frequentemente dependem, incluindo K-means++ Clustering; a venerável Detecção de Outliers Estatísticos (SOD); Hysad; Semi-sad; CNN-sad; e Sistema de Recomendação de Detecção de Usuário Caluniador (SDRS).

Testado contra conjuntos de dados rotulados do Amazon [securities_stock_price_tag symbol="amzn" exchange="nasdaq"] e Yelp, o MMD é capaz de identificar detratores online profissionais com a maior taxa de precisão, afirmam os autores. Negrito representa o MMD, enquanto o asterisco (*) indica o melhor desempenho. Nesse caso, o MMD foi superado em apenas duas tarefas, por uma tecnologia autônoma (MUP) que já está incorporada nele, mas que não é ferramentada por padrão para a tarefa em questão.

Nesse caso, o MMD foi comparado com conjuntos de dados não rotulados do Taobao e Jindong, tornando-o efetivamente uma tarefa de aprendizado não supervisionado. Mais uma vez, o MMD é superado apenas por uma de suas próprias tecnologias constituintes, altamente adaptada para a tarefa para fins de teste.

Os pesquisadores observam:

‘Em todos os quatro conjuntos de dados, nosso modelo proposto MMD (MLC+MUP) supera todos os benchmarks em termos de F-score. Note que o MMD é uma combinação de MLC e MUP, o que garante sua superioridade sobre modelos supervisionados e não supervisionados em geral.’

O artigo também sugere que o MMD poderia servir como um método de pré-processamento útil para sistemas de filtros automatizados tradicionais e fornece resultados experimentais em vários conjuntos de dados, incluindo Filtragem Colaborativa Baseada em Usuário (UBCF), Filtragem Colaborativa Baseada em Item (IBCF), Fatoração de Matriz (MF-eALS), Classificação de Ranking Personalizado (MF-BPR) e Filtragem Colaborativa Neural (NCF).

Em termos de Taxa de Acertos (HR) e Ganho Cumulativo Descontado Normalizado (NDCG) nos resultados dessas ampliações testadas, os autores afirmam:

‘Entre todos os quatro conjuntos de dados, o MMD melhora significativamente os modelos de recomendação em termos de HR e NDCG. Especificamente, o MMD pode melhorar o desempenho do HR em 28,7% em média e do NDCG em 17,3% em média.

‘Ao excluir usuários maliciosos profissionais, o MMD pode melhorar a qualidade dos conjuntos de dados. Sem esses usuários maliciosos, o conjunto de dados se torna mais intuitivo.’

O artigo é intitulado Detectar Usuário Malicioso Profissional com Aprendizado de Métrica em Sistemas de Recomendação e vem de pesquisadores do Departamento de Ciência da Computação e Tecnologia da Universidade de Jilin; do Laboratório de Processamento de Informação Inteligente da Academia Chinesa de Ciência em Pequim; e da Escola de Negócios de Rutgers em Nova Jersey.

Dados e Abordagem

Detectar PMUs é um desafio multimodal, pois dois parâmetros não equivalentes (uma classificação por estrelas/decimal e uma avaliação baseada em texto) devem ser considerados. Os autores do novo artigo afirmam que nenhum trabalho anterior abordou esse desafio.

O MMD emprega uma Rede Neural Recorrente de Atenção Dual Hierárquica (HDAN) para assimilar o conteúdo da avaliação em uma pontuação de sentimento.

Projetando uma avaliação em uma pontuação de sentimento com HDAN, que contribui com a incorporação de palavras e frases para obter uma pontuação de sentimento.

O HDAN usa mecanismos de atenção para atribuir pesos a cada palavra e a cada frase. Na imagem acima, os autores afirmam que a palavra mais pobre deve claramente ser atribuída um peso maior do que as palavras concorrentes na avaliação.

Para o projeto, o HDAN tomou as classificações de produtos em quatro conjuntos de dados como verdadeiro. Os conjuntos de dados foram Amazon.com; Yelp para RecSys (2013); e dois conjuntos de dados “do mundo real” (em vez de experimentais), do Taobao e Jindong.

O MMD aproveita o Aprendizado de Métrica, que tenta estimar uma distância precisa entre entidades para caracterizar o grupo geral de relações nos dados.

O MMD começa com uma codificação one-hot para selecionar o usuário e o item, via um Modelo de Fator Latente (LFM), que obtém uma pontuação de classificação base. Enquanto isso, o HDAN projeta o conteúdo da avaliação na pontuação de sentimento como dados adjuntos.

Os resultados são então processados em um modelo de Perfiling de Usuário Malicioso (MUP), que produz o vetor de lacuna de sentimento – a disparidade entre a classificação e a pontuação de sentimento estimada do conteúdo do texto da avaliação. Dessa forma, pela primeira vez, os PMUs podem ser categorizados e rotulados.

Aprendizado de Métrica de Atenção para agrupamento.

O Aprendizado de Métrica para Agrupamento (MLC) usa essas etiquetas de saída para estabelecer uma métrica contra a qual a probabilidade de uma avaliação de usuário ser maliciosa é calculada.

Testes Humanos

Além dos resultados quantitativos detalhados acima, os pesquisadores realizaram um estudo de usuário que atribuiu a 20 estudantes a tarefa de identificar avaliações maliciosas com base apenas no conteúdo e na classificação por estrelas. Os participantes foram solicitados a classificar as avaliações como 0 (para “revisores normais”) ou 1 (para um usuário malicioso profissional).

De uma divisão de 50/50 entre avaliações normais e maliciosas, os estudantes rotularam 24 verdadeiros positivos e 24 verdadeiros negativos em média. Em comparação, o MMD foi capaz de rotular 23 verdadeiros positivos e 24 verdadeiros negativos em média, operando quase no nível de discernimento humano e superando os benchmarks para a tarefa.

Estudantes vs. MMD. Asterisco (*) indica os melhores resultados, e negrito indica os resultados do MMD.

Os autores concluem:

‘Em essência, o MMD é uma solução genérica, que não apenas detecta os usuários maliciosos profissionais explorados neste artigo, mas também serve como uma base geral para detecção de usuários maliciosos. Com mais dados, como imagens, vídeo ou som, a ideia do MMD pode ser instrutiva para detectar a lacuna de sentimento entre o título e o conteúdo, o que tem um futuro brilhante para contrariar diferentes estratégias de ocultação em diferentes aplicações.’

Publicado pela primeira vez em 20 de maio de 2022.