Detecção de Avaliações Online Maliciosas ‘Profissionais’ com Aprendizado de Máquina

Uma nova colaboração de pesquisa entre a China e os EUA oferece uma forma de detectar avaliações maliciosas de comércio eletrônico projetadas para minar concorrentes ou facilitar chantagem, aproveitando o comportamento de assinatura de tais avaliadores.

O sistema, intitulado modelo de detecção de usuário malicioso (MMD), utiliza Aprendizado de Métrica, uma técnica comumente usada em visão computacional e sistemas de recomendação, juntamente com uma Rede Neural Recorrente (RNN), para identificar e rotular a saída de tais avaliadores, que o artigo nomeia Usuários Maliciosos Profissionais (PMUs).

Ótimo! 1 estrela

A maioria das avaliações online de comércio eletrônico fornece duas formas de feedback do usuário: uma classificação por estrelas (ou uma classificação de 0 a 10) e uma avaliação baseada em texto, e, em um caso típico, essas corresponderão logicamente (ou seja, uma avaliação ruim será acompanhada de uma classificação baixa).

Os PMUs, no entanto, normalmente subvertem essa lógica, deixando uma avaliação de texto ruim com uma classificação alta, ou uma classificação ruim acompanhada de uma avaliação boa.

Isso permite que a avaliação do usuário cause danos à reputação sem acionar os filtros relativamente simples implantados pelos sites de comércio eletrônico para identificar e abordar a saída de avaliadores negativos maliciosos. Se um filtro baseado em Processamento de Linguagem Natural (PLN) identifica invectiva no texto de uma avaliação, essa ‘bandeira’ é efetivamente cancelada pela classificação por estrelas (ou decimal) alta que o PMU também atribuiu, tornando o conteúdo malicioso ‘neutro’, do ponto de vista estatístico.

Um exemplo de como uma avaliação maliciosa pode ser combinada, estatisticamente, com avaliações genuínas, do ponto de vista de um sistema de filtragem colaborativa que tenta identificar esse comportamento.  Fonte: https://arxiv.org/pdf/2205.09673.pdf

O novo artigo observa que a intenção de um PMU é frequentemente extorquir dinheiro de varejistas online em troca da alteração de avaliações negativas e/ou de uma promessa de não postar mais avaliações negativas. Em alguns casos, os atores são ad hoc indivíduos procurando descontos, embora frequentemente o PMU seja empregado casualmente pelos concorrentes da vítima.

Encobrindo Avaliações Negativas

A geração atual de detectores automatizados para tais avaliações usa Filtragem Colaborativa ou um modelo baseado em conteúdo, e está procurando por claros e inequívocos ‘outliers’ – avaliações que são uniformemente negativas em ambas as formas de feedback, e que divergem notavelmente da tendência geral do sentimento e classificação de avaliação.

A outra assinatura clássica que esses filtros se baseiam é uma alta frequência de postagem, enquanto um PMU postará estrategicamente e apenas ocasionalmente (já que cada avaliação pode representar uma comissão individual ou uma etapa em uma estratégia mais longa projetada para ofuscar a métrica de ‘frequência’).

Portanto, os pesquisadores do novo artigo integraram a estranha polaridade de avaliações maliciosas profissionais em um sistema dedicado, resultando em um algoritmo que está quase no nível da capacidade de um avaliador humano de ‘cheirar um rato’ na disparidade entre a classificação e o conteúdo do texto da avaliação.

A arquitetura conceitual para MMD, composta por dois módulos centrais: Profiling de Usuário Malicioso (MUP) e Aprendizado de Métrica de Atenção (MLC, em cinza).

Comparação com Abordagens Anteriores

Como MMD é, segundo os autores, o primeiro sistema a tentar identificar PMUs com base em seu estilo de postagem esquizofrênico, não há trabalhos anteriores diretos para comparar. Portanto, os pesquisadores compararam seu sistema com uma série de algoritmos de componentes nos quais os filtros automatizados tradicionais frequentemente dependem, incluindo K-means++ Clustering; a venerável Detecção de Outliers Estatísticos (SOD); Hysad; Semi-sad; CNN-sad; e Sistema de Recomendação de Detecção de Usuário Caluniador (SDRS).

Testado contra conjuntos de dados rotulados do Amazon e Yelp, MMD é capaz de identificar detratores online profissionais com a taxa de precisão mais alta, segundo os autores. Negrito representa MMD, enquanto o asterisco (*) indica o melhor desempenho. Nesse caso, MMD foi superado em apenas duas tarefas, por uma tecnologia autônoma (MUP) que já está incorporada a ele, mas que não é ferramentada por padrão para a tarefa em questão.

Nesse caso, MMD foi comparado com conjuntos de dados não rotulados do Taobao e Jindong, tornando-o efetivamente uma tarefa de aprendizado não supervisionado. Mais uma vez, MMD é superado apenas por uma de suas próprias tecnologias constituintes, altamente adaptada para a tarefa para fins de teste.