Detección de reseñas en línea maliciosas ‘profesionales’ con aprendizaje automático

Una nueva colaboración de investigación entre China y EE. UU. ofrece una forma de detectar reseñas de comercio electrónico maliciosas diseñadas para socavar a los competidores o facilitar el chantaje, aprovechando el comportamiento característico de dichos reseñadores.

El sistema, titulado modelo de detección de usuarios maliciosos (MMD), utiliza Aprendizaje de Métricas, una técnica comúnmente utilizada en visión por computadora y sistemas de recomendación, junto con una Red Neuronal Recurrente (RNN), para identificar y etiquetar la salida de dichos reseñadores, a los que el documento llama Usuarios Maliciosos Profesionales (PMUs).

¡Genial! 1 estrella

La mayoría de las reseñas en línea de comercio electrónico proporcionan dos formas de retroalimentación del usuario: una calificación por estrellas (o una calificación de 10) y una reseña basada en texto, y en un caso típico, estas corresponderán lógicamente (es decir, una mala reseña estará acompañada de una calificación baja).

Los PMUs, sin embargo, suelen subvertir esta lógica, dejando una mala reseña con una calificación alta o una mala calificación acompañada de una buena reseña.

Esto permite que la reseña del usuario cause daño a la reputación sin activar los filtros relativamente simples desplegados por los sitios de comercio electrónico para identificar y abordar la salida de reseñadores maliciosos. Si un filtro basado en Procesamiento de Lenguaje Natural (NLP) identifica invectiva en el texto de una reseña, esta “bandera” se cancela efectivamente por la alta calificación por estrellas (o decimal) que el PMU también asignó, lo que hace que el contenido malicioso sea “neutral” desde un punto de vista estadístico.

Un ejemplo de cómo una reseña maliciosa puede combinarse estadísticamente con reseñas genuinas, desde el punto de vista de un sistema de filtrado colaborativo que intenta identificar dicho comportamiento. Fuente: https://arxiv.org/pdf/2205.09673.pdf

El nuevo documento señala que la intención de un PMU es a menudo extorsionar dinero a los minoristas en línea a cambio de la enmienda de reseñas negativas y/o una promesa de no publicar más reseñas negativas. En algunos casos, los actores son individuos ad hoc que buscan descuentos, aunque con frecuencia el PMU está siendo empleados casualmente por los competidores de la víctima.

Encubriendo reseñas negativas

La generación actual de detectores automatizados para dichas reseñas utiliza Filtrado Colaborativo o un modelo basado en contenido, y busca claros y unívocos “outliers” – reseñas que son uniformemente negativas en ambos métodos de retroalimentación, y que se desvían notablemente de la tendencia general de la opinión y la calificación de las reseñas.

La otra firma clásica que tales filtros se basan en es una alta frecuencia de publicación, mientras que un PMU publicará estratégicamente y solo ocasionalmente (ya que cada reseña puede representar una comisión individual o una etapa en una estrategia más larga diseñada para ofuscar la “frecuencia” métrica).

Por lo tanto, los investigadores del nuevo documento han integrado la extraña polaridad de las reseñas maliciosas profesionales en un sistema dedicado, lo que da como resultado un algoritmo que está casi a la par con la capacidad de un revisor humano para “oler un ratón” en la disparidad entre la calificación y el contenido del texto de la reseña.

La arquitectura conceptual para MMD, compuesta por dos módulos centrales: Perfil de usuario malicioso (MUP) y Aprendizaje de métricas de atención (MLC, en gris).

Comparación con enfoques anteriores

Dado que MMD es, según los autores, el primer sistema en intentar identificar PMUs en función de su estilo de publicación esquizofrénico, no hay trabajos anteriores directos con los que compararlo. Por lo tanto, los investigadores enfrentaron su sistema a una serie de algoritmos de componentes en los que a menudo dependen los filtros automatizados tradicionales, incluyendo Clustering K-means++; la venerable Detección de outliers estadísticos (SOD); Hysad; Semi-sad; CNN-sad; y Sistema de recomendación de detección de usuarios calumniadores (SDRS).

Probado contra conjuntos de datos etiquetados de Amazon [securities_stock_price_tag symbol="amzn" exchange="nasdaq"] y Yelp, MMD puede identificar a los detractores en línea profesionales con la tasa de precisión más alta, afirman los autores. El negrita representa MMD, mientras que el asterisco (*) indica el mejor rendimiento. En el caso anterior, MMD fue superado en solo dos tareas, por una tecnología independiente (MUP) que ya está incorporada en él, pero que no está herramientada por defecto para la tarea en cuestión.

En este caso, MMD se enfrentó a conjuntos de datos no etiquetados de Taobao y Jindong, lo que lo convierte efectivamente en una tarea de aprendizaje no supervisado. Nuevamente, MMD solo es superado por una de sus propias tecnologías constituyentes, altamente adaptada para la tarea con fines de prueba.

Los investigadores observan:

‘[En] todos los cuatro conjuntos de datos, nuestro modelo propuesto MMD (MLC+MUP) supera a todos los modelos de referencia en términos de puntuación F. Tenga en cuenta que MMD es una combinación de MLC y MUP, lo que garantiza su superioridad sobre los modelos supervisados y no supervisados en general.’

El documento también sugiere que MMD podría servir como un método de preprocesamiento útil para los sistemas de filtros automatizados tradicionales, y proporciona resultados experimentales en una serie de conjuntos de datos, incluyendo Filtrado colaborativo basado en usuarios (UBCF), Filtrado colaborativo basado en elementos (IBCF), Factorización de matrices (MF-eALS), Clasificación de ranking personalizada de Bayesian (MF-BPR), y Filtrado colaborativo neuronal (NCF).

En términos de Ratio de golpe (HR) y Ganancia acumulativa descontada normalizada (NDCG) en los resultados de estas ampliaciones probadas, los autores afirman:

‘Entre todos los cuatro conjuntos de datos, MMD mejora significativamente los modelos de recomendación en términos de HR y NDCG. En particular, MMD puede mejorar el rendimiento de HR en un 28,7% en promedio y HDCG en un 17,3% en promedio.

‘Al eliminar a los usuarios maliciosos profesionales, MMD puede mejorar la calidad de los conjuntos de datos. Sin la retroalimentación falsa de estos usuarios maliciosos profesionales, el conjunto de datos se vuelve más [intuitivo].’

El documento se titula Detectar usuarios maliciosos profesionales con aprendizaje de métricas en sistemas de recomendación, y proviene de investigadores del Departamento de Ciencias de la Computación y Tecnología de la Universidad de Jilin; el Laboratorio Clave de Procesamiento de Información Inteligente de la Academia China de Ciencias en Beijing; y la Escuela de Negocios de Rutgers en Nueva Jersey.

Datos y enfoque

Detectar PMUs es un desafío multimodal, ya que dos parámetros no equivalentes (una calificación numérica por estrellas o decimal y una reseña basada en texto) deben considerarse. Los autores del nuevo documento afirman que no se ha abordado previamente este desafío.

MMD emplea una Red neuronal recurrente de atención dual jerárquica (HDAN) para asimilar el contenido de la reseña en una puntuación de sentimiento.

Proyectar una reseña en una puntuación de sentimiento con HDAN, que contribuye con la incrustación de palabras y la incrustación de oraciones para obtener una puntuación de sentimiento.

HDAN utiliza mecanismos de atención para asignar pesos a cada palabra y a cada oración. En la imagen anterior, los autores afirman que la palabra peor claramente debería tener un peso mayor que las palabras competidoras en la reseña.

Para el proyecto, HDAN tomó las calificaciones de los productos en cuatro conjuntos de datos como verdad fundamental. Los conjuntos de datos fueron Amazon.com; Yelp para RecSys (2013); y dos conjuntos de datos “del mundo real” (en lugar de experimentales), de Taobao y Jindong.

MMD aprovecha el aprendizaje de métricas, que intenta estimar una distancia precisa entre entidades para caracterizar el conjunto general de relaciones en los datos.

MMD comienza con un codificador de uno en uno para seleccionar el usuario y el elemento, a través de un Modelo de Factor Latente (LFM), que obtiene una puntuación de calificación base. Mientras tanto, HDAN proyecta el contenido de la reseña en la puntuación de sentimiento como datos adjuntos.

Los resultados se procesan en un modelo de perfil de usuario malicioso (MUP), que produce el vector de brecha de sentimiento – la disparidad entre la calificación y la puntuación de sentimiento estimada del contenido del texto de la reseña. De esta manera, por primera vez, los PMUs pueden categorizarse y etiquetarse.

Aprendizaje de métricas de atención para clustering.

El aprendizaje de métricas para clustering (MLC) utiliza estas etiquetas de salida para establecer una métrica con la que se calcula la probabilidad de que una reseña de usuario sea maliciosa.

Pruebas humanas

Además de los resultados cuantitativos detallados anteriormente, los investigadores realizaron un estudio de usuario que encargó a 20 estudiantes que identificaran reseñas maliciosas, basándose solo en el contenido y la calificación por estrellas. A los participantes se les pidió que calificaran las reseñas como 0 (para “reseñadores normales”) o 1 (para un usuario malicioso profesional).

De un total de 50 reseñas, 24 fueron identificadas como verdaderos positivos y 24 como verdaderos negativos en promedio. En comparación, MMD fue capaz de identificar 23 verdaderos positivos y 24 verdaderos negativos en promedio, operando casi al nivel de discernimiento humano y superando las referencias para la tarea.

Estudiantes vs. MMD. El asterisco (*) indica los mejores resultados, y el negrita indica los resultados de MMD.

Los autores concluyen:

‘En esencia, MMD es una solución genérica, que no solo puede detectar a los usuarios maliciosos profesionales que se exploran en este documento, sino que también puede servir como una base general para la detección de usuarios maliciosos. Con más datos, como imágenes, videos o sonido, la idea de MMD puede ser instructiva para detectar la brecha de sentimiento entre su título y contenido, lo que tiene un futuro brillante para contrarrestar diferentes estrategias de enmascaramiento en diferentes aplicaciones.’

Publicado por primera vez el 20 de mayo de 2022.