检测“专业”恶意在线评论的机器学习方法

中国和美国的研究人员合作提出了一种检测恶意电子商务评论的方法，这些评论旨在破坏竞争对手或勒索在线零售商。这种方法利用机器学习和自然语言处理技术来识别恶意评论者的行为特征。

该系统被称为恶意用户检测模型（MMD），它使用度量学习和循环神经网络（RNN）来识别和标记恶意评论者的输出。研究人员将这些恶意评论者称为“专业恶意用户”（PMU）。

伟大的1星评论

大多数在线电子商务评论提供两种形式的用户反馈：星级评分（或10分制评分）和基于文本的评论。在典型的情况下，这两种反馈会逻辑地对应（例如，差评会伴随着低评分）。

然而，专业恶意用户通常会颠覆这种逻辑，通过留下差评文本和高评分，或者留下低评分和好评文本。

这使得用户的评论可以在不触发电子商务网站简单过滤器的情况下造成声誉损害。如果基于自然语言处理（NLP）的过滤器在评论文本中识别出贬义词，这个“标志”会被专业恶意用户分配的高星级（或十进制）评分所抵消，从而使恶意内容在统计学上看起来是“中立”的。

一种恶意评论可以从统计学角度与真实评论混合的示例。来源：https://arxiv.org/pdf/2205.09673.pdf

研究人员指出，专业恶意用户的目的是勒索在线零售商的钱财，以换取修改负面评论或不再发布负面评论。在某些情况下，行为者是寻求折扣的个人，但通常专业恶意用户是被受害者的竞争对手雇佣的。

遮蔽负面评论

当前一代自动检测器使用协同过滤或基于内容的模型来识别恶意评论，并寻找明显的异常值——评论在两个反馈方法中都为负面，并且与一般评论情绪和评分趋势明显偏离。

另一个经典的签名是高发布频率，而专业恶意用户会战略性地发布评论，只有偶尔发布（因为每条评论可能代表个别佣金或更长策略的一部分，旨在模糊“频率”指标）。

因此，研究人员将专业恶意评论的奇怪极性整合到一个专用系统中，结果是一个几乎与人类评论者相当的算法，可以识别评分和评论文本内容之间的差异。

MMD的概念架构，由两个核心模块组成：恶意用户画像（MUP）和注意力度量学习（MLC，灰色）。

与先前方法的比较

由于MMD是首个尝试根据其分裂式发布风格识别专业恶意用户的系统，因此没有直接的先前工作可以比较。因此，研究人员将他们的系统与多个组件算法进行比较，这些算法是传统自动过滤器通常依赖的，包括K-means++聚类；统计异常值检测（SOD）；Hysad；Semi-sad；CNN-sad；和诽谤用户检测推荐系统（SDRS）。

在亚马逊和Yelp的标记数据集上测试，MMD能够以最高的准确率识别专业在线诋毁者。粗体表示MMD，星号（*）表示最佳性能。在上述情况下，MMD仅在两个任务中被单独技术（MUP）击败，这项技术已经被整合到MMD中，但不是默认为该任务而设计的。

研究人员观察到：

“在所有四个数据集中，我们提出的MMD（MLC+MUP）模型在F-score方面优于所有基准模型。注意，MMD是MLC和MUP的组合，这确保了它在一般情况下优于监督和无监督模型。”

该论文还建议MMD可以作为传统自动过滤系统的有用预处理方法，并在多个数据集上提供了实验结果，包括用户基于协同过滤（UBCF）、基于项目的协同过滤（IBCF）、矩阵分解（MF-eALS）、个性化排名（MF-BPR）和神经网络协同过滤（NCF）。

数据和方法

检测专业恶意用户是一个多模态挑战，因为两个非等价参数（数字值评分和基于文本的评论）必须被考虑。研究人员声称，没有先前的工作解决了这个挑战。

MMD采用了一种分层双重注意力循环神经网络（HDAN）来将评论内容整合到情绪评分中。

使用HDAN将评论投影到情绪评分中，HDAN通过词嵌入和句子嵌入来获得情绪评分。

HDAN使用注意力机制为每个词和每个句子分配权重。在上面的图像中，研究人员指出，词“poorer”应该明显被赋予更大的权重，而不是其他竞争词汇。

对于这个项目，HDAN采用四个数据集中的产品评分作为基准真实值。这些数据集包括亚马逊、Yelp RecSys（2013年）以及来自淘宝和京东的两个“真实世界”数据集（而不是实验数据集）。

MMD利用度量学习来估计实体之间的准确距离，以表征数据中的关系总体情况。

MMD首先使用一热编码来选择用户和项目，通过潜在因子模型（LFM）获得基本评分。同时，HDAN将评论内容投影到情绪评分中作为附加数据。

然后将结果处理到恶意用户画像（MUP）模型中，输出情绪差距向量——评分和评论文本情绪评分之间的差异。这样，专业恶意用户可以被分类和标记。

基于注意力的度量学习用于聚类。

度量学习用于聚类（MLC）使用这些输出标签来建立一个度量，以计算用户评论被恶意的概率。

人工测试

除了上述定量结果外，研究人员还进行了一项用户研究，要求20名学生仅根据内容和星级评分来识别恶意评论。参与者被要求将评论评为0（正常评论者）或1（专业恶意用户）。

在50%的正常评论和50%的恶意评论中，学生平均识别出24个真实正例和24个真实负例用户。相比之下，MMD能够识别出23个真实正例和24个真实负例用户，几乎达到人类的辨别能力，并超过了基准模型的结果。

学生与MMD的比较。星号（*）表示最佳结果，粗体表示MMD的结果。

研究人员得出结论：

“本质上，MMD是一个通用解决方案，不仅可以检测本文中探讨的专业恶意用户，还可以作为恶意用户检测的基础。随着更多数据的加入，例如图像、视频或声音，MMD的理念可以指导检测标题和内容之间的情绪差距，这在不同应用中具有光明的前景，以对抗不同的掩蔽策略。”

首次发表于2022年5月20日。