检测“专业”恶意在线评论的机器学习方法

中国和美国研究人员的一项新合作提出了识别恶意电商评论的方法。这类评论旨在打击竞争对手或进行敲诈，新方法则利用评论者特有的行为模式进行检测。

这一系统名为恶意用户检测模型（MMD），将度量学习与循环神经网络（RNN）结合起来，识别并标记论文称为职业恶意用户（PMU）的评论者所发布的内容。度量学习是一种常用于计算机视觉和推荐系统的技术。

太棒了！一颗星

大多数电商评论提供两种反馈：星级评分（或十分制评分）和文字评论。通常两者在逻辑上相符，例如负面评论会伴随较低评分。

然而，PMU往往颠倒这一逻辑：给出高分却留下负面文字，或给出低分却写下好评。

这样既能损害商家的声誉，又不会触发电商网站用于识别和处理恶意负评者的较简单过滤器。如果基于自然语言处理（NLP）的过滤器发现评论中的辱骂内容，PMU同时给出的高星级或高数字评分就会抵消这一警示，从统计角度使恶意内容显得“中性”。

协同过滤系统试图识别此类行为时，恶意评论如何在统计上混入真实评论的示例。来源：https://arxiv.org/pdf/2205.09673.pdf

新论文指出，PMU经常以修改负面评论、承诺不再发布负评为条件，向网络零售商勒索钱财。有些是临时寻求折扣的个人，但PMU也常常被受害商家的竞争对手临时雇用。

掩饰负面评论

目前的自动检测器使用协同过滤或基于内容的模型，寻找明确的异常值：两种反馈都呈负面，而且明显偏离整体情感及评分趋势的评论。

高发布频率也是这类过滤器关注的典型特征。但PMU会有策略地偶尔发帖，因为每条评论可能是单独的委托，也可能是旨在掩盖“频率”指标的长期策略中的一步。

因此，研究人员将职业恶意评论中特殊的极性矛盾整合到专门的系统中。由此得到的算法，几乎能像人类审核者一样，从评分和文字内容之间的不一致中发现可疑之处。

MMD的概念架构包含两个核心模块：恶意用户画像（MUP）和基于注意力的度量学习（MLC，灰色部分）。

与以往方法比较

作者称，MMD是首个尝试根据评分与文字相互矛盾的发帖方式识别PMU的系统，因此没有可直接比较的以往工作。研究人员将它与传统自动过滤器经常依赖的组件算法比较，包括K-means++聚类、统计异常值检测（SOD）、Hysad、Semi-sad、CNN-sad以及诽谤用户检测推荐系统（SDRS）。

在Amazon [securities_stock_price_tag symbol="amzn" exchange="nasdaq"]和Yelp的带标签数据集上，作者称MMD识别职业网络恶意评论者的准确率最高。粗体表示MMD，星号表示最佳表现。上图中只有两项任务超过了MMD，胜出的是其已包含的独立技术MUP，但MUP默认并未针对该任务专门调整。