Detekce “profesionálních” zlých online recenzí pomocí strojového učení

Nová výzkumná spolupráce mezi Čínou a USA nabízí způsob detekce zlých e-commerce recenzí, které jsou navrženy tak, aby podkopaly konkurenty nebo usnadnily vydírání, a to pomocí využití signaturního chování takových recenzentů.

Systém, nazvaný model detekce zlých uživatelů (MMD), využívá Metric Learning, techniku častěji používanou v počítačovém vidění a recommender systémech, spolu s rekurentní neuronovou sítí (RNN), aby identifikoval a označil výstup takových recenzentů, které článek nazývá Profesionální zlí uživatelé (PMU).

Skvělé! 1 hvězda

Většina online e-commerce recenzí poskytuje dvě formy uživatelské zpětné vazby: hodnocení hvězdičkami (nebo hodnocení z 10) a textovou recenzi, a v typickém případě tyto budou logicky odpovídat (tj. špatná recenze bude doprovázena nízkým hodnocením).

PMU však typicky porušují tuto logiku, buď tím, že ponechávají špatnou textovou recenzi s vysokým hodnocením, nebo nízké hodnocení doprovázené dobrou recenzí.

To umožňuje uživatelské recenzi způsobit reputační škodu bez toho, aby spustily relativně jednoduché filtry nasazené e-commerce weby pro identifikaci a řešení výstupu zlých negativních recenzentů. Pokud filtr založený na zpracování přirozeného jazyka (NLP) identifikuje invektivu v textu recenze, tato “vlajka” je účinně zrušena vysokým hodnocením hvězdičkami (nebo desetinným), které PMU také přiřadilo, účinně činí zlý obsah “neutrálním” z statistického hlediska.

Příklad toho, jak může být zlá recenze statisticky kombinována s opravdovými recenzemi, z hlediska spolupracujícího filtrování, které se snaží identifikovat takové chování. Zdroj: https://arxiv.org/pdf/2205.09673.pdf

Nový článek uvádí, že záměrem PMU je často vymáhat peníze od online prodejců výměnou za změnu negativních recenzí a/nebo slib, že nebude zveřejňovat žádné další negativní recenze. V některých případech jsou aktéři ad hoc jednotlivci hledající slevy, i když často je PMU používán konkurenty oběti.

Maskování negativních recenzí

Současná generace automatizovaných detektorů pro takové recenze používá Collaborative Filtering nebo content-based model, a hledají jasně a nesporně “outliers” – recenze, které jsou uniformně negativní napříč oběma způsoby zpětné vazby, a které se výrazně odchylují od obecného trendu recenzí a hodnocení.

Ostatní klasické signatury, na které se tyto filtry zaměřují, jsou vysoké frekvence zveřejňování, zatímco PMU bude zveřejňovat strategicky a pouze občas (protože každá recenze může představovat buď jednotlivou provizi, nebo fázi delší strategie navržené tak, aby zatemnila “frekvenci” metriku).

Proto výzkumníci z nového článku integrovali podivnou polaritu profesionálních zlých recenzí do specializovaného systému, což vedlo k algoritmu, který je téměř na stejné úrovni jako schopnost lidského recenzenta “vycítit” nesoulad mezi hodnocením a textovým obsahem recenze.

Konceptuální architektura pro MMD, skládající se ze dvou centrálních modulů: Malicious User Profiling (MUP) a Attention Metric Learning (MLC, ve šedé).

Porovnání s Předchozími Přístupy

Jelikož MMD je, podle autorů, prvním systémem, který se pokusil identifikovat PMU na základě jejich rozporuplného stylu hodnocení, neexistují žádné přímé předchozí práce, proti kterým by se mohl porovnat. Proto výzkumníci postavili svůj systém proti několika komponentním algoritmům, na kterých tradiční automatizované filtry často závisí, včetně K-means++ Clustering; Statistická detekce odlehlých hodnot (SOD); Hysad; Semi-sad; CNN-sad; a Slanderous user Detection Recommender System (SDRS).

Podle autorů MMD nejpřesněji rozpoznává profesionální autory škodlivých recenzí v označených datech z Amazonu [securities_stock_price_tag symbol="amzn" exchange="nasdaq"] a Yelpu. Tučné písmo označuje MMD, hvězdička nejlepší výsledek. Pouze ve dvou úlohách ho překonala jeho vlastní komponenta MUP, která jinak není pro tyto úlohy standardně nastavena.