Detekce “profesionálních” zlých online recenzí pomocí strojového učení

Nová výzkumná spolupráce mezi Čínou a USA nabízí způsob detekce zlých e-commerce recenzí, které jsou navrženy tak, aby podkopaly konkurenty nebo usnadnily vydírání, a to pomocí využití signaturního chování takových recenzentů.

Systém, nazvaný model detekce zlých uživatelů (MMD), využívá Metric Learning, techniku častěji používanou v počítačovém vidění a recommender systémech, spolu s rekurentní neuronovou sítí (RNN), aby identifikoval a označil výstup takových recenzentů, které článek nazývá Profesionální zlí uživatelé (PMU).

Skvělé! 1 hvězda

Většina online e-commerce recenzí poskytuje dvě formy uživatelské zpětné vazby: hodnocení hvězdičkami (nebo hodnocení z 10) a textovou recenzi, a v typickém případě tyto budou logicky odpovídat (tj. špatná recenze bude doprovázena nízkým hodnocením).

PMU však typicky porušují tuto logiku, buď tím, že ponechávají špatnou textovou recenzi s vysokým hodnocením, nebo nízké hodnocení doprovázené dobrou recenzí.

To umožňuje uživatelské recenzi způsobit reputační škodu bez toho, aby spustily relativně jednoduché filtry nasazené e-commerce weby pro identifikaci a řešení výstupu zlých negativních recenzentů. Pokud filtr založený na zpracování přirozeného jazyka (NLP) identifikuje invektivu v textu recenze, tato “vlajka” je účinně zrušena vysokým hodnocením hvězdičkami (nebo desetinným), které PMU také přiřadilo, účinně činí zlý obsah “neutrálním” z statistického hlediska.

Příklad toho, jak může být zlá recenze statisticky kombinována s opravdovými recenzemi, z hlediska spolupracujícího filtrování, které se snaží identifikovat takové chování. Zdroj: https://arxiv.org/pdf/2205.09673.pdf

Nový článek uvádí, že záměrem PMU je často vymáhat peníze od online prodejců výměnou za změnu negativních recenzí a/nebo slib, že nebude zveřejňovat žádné další negativní recenze. V některých případech jsou aktéři ad hoc jednotlivci hledající slevy, i když často je PMU používán konkurenty oběti.

Masking Negativní Recenze

Současná generace automatizovaných detektorů pro takové recenze používá Collaborative Filtering nebo content-based model, a hledají jasně a nesporně “outliers” – recenze, které jsou uniformně negativní napříč oběma způsoby zpětné vazby, a které se výrazně odchylují od obecného trendu recenzí a hodnocení.

Ostatní klasické signatury, na které se tyto filtry zaměřují, jsou vysoké frekvence zveřejňování, zatímco PMU bude zveřejňovat strategicky a pouze občas (protože každá recenze může představovat buď jednotlivou provizi, nebo fázi delší strategie navržené tak, aby zatemnila “frekvenci” metriku).

Proto výzkumníci z nového článku integrovali podivnou polaritu profesionálních zlých recenzí do specializovaného systému, což vedlo k algoritmu, který je téměř na stejné úrovni jako schopnost lidského recenzenta “vycítit” nesoulad mezi hodnocením a textovým obsahem recenze.

Konceptuální architektura pro MMD, skládající se ze dvou centrálních modulů: Malicious User Profiling (MUP) a Attention Metric Learning (MLC, ve šedé).

Porovnání s Předchozími Přístupy

Jelikož MMD je, podle autorů, prvním systémem, který se pokusil identifikovat PMU na základě jejich schizofrenního stylu zveřejňování, neexistují žádné přímé předchozí práce, proti kterým by se mohl porovnat. Proto výzkumníci postavili svůj systém proti několika komponentním algoritmům, na kterých tradiční automatizované filtry často závisí, včetně K-means++ Clustering; Statistic Outlier Detection (SOD); Hysad; Semi-sad; CNN-sad; a Slanderous user Detection Recommender System (SDRS).

Projekce recenze do sentiment skóre s HDAN, který přispívá word embedding a sentence embedding pro získání sentiment skóre.

HDAN používá mechanismy pozornosti pro přiřazení váhy každému slovu a každé větě. Na obrázku výše, autoři uvádějí, že slovo horší by mělo být jasně přiřazeno větší váha než soutěžící slova v recenzi.

Pro projekt, HDAN vzal hodnocení produktů napříč čtyřmi datovými sadami jako ground truth. Datové sady byly Amazon.com (AMZN ); Yelp pro RecSys (2013); a dvě “reálné” (ne experimentální) datové sady, z Taobao a Jindong.

MMD využívá Metric Learning, který se snaží odhadnout přesnou vzdálenost mezi entitami pro charakterizaci celkové skupiny vztahů v datech.

MMD začíná s one-hot encodingem pro výběr uživatele a položky, prostřednictvím Latent Factor Modelu (LFM), který získá základní hodnocení skóre. Mezitím, HDAN projekcí obsahu recenze do sentiment skóre jako vedlejší data.

Výsledky jsou poté zpracovány do modelu Malicious User Profiling (MUP), který výstupem je sentiment gap vector – nesoulad mezi hodnocením a odhadnutým sentiment skóre textu recenze. Tímto způsobem, poprvé, PMU mohou být kategorizovány a označeny.

Pozornost-založené Metric Learning pro clustering.

Metric Learning for Clustering (MLC) používá tyto výstupní štítky pro stanovení metriky, proti které je vypočtena pravděpodobnost, že uživatelská recenze je zlá.

Lidské Testy

Kromě kvantitativních výsledků uvedených výše, výzkumníci provedli uživatelskou studii, která zadala 20 studentům identifikovat zlé recenze, pouze na základě obsahu a hodnocení hvězdičkami. Účastníkům bylo řečeno, aby označili recenze jako 0 (pro “normální” recenzenty) nebo 1 (pro profesionálního zlého uživatele).

Z 50/50 rozdělení mezi normálními a zlými recenzemi, studenti označili 24 skutečných pozitivů a 24 skutečných negativů v průměru. Ve srovnání s tím, MMD byl schopen označit 23 skutečných pozitivů a 24 skutečných negativů v průměru, fungující téměř na lidské úrovni rozlišení, a překonávající baseline pro úkol.

Studenti vs. MMD. Hvězdička [*] označuje nejlepší výsledky, a tučné písmo označuje výsledky MMD.

Autoři uzavírají:

‘Podstatou, MMD je obecné řešení, které může nejen detekovat profesionální zlé uživatele, kteří jsou prozkoumání v tomto článku, ale také sloužit jako obecný základ pro detekci zlých uživatelů. S více daty, jako jsou obrázky, videa nebo zvuky, myšlenka MMD může být poučná pro detekci sentimentální mezery mezi jejich názvem a obsahem, což má jasnou budoucnost pro potírání různých strategií maskování v různých aplikacích.’

Poprvé publikováno 20. května 2022.