Detektion af ‘professionelle’ ondsindede online-anmeldelser med maskinlæring

Et nyt forskningssamarbejde mellem Kina og USA tilbyder en måde at detektere ondsindede ecommerce-anmeldelser, der er designet til at undergrave konkurrenter eller facilitere afpresning, ved at udnytte signaturadfærd hos sådanne anmeldere.

Systemet, der hedder onedsindet brugerdetektionsmodel (MMD), udnytter Metric Learning, en teknik som ofte bruges i computer vision og recommender systemer, sammen med et Recurrent Neural Network (RNN), til at identificere og mærke outputtet fra sådanne anmeldere, som artiklen kalder Professionelle Ondsindede Brugere (PMU’er).

Great! 1 stjerne

De fleste online ecommerce-anmeldelser giver to former for brugerfeedback: en stjerneclassifikation (eller en klassifikation ud af 10) og en tekstbaseret anmeldelse, og i et typisk tilfælde vil disse være logisk sammenhængende (dvs. en dårlig anmeldelse vil være ledsaget af en lav klassifikation).

PMU’er undergraver dog ofte denne logik, enten ved at efterlade en dårlig tekstanmeldelse med en høj klassifikation eller en lav klassifikation ledsaget af en god anmeldelse.

Dette giver brugerens anmeldelse mulighed for at forårsage reputationskade uden at udløse de relativt simple filtre, som ecommerce-sites deployerer for at identificere og håndtere outputtet fra ondsindede anmeldere. Hvis en filter baseret på Natural Language Processing (NLP) identificerer invective i anmeldelsens tekst, bliver denne “flag” effektivt annulleret af den høje stjerneclassifikation (eller decimal klassifikation), som PMU’en også tildeler, hvilket effektivt gør den ondsindede indhold “neutral” fra et statistisk synspunkt.

Et eksempel på, hvordan en ondsindet anmeldelse kan blandes sammen, statistisk set, med ægte anmeldelser, set fra et samarbejdende filteringsystems synspunkt, der prøver at identificere sådan adfærd. Kilde: https://arxiv.org/pdf/2205.09673.pdf

Den nye artikel bemærker, at intentionen bag en PMU ofte er at afpresse penge fra online-forhandlere i bytte for ændring af negative anmeldelser eller et løfte om ikke at poste flere negative anmeldelser. I nogle tilfælde er aktørerne ad hoc-personer på udkig efter rabatter, selv om det ofte er tilfældigt ansat af offerets konkurrenter.

Cloaking Negative Anmeldelser

Den nuværende generation af automatiserede detektorer for sådanne anmeldelser bruger Collaborative Filtering eller en indholdsbaseret model, og søger efter klare og ubestridte “outliers” – anmeldelser, der er uniformt negative på tværs af begge feedback-metoder, og som afviger betragteligt fra den generelle trend for anmeldelsessentiment og klassifikation.

Den anden klassiske signatur, som disse filtre fokuserer på, er en høj publiceringsfrekvens, mens en PMU vil publicere strategisk og kun lejlighedsvis (da hver anmeldelse kan repræsentere enten en enkelt kommission eller et trin i en længere strategi, der er designet til at kamuflere “frekvens”-metrikken).

Derfor har de nye artiklens forskere integreret den underlige polaritet af professionelle ondsindede anmeldelser i et dedikeret system, hvilket resulterer i en algoritme, der er næsten på niveau med en menneskelig anmelders evne til at “lugte en rotte” i forskellen mellem klassifikationen og anmeldelsens tekstindhold.

Den konceptuelle arkitektur for MMD, der består af to centrale moduler: Malicious User Profiling (MUP) og Attention Metric Learning (MLC, i gråt).

Sammenligning med tidligere tilgange

Da MMD er, som forfatterne påstår, det første system, der forsøger at identificere PMU’er baseret på deres skizofrene publiceringsstil, er der ingen direkte tidligere arbejder, som kan sammenlignes med det. Derfor satte forskerne deres system op mod en række komponentalgoritmer, som traditionelle automatiserede filtre ofte afhænger af, herunder K-means++ Clustering; den værdsatte Statistic Outlier Detection (SOD); Hysad; Semi-sad; CNN-sad; og Slanderous user Detection Recommender System (SDRS).

Testet mod mærkede datasets fra Amazon [securities_stock_price_tag symbol="amzn" exchange="nasdaq"] og Yelp, kan MMD identificere professionelle online-detraktorer med den højeste nøjagtighed, påstår forfatterne. Fed skrift repræsenterer MMD, mens asterisken (*) indikerer den bedste præstation. I dette tilfælde blev MMD kun overgået i to opgaver af en standalone-teknologi (MUP), der allerede er integreret i det, men som ikke er standardværktøjet for opgaven i sig selv.

I dette tilfælde blev MMD sat op mod umærkede datasets fra Taobao og Jindong, hvilket effektivt gjorde det til en unsupervised læringstask. Atter blev MMD kun overgået af en af sine egne konstituerende teknologier, der var højt tilpasset til opgaven til testformål.

Forskerne observerer:

‘På alle fire datasets overgår vores foreslåede model MMD (MLC+MUP) alle baseline-modellerne i forhold til F-score. Bemærk, at MMD er en kombination af MLC og MUP, hvilket sikrer dets overlegenhed over supervisede og unsupervisede modeller i almindelighed.’

Artiklen foreslår også, at MMD kunne fungere som en nyttig forbehandlingsmetode for traditionelle automatiserede filtersystemer, og giver eksperimentelle resultater på en række datasets, herunder User-based collaborative Filtering (UBCF), Item-based collaborative Filtering (IBCF), Matrix Factorization (MF-eALS), Bayesian personalized ranking (MF-BPR), og Neural Collaborative Filtering (NCF).

I forhold til Hit Ratio (HR) og Normalized Discounted Cumulative Gain (NDCG) i resultaterne af disse testede udvidelser, påstår forfatterne:

‘Blandt alle fire datasets forbedrer MMD anbefalingsmodellerne betydeligt i forhold til HR og NDCG. Specifikt kan MMD forbedre HR med 28,7% i gennemsnit og NDCG med 17,3% i gennemsnit.

‘Ved at slette professionelle ondsindede brugere kan MMD forbedre datasseternes kvalitet. Uden disse professionelle ondsindede brugeres falske [feedback], bliver datasset mere [intuitiv].’

Den artikel hedder Detect Professional Malicious User with Metric Learning in Recommender Systems, og kommer fra forskere ved Department of Computer Science and Technology ved Jilin University; Key Lab of Intelligent Information Processing of Chinese Academy of Science ved Beijing; og School of Business ved Rutgers i New Jersey.

Data og Tilgang

At detektere PMU’er er en multimodal udfordring, da to ikke-ækvivalente parametre (en numerisk-værdi stjerneclassifikation og en tekstbaseret anmeldelse) skal være med i betragtning. Forfatterne af den nye artikel påstår, at ingen tidligere arbejde har mødt denne udfordring.

MMD anvender en Hierarchical Dual-Attention recurrent Neural network (HDAN) til at assimilere anmeldelsens indhold i en sentimentscore.

Projicering af en anmeldelse til en sentimentscore med HDAN, der bidrager med word embedding og sentence embedding for at opnå en sentimentscore.

HDAN anvender opmærksomhedsmekanismer til at tildele vægt til hvert ord og til hver sætning. I billedet ovenfor påstår forfatterne, at ordet poorer tydeligt skal tildeles større vægt end konkurrerende ord i anmeldelsen.

Til projektet tog HDAN klassifikationerne for produkter på tværs af fire datasets som grundsandhed. Datasets var Amazon.com; Yelp for RecSys (2013); og to ‘realverden’ (i stedet for eksperimentelle) datasets fra Taobao og Jindong.

MMD udnytter Metric Learning, der forsøger at estimere en præcis afstand mellem enheder for at karakterisere den samlede gruppe af relationer i data.

MMD begynder med en one-hot encoding til at vælge bruger og vare via en Latent Factor Model (LFM), der opnår en basis-klassifikationsscore. I mellemtiden projicerer HDAN anmeldelsens indhold til sentimentscoren som tillægsdata.

Resultaterne bearbejdes derefter til en Malicious User Profiling (MUP)-model, der udgiver sentimentsgap-vektoren – forskellen mellem klassifikationen og den estimerede sentimentscore for anmeldelsens tekstindhold. På denne måde kan PMU’er for første gang kategoriseres og mærkes.

Opmærksomhedsbaseret Metric Learning til clustering.

Metric Learning for Clustering (MLC) anvender disse output-mærker til at etablere en metrik, hvormed sandsynligheden for, at en brugeranmeldelse er ondsindet, beregnes.

Menneskelige Tests

Ud over de kvantitative resultater, der er detaljeret ovenfor, gennemførte forskerne en brugerstudie, der gav 20 studerende i opgave at identificere ondsindede anmeldelser baseret kun på indhold og stjerneclassifikation. Deltagerne blev bedt om at klassificere anmeldelserne som 0 (for “normale” anmeldere) eller 1 (for en professionel ondsindet bruger).

Af en 50/50-split mellem normale og ondsindede anmeldelser klassificerede studerende i gennemsnit 24 sande positive og 24 sande negative brugere. I sammenligning kunne MMD klassificere 23 sande positive og 24 sande negative brugere i gennemsnit, hvilket fungerer næsten på menneskelig niveau og overgår baseline-modellerne for opgaven.

Studerende vs. MMD. Asterisken (*) indikerer de bedste resultater, og fed skrift indikerer MMD’s resultater.

Forfatterne konkluderer:

‘I essensen er MMD en generisk løsning, der ikke kun kan detektere de professionelle ondsindede brugere, der er udforsket i denne artikel, men også kan fungere som en generel grundlag for ondsindet brugerdetektion. Med mere data, såsom billeder, videoer eller lyd, kan MMD-idéen være vejledende til at detektere sentimentsgapet mellem titel og indhold, hvilket har en lys fremtid til at modgå forskellige maskeringsstrategier i forskellige anvendelser.’

Først udgivet 20. maj 2022.