Detektion af ‘professionelle’ ondsindede online-anmeldelser med Machine Learning

Et nyt forskningssamarbejde mellem Kina og USA tilbyder en måde at detektere ondsindede ecommerce-anmeldelser, der er designet til at undergrave konkurrenter eller til at lette afpresning, ved at udnytte signaturadfærden hos sådanne anmeldere.

Systemet, der hedder malicious user detection model (MMD), anvender Metric Learning, en teknik som ofte anvendes i computer vision og recommender systems, sammen med en Recurrent Neural Network (RNN), til at identificere og mærke outputtet fra sådanne anmeldere, som artiklen kalder Professional Malicious Users (PMUs).

Great! 1 stjerne

De fleste online ecommerce-anmeldelser giver to former for brugerfeedback: en stjernevurdering (eller en vurdering ud af 10) og en tekstbaseret anmeldelse, og i en typisk sag vil disse være logisk sammenhængende (dvs. en dårlig anmeldelse vil være ledsaget af en lav vurdering).

PMUs undergraver dog ofte denne logik, enten ved at efterlade en dårlig tekstanmeldelse med en høj vurdering eller en lav vurdering ledsaget af en god anmeldelse.

Dette giver brugerens anmeldelse mulighed for at forårsage omdømmesskade uden at udløse de relativt simple filtre, som ecommerce-sites anvender til at identificere og håndtere outputtet fra ondsindede negative anmeldere. Hvis en filter baseret på Natural Language Processing (NLP) identificerer injurier i anmeldelsens tekst, kan denne ‘flag’ effektivt annulleres af den høje stjerne- (eller decimal-) vurdering, som PMU også har tildelt, og som dermed gør det ondsindede indhold ‘neutralt’ fra et statistisk synspunkt.

Et eksempel på, hvordan en ondsindet anmeldelse kan blandes statistisk med ægte anmeldelser, set fra et samarbejdende filter systems synspunkt, der prøver at identificere sådant adfærd. Source: https://arxiv.org/pdf/2205.09673.pdf

Den nye artikel bemærker, at intentionen bag en PMU ofte er at afpresse penge fra online-forhandlere i bytte for ændring af negative anmeldelser og/eller et løfte om ikke at offentliggøre yderligere negative anmeldelser. I nogle tilfælde er aktørerne ad hoc-personer der søger rabat, selv om det ofte er tilfældet, at PMU er ansat af offerets konkurrenter.

Cloaking Negative Anmeldelser

Den nuværende generation af automatiserede detektionssystemer for sådanne anmeldelser anvender Collaborative Filtering eller en content-baseret model, og søger efter klare og ubestridte ‘outliers’ – anmeldelser, der er enheltligt negative på tværs af begge feedback-metoder, og som afviger betydeligt fra den generelle trend i anmeldelsessentiment og vurdering.

Den anden klassiske signatur, som disse filtre fokuserer på, er en høj publiceringsfrekvens, hvorimod en PMU vil publicere strategisk og kun lejlighedsvis (da hver anmeldelse kan repræsentere enten en enkelt kommission eller et trin i en længere strategi, der er designet til at kamuflere ‘frekvens’-metrikken).

Derfor har de nye artiklens forskere integreret den underlige polaritet af professionelle ondsindede anmeldelser i et dedikeret system, der resulterer i en algoritme, der er næsten på niveau med en menneskelig anmelders evne til at ‘lugte en rotte’ i forskellen mellem vurderingen og anmeldelsens tekstindhold.

Den konceptuelle arkitektur for MMD, der består af to centrale moduler: Malicious User Profiling (MUP) og Attention Metric Learning (MLC, i gråt).

Sammenligning med tidligere tilgange

Da MMD, ifølge forfatterne, er det første system, der forsøger at identificere PMUs baseret på deres skizofrene publiceringsstil, er der ingen direkte tidligere arbejder, som det kan sammenlignes med. Derfor satte forskerne deres system op imod en række komponentalgoritmer, som traditionelle automatiserede filtre ofte afhænger af, herunder K-means++ Clustering; den værdsatte Statistic Outlier Detection (SOD); Hysad; Semi-sad; CNN-sad; og Slanderous user Detection Recommender System (SDRS).

Testet imod mærkede datasets fra Amazon og Yelp, kan MMD identificere professionelle online-kritikere med den højeste nøjagtighed, ifølge forfatterne. Fed skrift repræsenterer MMD, mens asterisken (*) indikerer den bedste præstation. I dette tilfælde blev MMD kun overgået i to opgaver af en selvstændig teknologi (MUP), der allerede er integreret i det, men som ikke er tilpasset opgaven som standard.

I dette tilfælde blev MMD sat op imod umærkede datasets fra Taobao og Jindong, hvilket effektivt gjorde det til en usuperviseret læringstask. Atter blev MMD kun overgået af en af sine egne bestanddele, der var tilpasset opgaven for testformålet.

Forskerne bemærker:

‘[På] alle fire datasets, overgår vores foreslåede model MMD (MLC+MUP) alle baseline-modellerne i forhold til F-score. Bemærk, at MMD er en kombination af MLC og MUP, hvilket sikrer dets overlegenhet over supervisede og unsupervisede modeller i almindelighed.’

Artiklen foreslår også, at MMD kunne fungere som en nyttig forarbejdningsmetode for traditionelle automatiserede filtersystemer, og giver eksperimentelle resultater på en række datasets, herunder User-baseret samarbejdende filtrering (UBCF), Vare-baseret samarbejdende filtrering (IBCF), Matrix-faktorisering (MF-eALS), Bayesiansk personlig rangering (MF-BPR) og Neuralt samarbejdende filtrering (NCF).

I forhold til Hit Ratio (HR) og Normaliseret diskret kumulativ gevinst (NDCG) i resultaterne af disse testede udvidelser, skriver forfatterne:

‘Blandt alle fire datasets, forbedrer MMD anbefalingsmodellerne betydeligt i forhold til HR og NDCG. Specifikt kan MMD forbedre præstationen af HR med 28,7% i gennemsnit og NDCG med 17,3% i gennemsnit.

‘Ved at slette professionelle ondsindede brugere, kan MMD forbedre kvaliteten af datasets. Uden disse professionelle ondsindede brugeres falske [feedback], bliver datasettet mere [intuitivt].’

Artiklen hefter er titlen Detect Professional Malicious User med Metric Learning i Recommender Systemer, og kommer fra forskere ved Institut for datalogi og teknologi ved Jilin Universitet; Key Lab of Intelligent Information Processing of Chinese Academy of Science i Beijing; og School of Business ved Rutgers i New Jersey.

Data og tilgang

Detektion af PMUs er en multimodal udfordring, da to ikke-ækvivalente parametre (en numerisk værdi stjerne-/decimalvurdering og en tekstbaseret anmeldelse) skal være medtaget.

MMD anvender en Hierarkisk Dual-Attention rekurrent Neural network (HDAN) til at assimilere anmeldelsens indhold i en sentimentscore.

Projicering af en anmeldelse i en sentimentscore med HDAN, der bidrager med word-embedding og sentence-embedding for at opnå en sentimentscore.

HDAN anvender opmærksomhedsmechanismer til at tildele vægte til hvert ord og til hver sætning. I billedet ovenfor bemærker forfatterne, at ordet poorer tydeligt skal tildeles større vægt end konkurrerende ord i anmeldelsen.

Til projektet tog HDAN vurderingerne for produkter på tværs af fire datasets som grundsandhed. Datasets var Amazon.com; Yelp for RecSys (2013); og to ‘rigtige’ (i stedet for eksperimentelle) datasets fra Taobao og Jindong.

MMD udnytter Metric Learning, der forsøger at estimere en præcis afstand mellem enheder for at karakterisere den samlede gruppe af relationer i data.

MMD starter med en one-hot encoding til at vælge bruger og vare via en Latent Factor Model (LFM), der opnår en grundlæggende vurderingsscore. I mellemtiden projicerer HDAN anmeldelsens indhold i sentimentscoren som supplerende data.

Resultaterne bearbejdes herefter til en Malicious User Profiling (MUP)-model, der udgangssender sentiment gap-vektoren – forskellen mellem vurderingen og den estimerede sentimentscore for anmeldelsens tekstindhold. På denne måde kan PMUs for første gang kategoriseres og mærkes.

Opmærksomhedsbaseret Metric Learning til klasterdannelse.

Metric Learning for Clustering (MLC) anvender disse output-mærker til at etablere en metrik, hvormed sandsynligheden for, at en brugeranmeldelse er ondsindet, beregnes.

Menneskelige tests

Ud over de kvantitative resultater, der er beskrevet ovenfor, gennemførte forskerne en brugerundersøgelse, der gav 20 studerende i opgave at identificere ondsindede anmeldelser baseret kun på indhold og stjernevurdering. Deltagerne blev bedt om at vurdere anmeldelserne som 0 (for ‘normale’ anmeldere) eller 1 (for en professionel ondsindet bruger).

Af en 50/50-deling mellem normale og ondsindede anmeldelser klassificerede studenterne i gennemsnit 24 sande positive og 24 sande negative brugere. I sammenligning kunne MMD klassificere 23 sande positive og 24 sande negative brugere i gennemsnit, og fungerede næsten på menneskelig niveau og overgik baseline-modellerne for opgaven.

Studerende vs. MMD. Asterisk [*] indikerer bedste resultater, og fed skrift indikerer MMDs resultater.