Oppdager "profesjonelle" ondsinnede anmeldelser på nett med maskinlæring

Et nytt forskningssamarbeid mellom Kina og USA tilbyr en måte å oppdage ondsinnede e-handelsanmeldelser designet for å undergrave konkurrenter eller for å lette utpressing, ved å utnytte signaturadferden til slike anmeldere.

Systemet, med tittelen ondsinnet brukerdeteksjonsmodell (MMD), bruker Metrisk læring, en teknikk ofte brukt i datasyn og anbefalingssystemer, sammen med et gjentakende nevralt nettverk (RNN), for å identifisere og merke utdataene til slike anmeldere, som papiret navngir Profesjonelle ondsinnede brukere (PMUer).

Flott! 1 stjerne

De fleste netthandelsanmeldelser gir to former for tilbakemeldinger fra brukere: en stjernerangering (eller en rangering av 10) og en tekstbasert anmeldelse, og i et typisk tilfelle vil disse samsvare logisk (dvs. en dårlig anmeldelse vil bli ledsaget av en lav vurdering).

PMUer undergraver imidlertid vanligvis denne logikken, ved enten å legge igjen en dårlig tekstanmeldelse med høy vurdering, eller en dårlig vurdering ledsaget av en god anmeldelse.

Dette gjør at brukerens anmeldelse kan forårsake skade på omdømmet uten å utløse de relativt enkle filtrene som brukes av netthandelssider for å identifisere og adressere resultatet fra ondsinnede negative anmeldere. Hvis et filter basert på Natural Language Processing (NLP) identifiserer invektiv i teksten til en anmeldelse, blir dette "flagget" effektivt kansellert av den høye stjerne- (eller desimal) rangeringen som PMU også tildelte, noe som effektivt gjør det skadelige innholdet "nøytralt". , fra et statistisk synspunkt.

Det nye papiret bemerker at intensjonen med en PMU ofte er å presse penger fra nettforhandlere i retur for endring av negative anmeldelser, og/eller et løfte om å ikke legge ut flere negative anmeldelser. I noen tilfeller er skuespillerne det ad hoc individer søker rabatter, selv om det ofte er PMU tilfeldig ansatt av offerets konkurrenter.

Tilsløring av negative anmeldelser

Den nåværende generasjonen av automatiserte detektorer for slike vurderinger bruker Collaborative Filtering eller en innholdsbasert modell, og leter etter klare og entydige "outliers" - anmeldelser som er jevnt negative på tvers av begge tilbakemeldingsmetodene, og som avviker spesielt fra den generelle trenden med anmeldelsessentiment og vurdering.

Den andre klassiske signaturen som slike filtre slår inn på, er en høy postingsfrekvens, mens en PMU vil poste strategisk og bare av og til (siden hver anmeldelse kan representere enten en individuell provisjon eller et stadium i en lengre strategi designet for å skjule "frekvens"-beregningen ).

Derfor har den nye artikkelens forskere integrert den merkelige polariteten til profesjonelle ondsinnede anmeldelser i et dedikert system, noe som resulterer i en algoritme som nesten er på nivå med evnen til en menneskelig anmelder til å "lukte en rotte" ved ulikheten mellom vurderingen og anmeldelsen. tekstinnhold.

Sammenligning med tidligere tilnærminger

Siden MMD, ifølge forfatterne, er det første systemet som forsøker å identifisere PMUer basert på deres schizofrene postingsstil, er det ingen direkte tidligere arbeider å sammenligne det med. Derfor satte forskerne systemet sitt opp mot en rekke komponentalgoritmer som tradisjonelle automatiserte filtre ofte er avhengig av, inkludert K-means++ Clustering; den ærverdige Deteksjon av statistisk avvik (SOD); Hysad; Halvtrist; CNN-trist, Og Baktalende brukerdeteksjonsanbefalingssystem (SDRS).

Forskerne observerer:

«[På] alle fire datasettene overgår vår foreslåtte modell MMD (MLC+MUP) alle grunnlinjene når det gjelder F-score. Legg merke til at MMD er en kombinasjon av MLC og MUP, som sikrer dens overlegenhet over overvåkede og uovervåkede modeller generelt.'

Artikkelen antyder også at MMD kan tjene som en nyttig forbehandlingsmetode for tradisjonelle automatiserte filtersystemer, og gir eksperimentelle resultater på en rekke datasett, bl.a. Brukerbasert samarbeidsfiltrering (UBCF), Varebasert samarbeidsfiltrering (IBCF), Matrisefaktorisering (MF-eALS), Bayesiansk personlig rangering (MF-BPR), og Nevralt samarbeidsfiltrering (NCF).

I form av Treffforhold (HR) og Normalisert diskontert kumulativ gevinst (NDCG) i resultatene av disse testede utvidelsene, uttaler forfatterne:

Blant alle fire datasettene forbedrer MMD anbefalingsmodellene betydelig når det gjelder HR og NDCG. Spesifikt kan MMD forbedre ytelsen til HR med 28.7 % i gjennomsnitt og HDCG med 17.3 % i gjennomsnitt.

«Ved å slette profesjonelle ondsinnede brukere kan MMD forbedre kvaliteten på datasettene. Uten disse profesjonelle ondsinnede brukernes falske [tilbakemelding], blir datasettet mer [intuitiv].'

De papir har tittelen Oppdag profesjonell ondsinnet bruker med metrisk læring i Recommender Systems, og kommer fra forskere ved Institutt for informatikk og teknologi ved Jilin University; nøkkellaben for intelligent informasjonsbehandling ved det kinesiske vitenskapsakademiet i Beijing; og School of Business ved Rutgers i New Jersey.

Data og tilnærming

Å oppdage PMU-er er en multimodal utfordring, siden to ikke-ekvivalente parametere (en numerisk verdi stjerne/desimalvurdering og en tekstbasert gjennomgang) må vurderes. Forfatterne av den nye artikkelen hevder at ingen tidligere arbeid har adressert denne utfordringen.

MMD har en Hierarkisk Dual-Attention tilbakevendende nevralt nettverk (HDAN) for å assimilere anmeldelsesinnholdet i en følelsesscore.

HDAN bruker oppmerksomhetsmekanismer for å tildele vekter til hvert ord, og til hver setning. På bildet over oppgir forfatterne ordet dårligere bør klart tillegges større vekt enn konkurrerende ord i anmeldelsen.

For prosjektet tok HDAN vurderingene for produkter på tvers av fire datasett som grunnleggende sannhet. Datasettene var  Amazon.com; Yelp for RecSys (2013); og to 'virkelige verden' (i stedet for eksperimentelle) datasett, fra Taobao og Jindong.

MMD utnytter metrisk læring, som forsøker å estimere en nøyaktig avstand mellom enheter for å karakterisere den samlede gruppen av relasjoner i dataene.

MMD begynner med en one-hot-koding for å velge bruker og element, via en Latent Factor Model (LFM), som oppnår en grunnvurderingsscore. I mellomtiden projiserer HDAN vurderingsinnholdet inn i sentimentresultatet som tilleggsdata.

Resultatene blir deretter behandlet til en Malicious User Profiling (MUP) modell, som gir ut sentiment gap vektor – forskjellen mellom vurderingen og den estimerte sentimentpoengsummen til anmeldelsens tekstinnhold. På denne måten kan PMU-er for første gang kategoriseres og merkes.

Metric Learning for Clustering (MLC) bruker disse utdataetikettene til å etablere en beregning som sannsynligheten for at en brukeranmeldelse er skadelig beregnes mot.

Menneskelige tester

I tillegg til de kvantitative resultatene beskrevet ovenfor, utførte forskerne en brukerstudie som ga 20 studenter i oppgave å identifisere ondsinnede anmeldelser, kun basert på innholdet og stjernerangeringen. Deltakerne ble bedt om å rangere anmeldelsene som 0 (for "normale" anmeldere) eller 1 (for en profesjonell ondsinnet bruker).

Av en 50/50 deling mellom normale og ondsinnede anmeldelser, merket studentene 24 sanne positive og 24 sanne negative brukere i gjennomsnitt. Til sammenligning var MMD i stand til å merke 23 sanne positive og 24 sanne negative brukere i gjennomsnitt, og opererer nesten på menneskelig nivå, og overgår grunnlinjene for oppgaven.

Forfatterne konkluderer med:

"I hovedsak er MMD en generisk løsning som ikke bare kan oppdage profesjonelle ondsinnede brukere som er utforsket i denne artikkelen, men også tjene som et generelt grunnlag for ondsinnede brukerdeteksjoner. Med mer data, som bilde, video eller lyd, kan ideen om MMD være lærerikt for å oppdage følelsesgapet mellom tittelen og innholdet, som har en lys fremtid for å motvirke forskjellige maskeringsstrategier i forskjellige applikasjoner.'

 

Først publisert 20. mai 2022.