Rilevamento di recensioni online maliziose ‘professionali’ con Machine Learning

Una nuova collaborazione di ricerca tra Cina e Stati Uniti offre un metodo per rilevare recensioni di ecommerce maliziose progettate per indebolire i concorrenti o facilitare il ricatto, sfruttando il comportamento caratteristico di tali recensori.

Il sistema, intitolato modello di rilevamento utente malizioso (MMD), utilizza Metric Learning, una tecnica comunemente utilizzata in computer vision e sistemi di raccomandazione, insieme a una Recurrent Neural Network (RNN), per identificare e etichettare l’output di tali recensori, che il paper definisce Utenti Maliziosi Professionali (PMU).

Great! 1 stella

La maggior parte delle recensioni online di ecommerce fornisce due forme di feedback dell’utente: una valutazione a stelle (o su 10) e una recensione basata su testo, e in un caso tipico, questi corrisponderanno logicamente (ad esempio, una recensione negativa sarà accompagnata da una valutazione bassa).

I PMU, tuttavia, di solito sovvertono questa logica, lasciando una recensione testuale negativa con una valutazione alta, o una valutazione scarsa accompagnata da una recensione positiva.

Ciò consente all’utente di recensione di causare danni alla reputazione senza attivare i filtri relativamente semplici implementati dai siti di ecommerce per identificare e affrontare l’output dei recensori negativi maliziosi. Se un filtro basato su Natural Language Processing (NLP) identifica invettive nel testo di una recensione, questo ‘flag’ viene efficacemente annullato dalla valutazione a stelle (o decimale) alta che il PMU ha anche assegnato, rendendo efficacemente il contenuto malizioso ‘neutrale’, da un punto di vista statistico.

Un esempio di come una recensione maliziosa possa essere commista, statisticamente, con recensioni genuine, dal punto di vista di un sistema di filtraggio collaborativo che tenta di identificare tale comportamento.  Fonte: https://arxiv.org/pdf/2205.09673.pdf

Il nuovo paper nota che l’intenzione di un PMU è spesso quella di estorcere denaro ai rivenditori online in cambio della modifica di recensioni negative, e/o della promessa di non pubblicare ulteriori recensioni negative. In alcuni casi, gli attori sono ad hoc individui che cercano sconti, sebbene frequentemente il PMU sia essere casualmente impiegato dai concorrenti della vittima.

Mascherare recensioni negative

L’attuale generazione di rilevatori automatici per tali recensioni utilizza Collaborative Filtering o un modello basato sul contenuto, e cerca chiari e univoci ‘outlier’ – recensioni che sono uniformemente negative in entrambi i metodi di feedback, e che divergono notevolmente dalla tendenza generale del sentimento e della valutazione delle recensioni.

L’altro classico firma che tali filtri si basano è una frequenza di pubblicazione alta, mentre un PMU pubblicherà strategicamente e solo occasionalmente (poiché ogni recensione può rappresentare o una commissione individuale, o una fase in una strategia più lunga progettata per offuscare la metrica ‘frequenza’).

Pertanto, i ricercatori del nuovo paper hanno integrato la strana polarità delle recensioni maliziose professionali in un sistema dedicato, risultando in un algoritmo che è quasi alla pari con la capacità di un revisore umano di ‘sentire un ratto’ nella disparità tra la valutazione e il contenuto testuale della recensione.

L’architettura concettuale per MMD, composta da due moduli centrali: Profiling Utente Malizioso (MUP) e Metric Learning con Attenzione (MLC, in grigio).

Confronto con approcci precedenti

Poiché MMD è, secondo gli autori, il primo sistema a tentare di identificare PMU in base al loro stile di pubblicazione schizofrenico, non ci sono lavori precedenti diretti con cui confrontarlo. Pertanto, i ricercatori hanno confrontato il loro sistema con una serie di algoritmi di componenti su cui i filtri automatici tradizionali dipendono frequentemente, tra cui K-means++ Clustering; il venerabile Rilevamento di outlier statistico (SOD); Hysad; Semi-sad; CNN-sad; e Sistema di raccomandazione per la rilevazione di utenti diffamatori (SDRS).

Testato contro set di dati etichettati da Amazon e Yelp, MMD è in grado di identificare detrattori online professionali con il tasso di accuratezza più alto, affermano gli autori. Il grassetto rappresenta MMD, mentre l’asterisco (*) indica le prestazioni migliori. In questo caso, MMD è stato superato in sole due attività, da una tecnologia autonoma (MUP) che è già incorporata in esso, ma che non è strumentata per default per l’attività in questione.

In questo caso, MMD è stato confrontato con set di dati non etichettati da Taobao e Jindong, rendendolo efficacemente un’attività di apprendimento non supervisionato. Ancora una volta, MMD è superato solo da una delle sue tecnologie costituenti, adattata per l’attività in questione.