Rilevamento di recensioni online maliziose “professionali” con Machine Learning

Una nuova collaborazione di ricerca tra Cina e Stati Uniti offre un metodo per rilevare recensioni di ecommerce maliziose progettate per danneggiare i concorrenti o facilitare il ricatto, sfruttando il comportamento caratteristico di tali recensori.

Il sistema, intitolato modello di rilevamento di utenti maliziosi (MMD), utilizza Metric Learning, una tecnica comunemente utilizzata in computer vision e sistemi di raccomandazione, insieme a una rete neurale ricorrente (RNN), per identificare e etichettare l’output di tali recensori, che il paper chiama Utenti Maliziosi Professionali (PMU).

Ottimo! 1 stella

La maggior parte delle recensioni online di ecommerce fornisce due forme di feedback dell’utente: una valutazione a stelle (o su 10) e una recensione basata su testo, e in un caso tipico, queste corrisponderanno logicamente (ad esempio, una recensione negativa sarà accompagnata da una valutazione bassa).

I PMU, tuttavia, di solito sovvertono questa logica, lasciando una recensione testuale negativa con una valutazione alta, o una valutazione bassa accompagnata da una recensione positiva.

Ciò consente all’utente di recensione di causare danni alla reputazione senza attivare i filtri relativamente semplici utilizzati dai siti di ecommerce per identificare e affrontare l’output di recensori negativi maliziosi. Se un filtro basato sull’elaborazione del linguaggio naturale (NLP) identifica invettive nel testo di una recensione, questo “flag” viene efficacemente annullato dalla valutazione a stelle (o decimale) alta che il PMU ha anche assegnato, rendendo efficacemente il contenuto malizioso “neutro”, da un punto di vista statistico.

Un esempio di come una recensione maliziosa possa essere commista, statisticamente, con recensioni genuine, dal punto di vista di un sistema di filtraggio collaborativo che tenta di identificare tale comportamento. Fonte: https://arxiv.org/pdf/2205.09673.pdf

Il nuovo paper nota che l’intento di un PMU è spesso quello di estorcere denaro ai rivenditori online in cambio della modifica di recensioni negative, e/o della promessa di non pubblicare ulteriori recensioni negative. In alcuni casi, gli attori sono ad hoc individui che cercano sconti, sebbene frequentemente il PMU sia casualmente impiegato dai concorrenti della vittima.

Mascheramento di recensioni negative

L’attuale generazione di rilevatori automatici per tali recensioni utilizza il filtraggio collaborativo o un modello basato sul contenuto, e cerca chiari e univoci “outlier” – recensioni che sono uniformemente negative in entrambi i metodi di feedback, e che divergono notevolmente dalla tendenza generale del sentimento e della valutazione.

L’altra classica firma che tali filtri si basano è una frequenza di pubblicazione alta, mentre un PMU pubblicherà strategicamente e solo occasionalmente (poiché ogni recensione può rappresentare o una commissione individuale, o una fase in una strategia più lunga progettata per oscurare la “frequenza” metrica).

Pertanto, i ricercatori del nuovo paper hanno integrato la strana polarità di recensioni maliziose professionali in un sistema dedicato, risultando in un algoritmo che è quasi alla pari con la capacità di un recensore umano di “sentire un ratto” nella disparità tra la valutazione e il contenuto testuale della recensione.

L’architettura concettuale per MMD, composta da due moduli centrali: Profiling dell’utente malizioso (MUP) e Metric Learning basato sull’attenzione (MLC, in grigio).

Confronto con approcci precedenti

Poiché MMD è, come affermano gli autori, il primo sistema a tentare di identificare i PMU in base al loro stile di pubblicazione schizofrenico, non ci sono lavori precedenti diretti con cui confrontarlo. Pertanto, i ricercatori hanno confrontato il loro sistema con una serie di algoritmi di componenti su cui i filtri automatici tradizionali si basano frequentemente, tra cui il clustering K-means++; il venerabile rilevamento di outlier statistico (SOD); Hysad; Semi-sad; CNN-sad; e Sistema di raccomandazione per la rilevazione di utenti maliziosi (SDRS).

Testato contro dataset etichettati da Amazon [securities_stock_price_tag symbol="amzn" exchange="nasdaq"] e Yelp, MMD è in grado di identificare detrattori online professionali con il tasso di accuratezza più alto, affermano gli autori. Il testo in grassetto rappresenta MMD, mentre l’asterisco (*) indica le prestazioni migliori. In questo caso, MMD è stato superato in solo due compiti, da una tecnologia autonoma (MUP) che è già incorporata in esso, ma che non è strumentata per default per il compito in questione.

In questo caso, MMD è stato confrontato con dataset non etichettati da Taobao e Jindong, rendendolo efficacemente un compito di apprendimento non supervisionato. Ancora una volta, MMD è stato superato solo da una delle sue tecnologie costituenti, adattata per il compito in questione.

I ricercatori osservano:

‘[Su] tutti e quattro i dataset, il nostro modello proposto MMD (MLC+MUP) supera tutti i baseline in termini di F-score. Nota che MMD è una combinazione di MLC e MUP, che garantisce la sua superiorità rispetto ai modelli supervisionati e non supervisionati in generale.’

Il paper suggerisce inoltre che MMD potrebbe servire come un utile metodo di pre-elaborazione per i sistemi di filtri automatici tradizionali e fornisce risultati sperimentali su una serie di dataset, tra cui Filtraggio collaborativo basato sull’utente (UBCF), Filtraggio collaborativo basato sull’elemento (IBCF), Fattorizzazione matriciale (MF-eALS), Classificazione personalizzata bayesiana (MF-BPR) e Filtraggio collaborativo neurale (NCF).

In termini di Rapporto di successo (HR) e Guadagno cumulativo normalizzato (NDCG) nei risultati di queste estensioni testate, gli autori affermano:

‘Tra tutti e quattro i dataset, MMD migliora significativamente i modelli di raccomandazione in termini di HR e NDCG. In particolare, MMD può migliorare le prestazioni di HR del 28,7% in media e NDCG del 17,3% in media.

‘Eliminando gli utenti maliziosi professionisti, MMD può migliorare la qualità dei dataset. Senza il feedback falso di questi utenti maliziosi, il dataset diventa più [intuitivo].’

Il paper è intitolato Rilevamento di utenti maliziosi professionisti con Metric Learning nei sistemi di raccomandazione e proviene da ricercatori del Dipartimento di Informatica e Tecnologia dell’Università di Jilin; del Key Lab di Elaborazione dell’informazione intelligente dell’Accademia cinese delle scienze di Pechino; e della Scuola di business di Rutgers nel New Jersey.

Dati e approccio

Il rilevamento dei PMU è una sfida multimodale, poiché due parametri non equivalenti (una valutazione numerica a stelle/decimali e una recensione basata su testo) devono essere considerati. Gli autori del nuovo paper affermano che nessun lavoro precedente ha affrontato questa sfida.

MMD impiega una Rete neurale ricorrente duale con attenzione gerarchica (HDAN) per assimilare il contenuto della recensione in un punteggio di sentimento.

Proiezione di una recensione in un punteggio di sentimento con HDAN, che contribuisce all’incorporazione delle parole e all’incorporazione delle frasi per ottenere un punteggio di sentimento.

HDAN utilizza meccanismi di attenzione per assegnare pesi a ogni parola e a ogni frase. Nell’immagine sopra, gli autori affermano, la parola peggiore dovrebbe chiaramente essere assegnata un peso maggiore rispetto alle parole concorrenti nella recensione.

Per il progetto, HDAN ha preso le valutazioni dei prodotti su quattro dataset come verità di base. I dataset erano Amazon.com; Yelp per RecSys (2013); e due dataset “real world” (piuttosto che sperimentali), da Taobao e Jindong.

MMD sfrutta l’apprendimento metrico, che tenta di stimare una distanza accurata tra entità per caratterizzare l’insieme generale di relazioni nei dati.

MMD inizia con una codifica one-hot per selezionare l’utente e l’elemento, tramite un modello di fattori latenti (LFM), che ottiene un punteggio di base. Nel frattempo, HDAN proietta il contenuto della recensione nel punteggio di sentimento come dati aggiuntivi.

I risultati vengono quindi elaborati in un modello di profilazione dell’utente malizioso (MUP), che produce il vettore di divario di sentimento – la disparità tra la valutazione e il punteggio di sentimento stimato del contenuto testuale della recensione. In questo modo, per la prima volta, i PMU possono essere categorizzati e etichettati.

Apprendimento metrico basato sull’attenzione per il clustering.

L’apprendimento metrico per il clustering (MLC) utilizza queste etichette di output per stabilire una metrica contro cui calcolare la probabilità che una recensione utente sia maliziosa.

Test umani

Oltre ai risultati quantitativi dettagliati sopra, i ricercatori hanno condotto uno studio utente che ha assegnato a 20 studenti il compito di identificare recensioni maliziose, basandosi solo sul contenuto e sulla valutazione a stelle. I partecipanti sono stati invitati a valutare le recensioni come 0 (per recensori “normali”) o 1 (per un utente malizioso professionale).

Su un totale di 50 recensioni, 24 positive e 24 negative, gli studenti hanno etichettato 24 recensioni positive e 24 recensioni negative in media. Al confronto, MMD è stato in grado di etichettare 23 recensioni positive e 24 recensioni negative in media, operando quasi al livello di discernimento umano e superando i baseline per il compito.

Studenti vs. MMD. L’asterisco (*) indica i risultati migliori, e il testo in grassetto indica i risultati di MMD.

Gli autori concludono:

‘In sostanza, MMD è una soluzione generica, che non solo può rilevare gli utenti maliziosi professionisti esplorati in questo paper, ma anche servire come base generale per il rilevamento di utenti maliziosi. Con più dati, come immagini, video o suoni, l’idea di MMD può essere istruttiva per rilevare il divario di sentimento tra titolo e contenuto, che ha un futuro luminoso per contrastare diverse strategie di mascheramento in diverse applicazioni.’

Pubblicato per la prima volta il 20 maggio 2022.