Erkennung von “professionellen” bösartigen Online-Bewertungen mit Machine Learning

Eine neue Forschungskooperation zwischen China und den USA bietet eine Möglichkeit, bösartige E-Commerce-Bewertungen zu erkennen, die darauf abzielen, Konkurrenten zu untergraben oder Erpressung zu erleichtern, indem sie das charakteristische Verhalten solcher Bewerteter ausnutzen.

Das System, das als bösartiges Benutzer-Erkennungsmodell (MMD) bezeichnet wird, nutzt Metric Learning, eine Technik, die häufig in der Computer-Vision und Recommender-Systemen verwendet wird, zusammen mit einem rekurrenten neuronalen Netzwerk (RNN), um die Ausgabe solcher Bewerteter zu identifizieren und zu kennzeichnen, die im Paper als Professionelle Böswillige Benutzer (PMUs) bezeichnet werden.

Great! 1 Stern

Die meisten Online-E-Commerce-Bewertungen liefern zwei Formen von Benutzer-Feedback: eine Stern-Bewertung (oder eine Bewertung aus 10) und eine textbasierte Bewertung, und in einem typischen Fall entsprechen diese logisch (d.h. eine schlechte Bewertung wird von einer niedrigen Bewertung begleitet).

PMUs jedoch untergraben diese Logik, indem sie entweder eine schlechte textbasierte Bewertung mit einer hohen Bewertung oder eine schlechte Bewertung mit einer guten Bewertung hinterlassen.

Dies ermöglicht es dem Benutzer, seine Bewertung so zu gestalten, dass sie ohne Auslösen der relativ einfachen Filter, die von E-Commerce-Seiten verwendet werden, um die Ausgabe bösartiger negativer Bewerteter zu identifizieren und zu bekämpfen, einen Rufschaden verursacht. Wenn ein Filter, der auf Natural Language Processing (NLP) basiert, invective in der Textbewertung identifiziert, wird diese “Flag” effektiv durch die hohe Stern- (oder Dezimal-) Bewertung, die der PMU auch zugewiesen hat, “neutralisiert”, was den bösartigen Inhalt aus statistischer Sicht “neutral” macht.

Ein Beispiel dafür, wie eine bösartige Bewertung statistisch mit echten Bewertungen vermischt werden kann, aus der Sicht eines Collaborative-Filtering-Systems, das versucht, ein solches Verhalten zu identifizieren. Quelle: https://arxiv.org/pdf/2205.09673.pdf

Die neue Studie weist darauf hin, dass die Absicht eines PMU oft darin besteht, Geld von Online-Händlern zu erpressen, im Austausch für die Änderung negativer Bewertungen und/oder das Versprechen, keine weiteren negativen Bewertungen zu veröffentlichen. In einigen Fällen handelt es sich um ad-hoc-Personen, die nach Rabatten suchen, obwohl die PMU häufig von den Konkurrenten des Opfers gelegentlich beschäftigt wird.

Versteckte negative Bewertungen

Die aktuelle Generation von automatisierten Erkennungssystemen für solche Bewertungen verwendet Collaborative Filtering oder ein content-basiertes Modell und sucht nach klaren und unmissverständlichen “Outliers” – Bewertungen, die eindeutig negativ sind und sich deutlich von der allgemeinen Bewertungstendenz und -bewertung unterscheiden.

Das andere klassische Merkmal, auf das solche Filter achten, ist eine hohe Post-Häufigkeit, während ein PMU strategisch und nur gelegentlich postet (da jede Bewertung entweder eine individuelle Provision oder einen Schritt in einer längeren Strategie darstellt, die darauf abzielt, das “Häufigkeits”-Maß zu verschleiern).

Daher haben die Forscher der neuen Studie die merkwürdige Polarität professioneller bösartiger Bewertungen in ein dediziertes System integriert, was zu einem Algorithmus führt, der fast so effektiv ist wie die Fähigkeit eines menschlichen Bewerters, den Widerspruch zwischen der Bewertung und dem Textinhalt der Bewertung zu erkennen.

Die konzeptionelle Architektur für MMD, bestehend aus zwei zentralen Modulen: Malicious User Profiling (MUP) und Attention Metric Learning (MLC, in Grau).

Vergleich mit vorherigen Ansätzen

Da MMD, wie die Autoren angeben, das erste System ist, das versucht, PMUs anhand ihres schizophrenen Postings-Stils zu identifizieren, gibt es keine direkten vorherigen Arbeiten, mit denen es verglichen werden kann. Daher haben die Forscher ihr System gegen eine Reihe von Algorithmen getestet, auf denen traditionelle automatisierte Filter häufig basieren, einschließlich K-means++-Clustering; der altbewährten Statistischen Outlier-Erkennung (SOD); Hysad; Semi-sad; CNN-sad; und Slanderous User Detection Recommender System (SDRS).

Getestet gegen gelabelte Datensätze von Amazon [securities_stock_price_tag symbol="amzn" exchange="nasdaq"] und Yelp, kann MMD professionelle Online-Detraktoren mit der höchsten Genauigkeitsrate identifizieren, behaupten die Autoren. Fett druckt MMD, während der Stern (*) die beste Leistung anzeigt. In diesem Fall wurde MMD in nur zwei Aufgaben von einer eigenständigen Technologie (MUP) geschlagen, die bereits in MMD integriert ist, aber nicht standardmäßig für die Aufgabe vorbereitet ist.

In diesem Fall wurde MMD gegen ungelabelte Datensätze von Taobao und Jindong getestet, was es effektiv zu einer unsupervised Learning-Aufgabe macht. Wiederum wird MMD nur von einer seiner eigenen konstitutiven Technologien übertroffen, die speziell für die Aufgabe angepasst wurde.

Die Forscher bemerken:

‘[Auf] allen vier Datensätzen übertrifft unser vorgeschlagenes Modell MMD (MLC+MUP) alle Baselines in Bezug auf F-Score. Beachten Sie, dass MMD eine Kombination aus MLC und MUP ist, was seine Überlegenheit über überwachte und unüberwachte Modelle im Allgemeinen gewährleistet.’

Die Studie legt auch nahe, dass MMD als nützliche Vorverarbeitungsmethode für traditionelle automatisierte Filter-Systeme dienen kann und experimentelle Ergebnisse auf einer Reihe von Datensätzen liefert, einschließlich User-basiertes Collaborative Filtering (UBCF), Item-basiertes Collaborative Filtering (IBCF), Matrix-Faktorisierung (MF-eALS), Bayesian Personalized Ranking (MF-BPR) und Neural Collaborative Filtering (NCF).

In Bezug auf Hit-Ratio (HR) und Normalisierte kumulative Gewinnfunktion (NDCG) in den Ergebnissen dieser getesteten Erweiterungen behaupten die Autoren:

‘Unter allen vier Datensätzen verbessert MMD die Empfehlungsmodelle erheblich in Bezug auf HR und NDCG. Insbesondere kann MMD die Leistung von HR im Durchschnitt um 28,7% und NDCG um 17,3% verbessern.

‘Durch die Entfernung professioneller bösartiger Benutzer kann MMD die Qualität der Datensätze verbessern. Ohne diese professionellen bösartigen Benutzer ist das Feedback [intuitiver].’

Die Studie trägt den Titel Erkennung professioneller bösartiger Benutzer mit Metric Learning in Recommender-Systemen und stammt von Forschern der Abteilung für Informatik und Technologie an der Jilin-Universität; dem Key Lab of Intelligent Information Processing of Chinese Academy of Science in Peking; und der School of Business an der Rutgers-Universität in New Jersey.

Daten und Ansatz

Die Erkennung von PMUs ist eine multimodale Herausforderung, da zwei nicht-äquivalente Parameter (eine numerische Wert-Bewertung und eine textbasierte Bewertung) berücksichtigt werden müssen. Die Autoren der neuen Studie behaupten, dass keine vorherige Arbeit diese Herausforderung angegangen ist.

MMD verwendet ein Hierarchisches Dual-Attention-Recurrent-Neuronales-Netzwerk (HDAN), um den Bewertungsinhalt in einen Sentiment-Score zu assimilieren.

Ein Projekt, das eine Bewertung in einen Sentiment-Score mit HDAN projiziert, der Wort-Embedding und Satz-Embedding beiträgt, um einen Sentiment-Score zu erhalten.

HDAN verwendet Aufmerksamkeitsmechanismen, um Gewichte für jedes Wort und jeden Satz zuweisen. Im Bild oben sollte, wie die Autoren angeben, das Wort schlechter eindeutig ein höheres Gewicht als konkurrierende Wörter in der Bewertung haben.

Für das Projekt nahm HDAN die Bewertungen für Produkte in vier Datensätzen als Grundwahrheit. Die Datensätze waren Amazon.com; Yelp für RecSys (2013); und zwei “reale” (nicht experimentelle) Datensätze von Taobao und Jindong.

MMD nutzt Metric Learning, das versucht, eine genaue Distanz zwischen Entitäten zu schätzen, um die Gesamtheit der Beziehungen in den Daten zu charakterisieren.

MMD beginnt mit einer One-Hot-Codierung, um den Benutzer und das Element über ein Latentes Faktoren-Modell (LFM) auszuwählen, das eine Basis-Bewertung erhält. Gleichzeitig projiziert HDAN den Bewertungsinhalt in den Sentiment-Score als Nebendaten.

Die Ergebnisse werden dann in ein Modell für bösartige Benutzer-Profiling (MUP) verarbeitet, das den Sentiment-Abstand-Vektor ausgibt – die Diskrepanz zwischen der Bewertung und dem geschätzten Sentiment-Score des Textinhalts der Bewertung. Auf diese Weise können PMUs zum ersten Mal kategorisiert und gekennzeichnet werden.

Aufmerksamkeits-basiertes Metric Learning für Clustering.

Metric Learning für Clustering (MLC) verwendet diese Ausgabe-Labels, um eine Metrik zu etablieren, gegen die die Wahrscheinlichkeit berechnet wird, dass eine Benutzer-Bewertung bösartig ist.

Menschliche Tests

Zusätzlich zu den quantitativen Ergebnissen, die oben detailliert sind, führten die Forscher eine Benutzer-Studie durch, bei der 20 Studenten aufgefordert wurden, bösartige Bewertungen zu identifizieren, basierend nur auf dem Inhalt und der Stern-Bewertung. Die Teilnehmer wurden aufgefordert, die Bewertungen als 0 (für “normale” Bewerteter) oder 1 (für einen professionellen bösartigen Benutzer) zu bewerten.

Von einer 50/50-Aufteilung zwischen normalen und bösartigen Bewertungen identifizierten die Studenten im Durchschnitt 24 wahre Positives und 24 wahre Negative Benutzer. Im Vergleich dazu konnte MMD im Durchschnitt 23 wahre positive und 24 wahre negative Benutzer identifizieren, was fast auf menschlichem Niveau ist und die Baselines für die Aufgabe übertrifft.

Studenten vs. MMD. Der Stern (*) zeigt die besten Ergebnisse, und Fett druckt die Ergebnisse von MMD.

Die Autoren kommen zu dem Schluss:

‘Im Wesentlichen ist MMD eine generische Lösung, die nicht nur professionelle bösartige Benutzer erkennen kann, die in diesem Paper erforscht werden, sondern auch als allgemeine Grundlage für die Erkennung bösartiger Benutzer dienen kann. Mit mehr Daten, wie Bildern, Videos oder Audio, kann die Idee von MMD lehrreich sein, um die Sentiment-Lücke zwischen Titel und Inhalt zu erkennen, was eine helle Zukunft hat, um unterschiedliche Maskierungsstrategien in verschiedenen Anwendungen zu bekämpfen.’

Erstveröffentlichung: 20. Mai 2022.