Erkennung von “professionellen” bösartigen Online-Bewertungen mit Machine Learning

Eine neue Forschungskooperation zwischen China und den USA bietet eine Möglichkeit, bösartige E-Commerce-Bewertungen zu erkennen, die darauf abzielen, Konkurrenten zu untergraben oder um Erpressung zu erleichtern, indem sie das Signaturverhalten solcher Rezensenten nutzen.

Das System, das den Titel bösartiges Benutzer-Erkennungsmodell (MMD) trägt, nutzt Metric Learning, eine Technik, die häufig in der Computer-Vision und Empfehlungssystemen verwendet wird, zusammen mit einem rekurrenten neuronalen Netzwerk (RNN), um die Ausgabe solcher Rezensenten zu identifizieren und zu kennzeichnen, die das Papier als professionelle bösartige Benutzer (PMUs) bezeichnet.

Gut! 1 Stern

Die meisten Online-E-Commerce-Bewertungen bieten zwei Formen von Benutzer-Feedback: eine Stern-Bewertung (oder eine Bewertung von 1-10) und eine textbasierte Bewertung, und in einem typischen Fall entsprechen diese logisch (d. h. eine schlechte Bewertung wird von einer niedrigen Bewertung begleitet).
PMUs jedoch unterlaufen diese Logik, indem sie entweder eine schlechte textbasierte Bewertung mit einer hohen Bewertung oder eine schlechte Bewertung mit einer guten Bewertung hinterlassen.

Dies ermöglicht es dem Benutzer, seine Bewertung so zu gestalten, dass sie ohne Auslösen der relativ einfachen Filter, die von E-Commerce-Seiten verwendet werden, um die Ausgabe von bösartigen Rezensenten zu identifizieren und zu bekämpfen, einen Rufschaden verursacht. Wenn ein Filter, der auf Natural Language Processing (NLP) basiert, Invektiven im Text der Bewertung identifiziert, wird diese “Flagge” durch die hohe Stern- (oder Dezimal-) Bewertung, die der PMU auch zugewiesen hat, effektiv aufgehoben, was den bösartigen Inhalt aus statistischer Sicht “neutral” macht.

Ein Beispiel dafür, wie eine bösartige Bewertung statistisch mit echten Bewertungen vermischt werden kann, aus der Sicht eines kollaborativen Filter-Systems, das versucht, ein solches Verhalten zu identifizieren. Quelle: https://arxiv.org/pdf/2205.09673.pdf

Die neue Studie stellt fest, dass die Absicht eines PMU oft darin besteht, Geld von Online-Händlern zu erpressen, im Austausch gegen die Änderung negativer Bewertungen und/oder ein Versprechen, keine weiteren negativen Bewertungen zu veröffentlichen. In einigen Fällen handelt es sich um ad-hoc-Personen auf der Suche nach Rabatten, obwohl der PMU häufig gelegentlich von den Konkurrenten des Opfers beschäftigt wird.

Versteckte negative Bewertungen

Die aktuelle Generation von automatisierten Detektoren für solche Bewertungen verwendet kollaboratives Filtern oder ein inhaltsbasiertes Modell und sucht nach klaren und unmissverständlichen “Ausreißern” – Bewertungen, die einheitlich negativ über beide Feedback-Methoden sind und die sich deutlich von der allgemeinen Tendenz der Bewertungssentiment und -Bewertung abheben.

Das andere klassische Merkmal, auf das solche Filter achten, ist eine hohe Postfrequenz, während ein PMU strategisch und nur gelegentlich postet (da jede Bewertung entweder eine individuelle Provision oder eine Phase in einer längeren Strategie darstellen kann, die darauf abzielt, das “Frequenz”-Maß zu verschleiern).

Daher haben die Forscher der neuen Studie die merkwürdige Polarität professioneller bösartiger Bewertungen in ein dediziertes System integriert, was zu einem Algorithmus führt, der fast auf dem Niveau der Fähigkeit eines menschlichen Rezensenten ist, den Widerspruch zwischen der Bewertung und dem Textinhalt der Bewertung “zu riechen”.

Die konzeptionelle Architektur für MMD, bestehend aus zwei zentralen Modulen: Bösartiger Benutzer-Profiling (MUP) und Attention Metric Learning (MLC, in Grau).

Vergleich mit vorherigen Ansätzen

Da MMD, wie die Autoren angeben, das erste System ist, das versucht, PMUs auf der Grundlage ihres schizophrenen Poststils zu identifizieren, gibt es keine direkten vorherigen Arbeiten, mit denen es verglichen werden kann. Daher setzten die Forscher ihr System gegen eine Reihe von Algorithmen, auf denen traditionelle automatisierte Filter häufig angewiesen sind, einschließlich K-means++-Clustering; der altgedienten Statistischen Ausreißer-Erkennung (SOD); Hysad; Semi-sad; CNN-sad; und Slanderous User Detection Recommender System (SDRS).

Getestet mit gelabelten Datensätzen von Amazon und Yelp, kann MMD professionelle Online-Detektive mit der höchsten Genauigkeitsrate identifizieren, behaupten die Autoren. Fett druckt MMD, während der Stern (*) die beste Leistung anzeigt. In diesem Fall wurde MMD in nur zwei Aufgaben von einer eigenständigen Technologie (MUP) geschlagen, die bereits in MMD integriert ist, aber nicht standardmäßig für die Aufgabe ausgestattet ist.

In diesem Fall wurde MMD gegen nicht gelabelte Datensätze von Taobao und Jindong getestet, was es effektiv zu einer unsupervisierten Lernaufgabe macht. Wiederum wird MMD nur von einer seiner eigenen konstitutiven Technologien übertroffen, die stark an die Aufgabe angepasst wurde.