Wykrywanie “profesjonalnych” fałszywych recenzji online za pomocą uczenia maszynowego

Nowe badanie przeprowadzone we współpracy między Chinami a Stanami Zjednoczonymi oferuje sposób wykrywania fałszywych recenzji e-commerce, które mają na celu podważenie konkurencji lub ułatwienie szantażu, wykorzystując charakterystyczne zachowanie takich recenzentów.

System, zatytułowany model wykrywania użytkowników o złych intencjach (MMD), wykorzystuje Naukę metryczną, technikę powszechnie stosowaną w komputerowym widzeniu i systemach rekomendacji, wraz z siecią neuronową rekurencyjną (RNN), w celu identyfikacji i oznaczenia wyjścia takich recenzentów, których autorzy nazywają profesjonalnymi użytkownikami o złych intencjach (PMU).

Bardzo dobrze! 1 gwiazdka

Większość online recenzji e-commerce zapewnia dwie formy opinii użytkownika: ocenę gwiazdkową (lub ocenę na 10) i tekstową recenzję, a w typowym przypadku te dwie rzeczy będą logicznie się pokrywać (tj. negatywna recenzja będzie towarzyszyć niskiej ocenie).

PMU, jednak, zwykle podważają tę logikę, pozostawiając negatywną recenzję tekstową z wysoką oceną, lub słabą ocenę towarzyszącą dobrej recenzji.

To pozwala recenzji użytkownika powodować uszkodzenie reputacji bez wyzwolenia stosunkowo prostych filtrów wdrożonych przez strony e-commerce w celu identyfikacji i rozwiązania problemu wyjścia recenzentów o złych intencjach. Jeśli filtr oparty na przetwarzaniu języka naturalnego (NLP) identyfikuje wyzwiska w treści recenzji, to “flaga” jest skutecznie anulowana przez wysoką ocenę gwiazdkową (lub dziesiętną), którą PMU również przypisał, skutecznie czyniąc treść “neutralną” z punktu widzenia statystycznego.

Przykład, jak fałszywa recenzja może być statystycznie pomieszana z autentycznymi recenzjami, z punktu widzenia systemu filtrowania współpracy, który próbuje zidentyfikować takie zachowanie. Źródło: https://arxiv.org/pdf/2205.09673.pdf

Nowe badanie zauważa, że intencją PMU jest często wymuszenie pieniędzy od sprzedawców online w zamian za zmianę negatywnych recenzji i/lub obietnicę niepublikowania dalszych negatywnych recenzji. W niektórych przypadkach aktorami są ad hoc osoby szukające zniżek, chociaż często PMU jest pracownikiem zatrudnionym przez konkurentów ofiary.

Maskowanie negatywnych recenzji

Bieżąca generacja automatycznych wykrywaczy takich recenzji wykorzystuje filtrowanie współpracy lub model oparty na treści, i szukają wyraźnych i nieambivalentnych “outlierów” – recenzji, które są jednolicie negatywne w obu metodach opinii, i które odbiegają znacznie od ogólnego trendu sentymentu recenzji i oceny.

Inny klasyczny sygnał, na który te filtry są nastawione, to wysoka częstotliwość publikowania, podczas gdy PMU publikuje strategicznie i tylko okazjonalnie (ponieważ każda recenzja może reprezentować indywidualną prowizję lub etap dłuższej strategii mającej na celu zaciemnienie “częstotliwości” metryki).

Dlatego nowe badanie autorów zintegrowało dziwną polaryzację profesjonalnych recenzji o złych intencjach do dedykowanego systemu, w wyniku czego powstał algorytm, który jest prawie na poziomie zdolności ludzkiego recenzenta do “wyczuwania” niezgodności między oceną a treścią recenzji.

Konceptualna architektura MMD, składająca się z dwóch centralnych modułów: Malicious User Profiling (MUP) i Attention Metric Learning (MLC, w szarym kolorze).

Porównanie z poprzednimi podejściami

Ponieważ MMD jest, jak stwierdzają autorzy, pierwszym systemem, który próbuje zidentyfikować PMU na podstawie ich schizofrenicznego stylu publikowania, nie ma bezpośrednich poprzednich prac, z którymi można by je porównać. Dlatego autorzy sprawdzili swój system w porównaniu z licznymi algorytmami, na których tradycyjne automatyczne filtry często polegają, w tym K-means++ Clustering; Statystyczne wykrywanie outlierów (SOD); Hysad; Semi-sad; CNN-sad; i Slanderous user Detection Recommender System (SDRS).

Przetestowany na oznaczonych zbiorach danych z Amazon [securities_stock_price_tag symbol="amzn" exchange="nasdaq"] i Yelp, MMD jest w stanie zidentyfikować profesjonalnych online detektorów z najwyższym wskaźnikiem dokładności, twierdzą autorzy. Bold reprezentuje MMD, a gwiazdka (*) wskazuje najlepsze wyniki. W tym przypadku MMD został pokonany tylko w dwóch zadaniach, przez samodzielną technologię (MUP), która jest już wbudowana w niego, ale która nie jest domyślnie dostosowana do zadania.

W tym przypadku MMD został przetestowany na nieoznaczonych zbiorach danych z Taobao i Jindong, co sprawiło, że stało się to zadanie nienadzorowanego uczenia. Ponownie, MMD został pokonany tylko przez jedną ze swoich własnych technologii, która została dostosowana do zadania w celu testowania.

Autorzy zauważają:

‘We wszystkich czterech zbiorach danych nasz proponowany model MMD (MLC+MUP) przewyższa wszystkie punkty odniesienia pod względem F-wskaźnika. Należy zauważyć, że MMD jest połączeniem MLC i MUP, co gwarantuje jego wyższość nad modelami nadzorowanymi i nienadzorowanymi w ogóle.’

Artykuł sugeruje również, że MMD może służyć jako przydatna metoda wstępna dla tradycyjnych automatycznych systemów filtrujących, i zapewnia wyniki eksperymentalne na kilku zbiorach danych, w tym User-based collaborative Filtering (UBCF), Item-based collaborative Filtering (IBCF), Matrix Factorization (MF-eALS), Bayesian personalized ranking (MF-BPR), i Neural Collaborative Filtering (NCF).

W kwestii Hit Ratio (HR) i Normalized Discounted Cumulative Gain (NDCG) w wynikach tych testów, autorzy stwierdzają:

‘Wśród wszystkich czterech zbiorów danych MMD znacznie poprawia modele rekomendacji pod względem HR i NDCG. Konkretnie, MMD może poprawić wyniki HR o 28,7% średnio i HDCG o 17,3% średnio.

‘Poprzez usunięcie profesjonalnych użytkowników o złych intencjach, MMD może poprawić jakość zbiorów danych. Bez tych profesjonalnych użytkowników o złych intencjach fałszywej opinii, zbiór danych staje się bardziej intuicyjny.’

Artykuł pt. Detect Professional Malicious User with Metric Learning in Recommender Systems, i pochodzi od badaczy z Wydziału Informatyki i Techniki na Uniwersytecie Jilin; Key Lab of Intelligent Information Processing of Chinese Academy of Science w Pekinie; i Szkoły Biznesu na Uniwersytecie Rutgers w New Jersey.

Dane i podejście

Wykrywanie PMU jest wielomodalnym wyzwaniem, ponieważ dwie nieekwiwalentne parametry (numeryczna ocena gwiazdkowa / dziesiętna i tekstowa recenzja) muszą być brane pod uwagę. Autorzy nowego artykułu twierdzą, że żadne poprzednie prace nie rozwiązały tego wyzwania.

MMD zatrudnia Hierarchical Dual-Attention recurrent Neural network (HDAN), aby wchłonąć treść recenzji do oceny sentymentu.

Projekcja recenzji do oceny sentymentu z HDAN, która przyczynia się do osiągnięcia oceny sentymentu.

HDAN wykorzystuje mechanizmy uwagi, aby przypisać wagi do każdego słowa i do każdego zdania. Na powyższym obrazie, autorzy stwierdzają, że słowo gorsze powinno być wyraźnie przypisane większej wadze niż konkurujące słowa w recenzji.

Dla projektu HDAN wziął oceny produktów w czterech zbiorach danych jako prawdę. Zbiory danych były Amazon.com; Yelp for RecSys (2013); i dwa “rzeczywiste” (a nie eksperymentalne) zbiory danych, z Taobao i Jindong.

MMD wykorzystuje Naukę metryczną, która próbuje oszacować dokładną odległość między jednostkami w celu scharakteryzowania ogólnej grupy relacji w danych.

MMD zaczyna się od jednorodnej kodowania, aby wybrać użytkownika i przedmiot, za pomocą modelu Latent Factor (LFM), który uzyskuje podstawową ocenę. W międzyczasie HDAN projekuje treść recenzji do oceny sentymentu jako danych dodatkowych.

Wyniki są następnie przetwarzane do modelu Malicious User Profiling (MUP), który wyprowadza wektor luki sentymentu – różnicę między oceną a oszacowaną oceną sentymentu treści recenzji. W ten sposób, po raz pierwszy, PMU mogą być kategoryzowane i oznaczone.

Uwaga oparta na Nauce metrycznej do klastryzacji.

Nauka metryczna dla klastryzacji (MLC) wykorzystuje te wyjściowe etykiety, aby ustalić metrykę, według której prawdopodobieństwo recenzji użytkownika jest obliczane.

Testy ludzkie

Oprócz ilościowych wyników szczegółowo opisanych powyżej, autorzy przeprowadzili badanie użytkowników, które poprosiło 20 studentów o identyfikację fałszywych recenzji, wyłącznie na podstawie treści i oceny gwiazdkowej. Uczestnicy zostali poproszeni o ocenę recenzji jako 0 (dla “normalnych” recenzentów) lub 1 (dla profesjonalnego użytkownika o złych intencjach).

Na 50/50 podziale między normalnymi a fałszywymi recenzjami, studenci oznaczyli 24 prawdziwe pozytywy i 24 prawdziwe negatywy średnio. W porównaniu z tym, MMD był w stanie oznaczyć 23 prawdziwe pozytywy i 24 prawdziwe negatywy średnio, działając niemal na poziomie ludzkiej dyskrecji i przewyższając punkty odniesienia dla zadania.

Studenci vs. MMD. Gwiazdka (*) wskazuje najlepsze wyniki, a bold wskazuje wyniki MMD.

Autorzy kończą:

‘W istocie, MMD jest rozwiązaniem ogólnym, które nie tylko może wykryć profesjonalnych użytkowników o złych intencjach, które są badane w tym artykule, ale także może służyć jako ogólna podstawa do wykrywania użytkowników o złych intencjach. Z większymi danymi, takimi jak obrazy, filmy lub dźwięk, idea MMD może być pouczająca w wykrywaniu luki sentymentu między tytułem a treścią, co ma jasną przyszłość w przeciwdziałaniu różnym strategiom maskowania w różnych aplikacjach.’

Opublikowane po raz pierwszy 20 maja 2022 r.