Mendeteksi Ulasan Online Malicious ‘Profesional’ dengan Machine Learning

Kolaborasi penelitian baru antara Tiongkok dan AS menawarkan cara mendeteksi ulasan ecommerce malicious yang dirancang untuk melemahkan pesaing atau memfasilitasi pemerasan, dengan memanfaatkan perilaku tanda tangan dari pengulas tersebut.

Sistem, yang berjudul malicious user detection model (MMD), menggunakan Metric Learning, sebuah teknik umum digunakan dalam komputer visi dan rekomendasi sistem, bersama dengan Jaringan Saraf Resursif (RNN), untuk mengidentifikasi dan melabeli output dari pengulas tersebut, yang dalam makalah ini disebut Professional Malicious Users (PMUs).

Bagus! 1 bintang

Sebagian besar ulasan ecommerce online memberikan dua bentuk umpan balik pengguna: peringkat bintang (atau peringkat dari 10) dan ulasan berbasis teks, dan dalam kasus yang biasa, keduanya akan sesuai secara logis (yaitu, ulasan buruk akan disertai dengan peringkat rendah).

PMUs, bagaimanapun, biasanya membalikkan logika ini, dengan meninggalkan ulasan teks buruk dengan peringkat tinggi, atau peringkat rendah yang disertai dengan ulasan baik.

Hal ini memungkinkan ulasan pengguna untuk menyebabkan kerusakan reputasi tanpa memicu filter sederhana yang diterapkan oleh situs ecommerce untuk mengidentifikasi dan menangani output dari pengulas maliciously negatif. Jika filter berbasis Pemrosesan Bahasa Alami (NLP) mengidentifikasi invective dalam teks ulasan, ‘bendera’ ini secara efektif dibatalkan oleh peringkat bintang (atau desimal) yang tinggi yang juga diberikan oleh PMU, secara efektif membuat konten malicious ‘netral’, dari sudut pandang statistik.

Contoh bagaimana ulasan malicious dapat dicampur, secara statistik, dengan ulasan asli, dari sudut pandang sistem filtering kolaboratif yang mencoba mengidentifikasi perilaku tersebut. Sumber: https://arxiv.org/pdf/2205.09673.pdf

Makalah baru tersebut mencatat bahwa niat dari PMU seringkali untuk memeras uang dari pengecer online sebagai imbalan untuk perubahan ulasan negatif, dan/atau janji untuk tidak memposting ulasan negatif lagi. Dalam beberapa kasus, aktor tersebut adalah ad hoc individu mencari diskon, meskipun sering PMU digunakan secara kasual oleh pesaing korban.

Menyembunyikan Ulasan Negatif

Generasi saat ini dari detektor otomatis untuk ulasan tersebut menggunakan Collaborative Filtering atau content-based model, dan mencari ‘outliers’ yang jelas dan tidak ambigu – ulasan yang seragam negatif di seluruh metode umpan balik, dan yang menyimpang secara signifikan dari tren sentimen ulasan dan peringkat umum.

Tanda tangan klasik lain yang filter tersebut kunci adalah frekuensi posting yang tinggi, sedangkan PMU akan memposting secara strategis dan hanya terkadang (karena setiap ulasan mungkin mewakili komisi individu, atau tahap dalam strategi yang lebih panjang untuk mengaburkan ‘frekuensi’ metrik).

Oleh karena itu, peneliti makalah baru telah mengintegrasikan polaritas aneh dari ulasan malicious profesional ke dalam sistem khusus, menghasilkan algoritma yang hampir sebanding dengan kemampuan reviewer manusia untuk ‘menghidu’ perbedaan antara peringkat dan konten teks ulasan.

Arsitektur konseptual untuk MMD, yang terdiri dari dua modul sentral: Malicious User Profiling (MUP) dan Attention Metric Learning (MLC, dalam abu-abu).

Perbandingan dengan Pendekatan Sebelumnya

Karena MMD adalah, menurut penulis, sistem pertama yang mencoba mengidentifikasi PMU berdasarkan gaya posting mereka yang skizofrenik, tidak ada karya sebelumnya yang dapat dibandingkan. Oleh karena itu, peneliti membandingkan sistem mereka dengan sejumlah algoritma komponen yang sering digunakan oleh filter otomatis, termasuk K-means++ Clustering; Statistic Outlier Detection (SOD) yang terhormat; Hysad; Semi-sad; CNN-sad; dan Sistem Rekomendasi Deteksi Pengguna Slanderous (SDRS).

Diuji melawan dataset yang dilabel dari Amazon [securities_stock_price_tag symbol="amzn" exchange="nasdaq"] dan Yelp, MMD dapat mengidentifikasi pengguna online detraktor profesional dengan tingkat akurasi tertinggi, menurut klaim penulis. Tebal mewakili MMD, sedangkan asterisk (*) menunjukkan kinerja terbaik. Dalam kasus ini, MMD hanya dikalahkan dalam dua tugas, oleh teknologi mandiri (MUP) yang sudah terintegrasi ke dalamnya, tetapi yang tidak diatur secara default untuk tugas yang sedang dilakukan.

Dalam kasus ini, MMD diuji melawan dataset yang tidak dilabel dari Taobao dan Jindong, membuatnya secara efektif menjadi tugas pembelajaran tidak terawasi. Lagi, MMD hanya dilampaui oleh salah satu teknologi konstituen sendiri, yang sangat disesuaikan untuk tugas tersebut untuk tujuan pengujian.

Peneliti mengamati:

‘[Pada] semua empat dataset, model yang kami usulkan MMD (MLC+MUP) outperforms semua baseline dalam hal F-score. Perlu diingat bahwa MMD adalah kombinasi dari MLC dan MUP, yang memastikan superioritasnya atas model terawasi dan tidak terawasi secara umum.’

Makalah tersebut juga menyarankan bahwa MMD dapat berfungsi sebagai metode pra-pengolahan yang berguna untuk sistem filter otomatis tradisional, dan memberikan hasil eksperimental pada sejumlah dataset, termasuk User-based collaborative Filtering (UBCF), Item-based collaborative Filtering (IBCF), Matrix Factorization (MF-eALS), Bayesian personalized ranking (MF-BPR), dan Neural Collaborative Filtering (NCF).

Dalam hal Hit Ratio (HR) dan Normalized Discounted Cumulative Gain (NDCG) dalam hasil augmentasi yang diuji, penulis menyatakan:

‘Di antara semua empat dataset, MMD meningkatkan model rekomendasi secara signifikan dalam hal HR dan NDCG. Secara khusus, MMD dapat meningkatkan kinerja HR sebesar 28,7% rata-rata dan HDCG sebesar 17,3% rata-rata.

‘Dengan menghapus pengguna malicious profesional, MMD dapat meningkatkan kualitas dataset. Tanpa umpan balik palsu dari pengguna malicious profesional, dataset menjadi lebih [intuitif].’

Makalah tersebut berjudul Detect Professional Malicious User with Metric Learning in Recommender Systems, dan berasal dari peneliti di Departemen Ilmu Komputer dan Teknologi di Jilin University; Key Lab of Intelligent Information Processing of Chinese Academy of Science di Beijing; dan Sekolah Bisnis di Rutgers di New Jersey.

Data dan Pendekatan

Mendeteksi PMU adalah tantangan multimodal, karena dua parameter non-ekivalen (peringkat nilai numerik/bintang dan ulasan berbasis teks) harus dipertimbangkan. Penulis makalah baru tersebut menyatakan bahwa tidak ada karya sebelumnya yang telah menangani tantangan ini.

MMD menggunakan Hierarchical Dual-Attention recurrent Neural network (HDAN) untuk mengasimilasi konten ulasan ke dalam skor sentimen.

Mengproyeksikan ulasan ke skor sentimen dengan HDAN, yang memberikan kontribusi pada word embedding dan sentence embedding untuk mendapatkan skor sentimen.

HDAN menggunakan mekanisme perhatian untuk memberikan bobot pada setiap kata, dan pada setiap kalimat. Dalam gambar di atas, penulis menyatakan, kata poorer harus jelas diberi bobot lebih besar daripada kata-kata lain dalam ulasan.

Untuk proyek ini, HDAN mengambil peringkat produk di seluruh empat dataset sebagai kebenaran. Dataset tersebut adalah Amazon.com; Yelp untuk RecSys (2013); dan dua dataset ‘dunia nyata’ (bukan eksperimental), dari Taobao dan Jindong.

MMD menggunakan Metric Learning, yang mencoba memperkirakan jarak akurat antara entitas untuk mengkarakterisasi kelompok hubungan keseluruhan dalam data.

MMD dimulai dengan one-hot encoding untuk memilih pengguna dan item, melalui Model Faktor Laten (LFM), yang mendapatkan skor peringkat dasar. Sementara itu, HDAN memproyeksikan konten ulasan ke skor sentimen sebagai data tambahan.

Hasilnya kemudian diproses ke dalam model Profiling Pengguna Malicious (MUP), yang mengeluarkan sentiment gap vector – perbedaan antara peringkat dan skor sentimen teks ulasan. Dengan cara ini, untuk pertama kalinya, PMU dapat dikategorikan dan diberi label.

Pembelajaran Metrik Berbasis Perhatian untuk clustering.

Metric Learning untuk Clustering (MLC) menggunakan label output ini untuk menetapkan metrik yang melawan kemungkinan ulasan pengguna malicious.

Pengujian Manusia

Selain hasil kuantitatif yang dijelaskan di atas, peneliti melakukan studi pengguna yang meminta 20 mahasiswa untuk mengidentifikasi ulasan malicious, berdasarkan hanya konten dan peringkat bintang. Peserta diminta untuk menilai ulasan sebagai 0 (untuk ‘pengulas normal’) atau 1 (untuk pengguna malicious profesional).

Dari 50/50 split antara ulasan normal dan malicious, mahasiswa melabeli 24 positif sebenarnya dan 24 negatif sebenarnya pada rata-rata. Dibandingkan dengan itu, MMD dapat melabeli 23 positif sebenarnya dan 24 negatif sebenarnya pada rata-rata, beroperasi hampir pada tingkat diskriminasi manusia, dan melampaui baseline untuk tugas tersebut.

Mahasiswa vs. MMD. Asterisk [*] menunjukkan hasil terbaik, dan tebal menunjukkan hasil MMD.

Penulis menyimpulkan:

‘Pada intinya, MMD adalah solusi generik, yang tidak hanya dapat mendeteksi pengguna malicious profesional yang dieksplorasi dalam makalah ini, tetapi juga dapat berfungsi sebagai fondasi umum untuk deteksi pengguna malicious. Dengan lebih banyak data, seperti gambar, video, atau suara, ide MMD dapat menjadi instruktif untuk mendeteksi perbedaan sentimen antara judul dan konten, yang memiliki masa depan cerah untuk melawan strategi masking yang berbeda dalam aplikasi yang berbeda.’

Dipublikasikan pertama kali pada 20 Mei 2022.