Mendeteksi Tinjauan Online Berbahaya 'Profesional' dengan Pembelajaran Mesin

Kolaborasi penelitian baru antara China dan AS menawarkan cara untuk mendeteksi ulasan e-niaga jahat yang dirancang untuk melemahkan pesaing atau untuk memfasilitasi pemerasan, dengan memanfaatkan perilaku khas dari pengulas tersebut.

Sistem, berjudul model deteksi pengguna jahat (MMD), memanfaatkan Pembelajaran Metrik, sebuah teknik biasanya digunakan dalam visi komputer dan sistem rekomendasi, bersama dengan Recurrent Neural Network (RNN), untuk mengidentifikasi dan memberi label pada keluaran dari peninjau tersebut, yang diberi nama oleh makalah tersebut Pengguna Berbahaya Profesional (PMU).

Besar! 1 bintang

Sebagian besar ulasan e-niaga online memberikan dua bentuk umpan balik pengguna: peringkat bintang (atau peringkat dari 10) dan ulasan berbasis teks, dan dalam kasus biasa, ini akan sesuai secara logis (yaitu, ulasan buruk akan disertai dengan peringkat rendah).

PMU, bagaimanapun, biasanya menumbangkan logika ini, dengan meninggalkan ulasan teks yang buruk dengan peringkat tinggi, atau peringkat buruk disertai dengan ulasan yang baik.

Hal ini memungkinkan ulasan pengguna menyebabkan kerusakan reputasi tanpa memicu filter yang relatif sederhana yang diterapkan oleh situs e-commerce untuk mengidentifikasi dan mengatasi keluaran dari pengulas negatif yang berniat jahat. Jika filter berdasarkan Natural Language Processing (NLP) mengidentifikasi kata-kata makian dalam teks ulasan, 'tanda' ini secara efektif dibatalkan dengan peringkat bintang (atau desimal) tinggi yang juga ditetapkan oleh PMU, sehingga secara efektif membuat konten berbahaya menjadi 'netral'. , dari sudut pandang statistik.

Makalah baru mencatat bahwa niat PMU sering memeras uang dari pengecer online dengan imbalan amandemen ulasan negatif, dan/atau janji untuk tidak memposting ulasan negatif lebih lanjut. Dalam beberapa kasus, aktornya ad hoc individu mencari diskon, meskipun sering PMU sedang dipekerjakan secara serampangan oleh pesaing korban.

Menyelubungi Ulasan Negatif

Detektor otomatis generasi saat ini untuk tinjauan tersebut menggunakan Collaborative Filtering atau a model berbasis konten, dan mencari 'outlier' yang jelas dan tidak ambigu – ulasan yang negatif secara seragam di kedua metode umpan balik, dan yang sangat menyimpang dari tren umum sentimen dan peringkat ulasan.

Tanda tangan klasik lainnya yang menjadi kunci filter tersebut adalah frekuensi posting yang tinggi, sedangkan PMU akan memposting secara strategis dan hanya sesekali (karena setiap ulasan dapat mewakili komisi individu, atau tahapan dalam strategi yang lebih panjang yang dirancang untuk mengaburkan metrik 'frekuensi' ).

Oleh karena itu, para peneliti makalah baru telah mengintegrasikan polaritas aneh dari ulasan berbahaya profesional ke dalam sistem khusus, menghasilkan algoritme yang hampir setara dengan kemampuan peninjau manusia untuk 'mencium tikus' pada perbedaan antara peringkat dan ulasan. konten teks.

Perbandingan dengan Pendekatan Sebelumnya

Karena MMD adalah, penulis menyatakan, sistem pertama yang mencoba mengidentifikasi PMU berdasarkan gaya posting skizofrenia mereka, tidak ada karya langsung sebelumnya untuk membandingkannya. Oleh karena itu, para peneliti mengadu sistem mereka dengan sejumlah algoritme komponen yang sering kali bergantung pada filter otomatis tradisional, termasuk K-means++ Clustering; yang terhormat Deteksi Pencilan Statistik (MERUMPUT); Hysad; Setengah sedih; CNN-sedih; Dan Sistem Rekomendasi Deteksi pengguna yang memfitnah (SDRS).

Para peneliti mengamati:

'[Pada] keempat set data, model MMD (MLC+MUP) yang kami usulkan mengungguli semua baseline dalam hal F-score. Perhatikan bahwa MMD adalah kombinasi dari MLC dan MUP, yang memastikan keunggulannya atas model yang diawasi dan tidak diawasi pada umumnya.'

Makalah ini juga menunjukkan bahwa MMD dapat berfungsi sebagai metode pra-pemrosesan yang berguna untuk sistem filter otomatis tradisional, dan memberikan hasil eksperimen pada sejumlah kumpulan data, termasuk Penyaringan kolaboratif berbasis pengguna (UBCF), Penyaringan kolaboratif berbasis item (IBCF), Faktorisasi Matriks (MF-eALS), Peringkat yang dipersonalisasi Bayesian (MF-BPR), dan Pemfilteran Kolaborasi Neural (NCF).

Dalam hal Rasio Hit (SDM) dan Keuntungan Kumulatif Diskon yang Dinormalisasi (NDCG) dalam hasil augmentasi yang diuji ini, penulis menyatakan:

'Di antara keempat set data, MMD meningkatkan model rekomendasi secara signifikan dalam hal SDM dan NDCG. Secara khusus, MMD dapat meningkatkan kinerja SDM rata-rata 28.7% dan HDCG rata-rata 17.3%.

'Dengan menghapus pengguna jahat profesional, MMD dapat meningkatkan kualitas kumpulan data. Tanpa palsu pengguna jahat profesional ini [masukan], dataset menjadi lebih banyak [intuitif].'

Grafik kertas berjudul Mendeteksi Pengguna Berbahaya Profesional dengan Pembelajaran Metrik di Sistem Rekomendasis, dan berasal dari para peneliti di Departemen Ilmu dan Teknologi Komputer di Universitas Jilin; Lab Kunci Pemrosesan Informasi Cerdas Akademi Ilmu Pengetahuan Tiongkok di Beijing; dan Sekolah Bisnis di Rutgers di New Jersey.

Data dan Pendekatan

Mendeteksi PMU merupakan tantangan multimodal, karena dua parameter yang tidak setara (bintang nilai numerik/peringkat desimal dan ulasan berbasis teks) harus dipertimbangkan. Para penulis makalah baru menegaskan bahwa tidak ada karya sebelumnya yang membahas tantangan ini.

MMD mempekerjakan a Jaringan saraf berulang perhatian ganda hierarkis (HDAN) untuk mengasimilasi konten ulasan ke dalam skor sentimen.

HDAN menggunakan mekanisme perhatian untuk memberikan bobot pada setiap kata, dan pada setiap kalimat. Pada gambar di atas, penulis menyatakan, kata lebih miskin jelas harus diberikan bobot yang lebih besar daripada kata-kata yang bersaing dalam ulasan.

Untuk proyek tersebut, HDAN mengambil peringkat untuk produk di empat kumpulan data sebagai kebenaran dasar. Datasetnya adalah  Amazon.com; Yelp untuk RecSys (2013); dan dua kumpulan data 'dunia nyata' (bukan eksperimental), dari Taobao dan Jindong.

MMD memanfaatkan Pembelajaran Metrik, yang berupaya memperkirakan jarak yang akurat antar entitas untuk mengkarakterisasi keseluruhan kelompok hubungan dalam data.

MMD dimulai dengan a pengkodean satu-panas untuk memilih pengguna dan item, melalui Model Faktor Laten (LFM), yang memperoleh skor peringkat dasar. Sementara itu, HDAN memproyeksikan konten ulasan ke dalam skor sentimen sebagai data tambahan.

Hasilnya kemudian diolah menjadi model Malicious User Profiling (MUP), yang menghasilkan vektor kesenjangan sentimen – perbedaan antara rating dan perkiraan skor sentimen dari konten teks ulasan. Dengan cara ini, untuk pertama kalinya, PMU dapat dikategorikan dan diberi label.

Pembelajaran Metrik untuk Pengelompokan (MLC) menggunakan label keluaran ini untuk menetapkan metrik yang akan digunakan untuk menghitung kemungkinan ulasan pengguna yang berbahaya.

Tes Manusia

Selain hasil kuantitatif yang dirinci di atas, para peneliti melakukan studi pengguna yang menugaskan 20 siswa untuk mengidentifikasi ulasan jahat, hanya berdasarkan konten dan peringkat bintang. Para peserta diminta untuk menilai ulasan sebagai 0 (untuk pengulas 'normal') atau 1 (untuk pengguna jahat profesional).

Dari pembagian 50/50 antara ulasan normal dan jahat, rata-rata para siswa melabeli 24 pengguna yang benar-benar positif dan 24 pengguna yang benar-benar negatif. Sebagai perbandingan, MMD mampu memberi label rata-rata 23 pengguna yang benar-benar positif dan 24 pengguna yang benar-benar negatif, yang beroperasi hampir pada ketajaman tingkat manusia, dan melampaui batas dasar untuk tugas tersebut.

Penulis menyimpulkan:

'Intinya, MMD adalah solusi generik, yang tidak hanya dapat mendeteksi pengguna jahat profesional yang dieksplorasi dalam makalah ini, tetapi juga berfungsi sebagai dasar umum untuk deteksi pengguna berbahaya. Dengan lebih banyak data, seperti gambar, video, atau suara, ide MMD dapat menjadi pelajaran untuk mendeteksi kesenjangan sentimen antara judul dan kontennya, yang memiliki masa depan cerah untuk melawan strategi penyamaran yang berbeda dalam aplikasi yang berbeda.'

 

Pertama kali diterbitkan 20 Mei 2022.