Profesyonel Kötü Niyetli Çevrimiçi İncelemeleri Makine Öğrenimi ile Tespit Etme

Çin ve ABD arasındaki yeni bir araştırma işbirliği, rakipleri zayıflatmak veya şantaj yapmak için tasarlanmış kötü niyetli e-ticaret incelemelerini, böyle yapan inceleyicilerin davranış özelliklerini kullanarak tespit etme yöntemi sunuyor.

Sistem, kötü niyetli kullanıcı algılama modeli (MMD) olarak adlandırılıyor ve Metric Learning tekniğini, bilgisayar görüşü ve öneri sistemleri gibi alanlarda yaygın olarak kullanılan bir yöntem olarak, bir Recurrent Neural Network (RNN) ile birlikte, böyle yapan inceleyicilerin çıktılarını tanımlamak ve etiketlemek için kullanıyor. Bu makalede, bu tür kullanıcılar Profesyonel Kötü Niyetli Kullanıcılar (PMU) olarak adlandırılıyor.

Harika! 1 yıldız

Çevrimiçi e-ticaret incelemelerinin çoğu, iki tür kullanıcı geri bildirimi sağlar: yıldız puanı (veya 10 üzerinden puan) ve metin tabanlı inceleme. Tipik bir durumda, bunlar mantıksal olarak birbirini takip eder (örneğin, kötü bir inceleme düşük bir puanla eşlik eder).

PMU’lar ise, genellikle bu mantığı bozarlar. Ya kötü metin incelemesiyle yüksek puan bırakırlar ya da düşük puanla iyi inceleme bırakırlar.

Bu, kullanıcıların incelemesinin itibar hasarına neden olmasını sağlar, ancak e-ticaret siteleri tarafından kötü niyetli olumsuz incelemeleri tespit etmek için kullanılan göreceli olarak basit filtreleri tetiklemez. Doğal Dil İşleme (NLP) tabanlı bir filtre, inceleme metninde hakaret tespit ederse, bu ‘bayrak’ PMU tarafından da verilen yüksek yıldız (veya ondalık) puan tarafından etkili bir şekilde iptal edilir ve bu şekilde kötü niyetli içeriği istatistiksel olarak ‘nötr’ hale getirir.

Bir işbirliği filtreleme sisteminin bakış açısına göre, gerçek incelemelerle istatistiksel olarak karıştırılan bir kötü niyetli inceleme örneği. Kaynak: https://arxiv.org/pdf/2205.09673.pdf

Yeni makale, PMU’ların amacı souvent online perakendecilerden, olumsuz incelemelerin değiştirilmesi veya gelecekte olumsuz inceleme yapılmaması karşılığında para talep etmektir. Bazı durumlarda, bu aktörler ad hoc bireylerdir ve indirim ararlar, ancak genellikle PMU, kurbanın rakipleri tarafından gayriresmi olarak istihdam edilir.

Olumsuz İncelemeleri Gizleme

Mevcut nesil otomatik dedektörler, böyle incelemeleri tespit etmek için İşbirliği Filtreleme veya içerik tabanlı model kullanır ve açık ve net ‘aykırı’ değerleri arar – her iki geri bildirim yöntemi açısından uniform olarak olumsuz olan ve genel inceleme sentimenti ve puanından önemli ölçüde farklı olan incelemeler.

Bu filtrelerin odaklandığı diğer klasik imza, yüksek yayın sıklığıdır, oysa bir PMU, stratejik olarak ve yalnızca ara sıra yayınlar (her inceleme, bireysel bir komisyonu veya ‘sıklık’ ölçütünü bulanıklaştırmaya yönelik daha uzun bir stratejinin bir aşamasını temsil edebilir).

Bu nedenle, yeni makalenin yazarları, profesyonel kötü niyetli incelemelerin tuhaf polaritesini, insan inceleyicilerin puan ve inceleme metni içeriği arasındaki uyumsuzluğu ‘koku alma’ yeteneğine neredeyse eşit bir algoritmaya sahip bir sisteme entegre etti.

MMD’nin kavramsal mimarisi: İki merkezi modül – Kötü Niyetli Kullanıcı Profili (MUP) ve Dikkatli Metric Öğrenimi (MLC, gri renkte).

Önceki Yaklaşımlarla Karşılaştırma

MMD, yazarlara göre, şizofrenik yayın stilini temel alarak PMU’ları tanımlamaya çalışan ilk sistemdir, bu nedenle bunu önceki çalışmalarla karşılaştırmak mümkün değildir. Bu nedenle, araştırmacılar, geleneksel otomatik filtrelerin sıkça güvendiği bir dizi algoritmaya karşı sistemlerini test ettiler: K-means++ Kümeleme; Statistik Aykırı Değer Tespiti (SOD); Hysad; Semi-sad; CNN-sad; ve İftira Kullanıcı Tespit Öneri Sistemi (SDRS).

Amazon ve Yelp’ten etiketli veri setlerine karşı test edilen MMD, yazarlara göre, profesyonel çevrimiçi eleştirmenleri en yüksek doğruluk oranıyla tespit edebiliyor. Kalın, MMD’yi ve asterisk (*) en iyi performansı gösterir.

Bu durumda, MMD, Taobao ve Jindong’dan etiketlenmemiş veri setlerine karşı test edildi, bu da aslında gözetimsiz öğrenme görevi haline geldi. Yine, MMD yalnızca kendi bileşen teknolojilerinden biri tarafından, görev için özel olarak uyarlanmış olarak aşıldı.

Araştırmacılar gözlemliyor:

‘Tüm dört veri setinde, önerilen modelimiz MMD (MLC+MUP), F-puanı açısından tüm temel modelleri geride bırakıyor. MMD, MLC ve MUP’nin birleşimidir, bu da genel olarak denetimli ve denetimsiz modeller üzerinde üstünlüğünü sağlar.’

Makale ayrıca, MMD’nin geleneksel otomatik filtre sistemleri için faydalı bir ön işleme yöntemi olarak hizmet edebileceğini ve çeşitli veri setleri üzerinde deneysel sonuçlar sunduğunu belirtiyor, bunlar arasında Kullanıcı Tabanlı İşbirliği Filtreleme (UBCF), Öğe Tabanlı İşbirliği Filtreleme (IBCF), Matris Faktörleme (MF-eALS), Bayes Kişisel Sıralama (MF-BPR) ve Sinirsel İşbirliği Filtreleme (NCF) bulunuyor.

Bu test edilen eklemelerin sonuçlarında, Vuruş Oranı (HR) ve Normalleştirilmiş İndirgenmiş Toplu Kazanç (NDCG) açısından, yazarlar şunları belirtiyorlar:

‘Tüm dört veri setinde, MMD, HR ve NDCG açısından öneri modellerini önemli ölçüde geliştiriyor. Özellikle, MMD, HR’yi ortalama %28,7 ve NDCG’yi ortalama %17,3 oranında artırabilir.

‘Profesyonel kötü niyetli kullanıcıları silerek, MMD veri setlerinin kalitesini geliştirebilir. Bu profesyonel kötü niyetli kullanıcıların sahte geri bildirimleri olmadan, veri seti daha anlaşılır hale gelir.’

Makale, Öneri Sistemlerinde Metric Öğrenimi ile Profesyonel Kötü Niyetli Kullanıcı Tespiti olarak adlandırılmış ve Jilin Üniversitesi Bilgisayar Bilimi ve Teknoloji Bölümü, Çin Bilimsel Akademisi’nin Akıllı Bilgi İşleme Anahtar Laboratuvarı ve New Jersey’deki Rutgers İşletme Okulu’ndan araştırmacılardan geliyor.

Veri ve Yaklaşım

PMU’ları tespit etmek, iki eşdeğer olmayan parametre (numerik değer yıldız/onluk puan ve metin tabanlı inceleme) dikkate alınarak çok modelli bir zorluktur. Makalenin yazarları, bu zorluğun daha önce ele alınıp alınmadığını belirtmiyorlar.

MMD, inceleme içeriğini bir sentiment puanına dönüştürmek için Hiyerarşik Çift Dikkatli Tekrarlı Sinir Ağı (HDAN) kullanıyor.

HDAN ile bir inceleme sentiment puanına dönüştürülüyor, bu da kelime gömme ve cümle gömme yoluyla sentiment puanı elde ediyor.

HDAN, her kelimeye ve her cümleye dikkat mekanizmaları kullanarak ağırlıklar atar. Yukarıdaki resimde, yazarlar, daha kötü kelimesinin açıkça diğer kelimelerden daha büyük ağırlık verilmesi gerektiğini belirtiyorlar.

Proje için, HDAN, dört veri setindeki ürün puanlarını temel gerçeklik olarak aldı. Veri setleri Amazon.com; Yelp için RecSys (2013); ve iki ‘gerçek dünya’ (deneysel olmayan) veri setleri, Taobao ve Jindong’dan geldi.

MMD, varlıklar arasındaki doğru mesafeyi tahmin etmeye çalışan Metric Öğrenimi kullanıyor, bu da veri setlerindeki genel ilişki grubunu karakterize ediyor.

MMD, bir one-hot encoding ile başlar, bir Gizli Faktör Modeli (LFM) kullanarak kullanıcıyı ve öğeyi seçer ve temel bir puan puanı alır. Aynı zamanda, HDAN inceleme içeriğini sentiment puanına dönüştürür ve ek veri olarak işler.

Sonuçlar daha sonra Kötü Niyetli Kullanıcı Profili (MUP) modeline işlenir, bu da sentiment aralığı vektörü olan puan ve inceleme metni sentiment puanı arasındaki uyumsuzluğu verir. Bu şekilde, ilk kez PMU’lar kategorilere ayrılabilir ve etiketlenebilir.

Kümeleme için Dikkatli Metric Öğrenimi.

Metric Öğrenimi için Kümeleme (MLC), bu çıktı etiketlerini, bir kullanıcı inceleminin kötü niyetli olma olasılığını hesaplamak için bir metric olarak kullanır.

İnsan Testleri

Yukarıda belirtilen nicel sonuçlara ek olarak, araştırmacılar bir kullanıcı çalışması yaptı ve 20 öğrenciye, yalnızca inceleme içeriği ve yıldız puanına dayanarak kötü niyetli incelemeleri tanımlama görevi verdi. Katılımcılardan, incelemeleri 0 (normal inceleyiciler için) veya 1 (profesyonel kötü niyetli kullanıcı için) olarak değerlendirmeleri istendi.

50/50 normal ve kötü niyetli inceleme karışımında, öğrenciler ortalama 24 doğru pozitif ve 24 doğru negatif kullanıcıyı etiketledi. Karşılaştırıldığında, MMD de ortalama 23 doğru pozitif ve 24 doğru negatif kullanıcıyı etiketledi, neredeyse insan düzeyinde ayırt edilebilirlik gösterdi ve görev için temel modelleri aştı.

Öğrenciler vs. MMD. Asterisk (*) en iyi sonuçları, kalın MMD sonuçlarını gösterir.

Yazarlar şöyle sonuçlandırıyor:

‘Aslında, MMD, bu makalede araştırılan profesyonel kötü niyetli kullanıcıları yalnızca tespit etmekle kalmaz, aynı zamanda genel bir kötü niyetli kullanıcı tespiti için temel oluşturabilir. Daha fazla veri (örneğin, resim, video veya ses) ile, MMD fikri, başlıkları ve içerikleri arasındaki sentiment aralığını tespit etmek için rehberlik edebilir, bu da farklı uygulamalarda farklı maskleme stratejilerine karşı gelecekte parlak bir gelecek vaat eder.’

İlk olarak 20 Mayıs 2022’de yayınlandı.