Phát hiện ‘Chuyên nghiệp’ Đánh giá Trực tuyến Malicious với Học máy

Một nghiên cứu hợp tác mới giữa Trung Quốc và Mỹ cung cấp một cách để phát hiện đánh giá thương mại điện tử恶意 được thiết kế để phá hoại đối thủ cạnh tranh hoặc để tạo điều kiện cho việc tống tiền, bằng cách tận dụng hành vi đặc trưng của những người đánh giá như vậy.

Hệ thống, có tên mô hình phát hiện người dùng恶意 (MMD), sử dụng Học Metric, một kỹ thuật thường được sử dụng trong thị giác máy tính và hệ thống khuyến nghị, cùng với một Mạng nơ-ron hồi quy (RNN), để xác định và gắn nhãn đầu ra của những người đánh giá như vậy, mà bài báo đặt tên là Người dùng Malicious Chuyên nghiệp (PMUs).

Tuyệt vời! 1 sao

Hầu hết các đánh giá thương mại điện tử trực tuyến cung cấp hai hình thức phản hồi của người dùng: xếp hạng sao (hoặc xếp hạng 10) và đánh giá dựa trên văn bản, và trong trường hợp điển hình, những điều này sẽ tương ứng logic (tức là một đánh giá xấu sẽ đi kèm với xếp hạng thấp).

PMUs, tuy nhiên, thường xuyên phá vỡ logic này, bằng cách để lại một đánh giá văn bản xấu với xếp hạng cao, hoặc xếp hạng thấp đi kèm với một đánh giá tốt.

Điều này cho phép đánh giá của người dùng gây ra thiệt hại về danh tiếng mà không kích hoạt các bộ lọc tương đối đơn giản được triển khai bởi các trang web thương mại điện tử để xác định và giải quyết đầu ra của các nhà đánh giá tiêu cực恶意. Nếu một bộ lọc dựa trên Xử lý Ngôn ngữ Tự nhiên (NLP) xác định lời lẽ trong văn bản của một đánh giá, ‘cờ’ này hiệu quả bị hủy bỏ bởi xếp hạng sao (hoặc thập phân) cao mà PMU cũng đã chỉ định, hiệu quả làm cho nội dung恶意 ‘trung lập’, từ quan điểm thống kê.

Một ví dụ về cách một đánh giá恶意 có thể được kết hợp, thống kê, với các đánh giá thực sự, từ quan điểm của một hệ thống lọc cộng tác đang cố gắng xác định hành vi như vậy. Nguồn: https://arxiv.org/pdf/2205.09673.pdf

Bài báo mới lưu ý rằng ý định của một PMU thường là để tống tiền tiền từ các nhà bán lẻ trực tuyến để sửa đổi các đánh giá tiêu cực, và/hoặc một lời hứa để đăng không thêm đánh giá tiêu cực. Trong một số trường hợp, các diễn viên là ad hoc cá nhân đang tìm kiếm giảm giá, mặc dù thường PMU đang được sử dụng một cách tự phát bởi các đối thủ cạnh tranh của nạn nhân.

Cloaking Đánh giá Tiêu cực

Thế hệ hiện tại của các bộ phát hiện tự động cho các đánh giá như vậy sử dụng Lọc Cộng tác hoặc mô hình dựa trên nội dung, và đang tìm kiếm các ‘dị thể’ rõ ràng và không mơ hồ – các đánh giá đều tiêu cực trên cả hai phương thức phản hồi, và phân kỳ đáng kể từ xu hướng chung của tình cảm đánh giá và xếp hạng.

Chữ ký cổ điển khác mà các bộ lọc này dựa vào là tần suất đăng bài cao, trong khi PMU sẽ đăng bài chiến lược và chỉ thỉnh thoảng (vì mỗi đánh giá có thể đại diện cho một ủy thác cá nhân, hoặc một giai đoạn trong một chiến lược dài hơn được thiết kế để che giấu ‘tần suất’ chỉ số).

Do đó, các nhà nghiên cứu của bài báo mới đã tích hợp tính cực kỳ của các đánh giá恶意 chuyên nghiệp vào một hệ thống chuyên dụng, dẫn đến một thuật toán gần như ngang bằng với khả năng của một người đánh giá để ‘ngửi thấy một con chuột’ tại sự chênh lệch giữa xếp hạng và nội dung văn bản của đánh giá.

Kiến trúc khái niệm cho MMD, bao gồm hai mô-đun trung tâm: Hồ sơ Người dùng Malicious (MUP) và Học Metric Chú ý (MLC, màu xám).

So sánh với Các Phương pháp Trước đó

Vì MMD là, theo các tác giả, hệ thống đầu tiên cố gắng xác định PMUs dựa trên phong cách đăng bài phân liệt của chúng, không có công việc trước đó để so sánh nó. Do đó, các nhà nghiên cứu đã đặt hệ thống của mình chống lại một số thuật toán thành phần mà các bộ lọc tự động truyền thống thường phụ thuộc, bao gồm K-means++ Clustering; Statistic Outlier Detection (SOD) lâu đời; Hysad; Semi-sad; CNN-sad; và Slanderous user Detection Recommender System (SDRS).

Được thử nghiệm chống lại các tập dữ liệu được gắn nhãn từ Amazon [securities_stock_price_tag symbol="amzn" exchange="nasdaq"] và Yelp, MMD có thể xác định các người dùng恶意 trực tuyến chuyên nghiệp với tỷ lệ chính xác cao nhất, theo các tác giả. Đậm đại diện cho MMD, trong khi dấu asterisk (*) chỉ ra hiệu suất tốt nhất. Trong trường hợp này, MMD chỉ bị đánh bại trong hai nhiệm vụ, bởi một công nghệ độc lập (MUP) đã được tích hợp vào nó, nhưng không được công cụ mặc định cho nhiệm vụ tại tay.

Trong trường hợp này, MMD được đặt chống lại các tập dữ liệu không được gắn nhãn từ Taobao và Jindong, làm cho nó hiệu quả là một nhiệm vụ học không giám sát. Một lần nữa, MMD chỉ được cải thiện bởi một trong những công nghệ thành phần của nó, được thích nghi cao cho nhiệm vụ vì mục đích thử nghiệm.

Các nhà nghiên cứu quan sát:

‘[Trên] tất cả bốn tập dữ liệu, mô hình đề xuất của chúng tôi MMD (MLC+MUP) vượt trội so với tất cả các baseline về mặt F-score. Lưu ý rằng MMD là một sự kết hợp của MLC và MUP, điều này đảm bảo sự vượt trội của nó so với các mô hình giám sát và không giám sát nói chung.’

Bài báo cũng đề xuất rằng MMD có thể phục vụ như một phương pháp tiền xử lý hữu ích cho các hệ thống lọc tự động truyền thống, và cung cấp các kết quả thử nghiệm trên một số tập dữ liệu, bao gồm Lọc Cộng tác Dựa trên Người dùng (UBCF), Lọc Cộng tác Dựa trên Mục (IBCF), Ma trận Phân tích (MF-eALS), Xếp hạng Cá nhân hóa Bayesian (MF-BPR), và Lọc Cộng tác Neural (NCF).

Về Tỷ lệ Hit (HR) và Lợi ích Tích lũy Discounted Chuẩn hóa (NDCG) trong kết quả của những lần tăng cường này, các tác giả tuyên bố:

‘Trong tất cả bốn tập dữ liệu, MMD cải thiện các mô hình khuyến nghị đáng kể về mặt HR và NDCG. Cụ thể, MMD có thể tăng cường hiệu suất của HR trung bình 28,7% và NDCG trung bình 17,3%. ‘

‘Bằng cách xóa người dùng恶意 chuyên nghiệp, MMD có thể cải thiện chất lượng của các tập dữ liệu. Không có phản hồi giả của những người dùng恶意 chuyên nghiệp này, tập dữ liệu trở nên trực quan hơn.’

Bài báo được đặt tên Phát hiện Người dùng Malicious Chuyên nghiệp với Học Metric trong Hệ thống Khuyến nghị, và đến từ các nhà nghiên cứu tại Bộ phận Khoa học Máy tính và Công nghệ tại Đại học Jilin; Phòng thí nghiệm Chìa khóa về Xử lý Thông tin Thông minh của Viện Hàn lâm Khoa học Trung Quốc tại Bắc Kinh; và Trường Kinh doanh tại Rutgers ở New Jersey.

Dữ liệu và Phương pháp

Phát hiện PMUs là một thách thức đa phương thức, vì hai tham số không tương đương (xếp hạng số thập phân và đánh giá dựa trên văn bản) phải được xem xét. Các tác giả của bài báo mới khẳng định rằng không có công việc trước đó đã giải quyết thách thức này.

MMD sử dụng một Mạng nơ-ron Hồi quy Chú ý Đôi (HDAN) để hấp thụ nội dung đánh giá vào một điểm số tình cảm.

Đưa một đánh giá vào một điểm số tình cảm với HDAN, điều này đóng góp vào việc nhúng từ và nhúng câu để có được một điểm số tình cảm.

HDAN sử dụng các cơ chế chú ý để gán trọng số cho mỗi từ, và cho mỗi câu. Trong hình ảnh trên, các tác giả tuyên bố, từ poorer rõ ràng nên được gán trọng số lớn hơn so với các từ cạnh tranh trong đánh giá.

Đối với dự án, HDAN đã lấy xếp hạng cho sản phẩm trên bốn tập dữ liệu làm sự thật. Các tập dữ liệu là Amazon.com; Yelp cho RecSys (2013); và hai ‘thế giới thực’ (thay vì thử nghiệm) tập dữ liệu, từ Taobao và Jindong.

MMD tận dụng Học Metric, điều này cố gắng ước tính một khoảng cách chính xác giữa các thực thể để đặc trưng hóa nhóm mối quan hệ tổng thể trong dữ liệu.

MMD bắt đầu với một mã hóa một nóng để chọn người dùng và mục, thông qua một Mô hình Yếu tố Latent (LFM), điều này có được một điểm số xếp hạng cơ bản. Trong khi đó, HDAN đưa nội dung đánh giá vào điểm số tình cảm như dữ liệu phụ.

Kết quả sau đó được xử lý thành một mô hình Hồ sơ Người dùng Malicious (MUP), điều này đưa ra vector khoảng cách tình cảm – sự chênh lệch giữa xếp hạng và điểm số tình cảm ước tính của nội dung văn bản của đánh giá. Theo cách này, lần đầu tiên, PMUs có thể được phân loại và gắn nhãn.

Học Metric Chú ý cho việc phân cụm.