Xác định lại người bình luận trên mạng xã hội bị cấm với Máy học

Những nhà nghiên cứu từ Đại học John Hopkins đã phát triển một phương pháp Deep Metric để xác định những người bình luận trực tuyến có thể đã có tài khoản bị đình chỉ trước đó, hoặc có thể đang sử dụng nhiều tài khoản để thao túng hoặc ảnh hưởng đến cộng đồng trực tuyến như Reddit và Twitter.

Phương pháp, được trình bày trong một bài báo mới do NLP Researcher Aleem Khan dẫn đầu, không yêu cầu dữ liệu đầu vào phải được chú thích tự động hoặc thủ công, và cải thiện kết quả của các nỗ lực trước đó ngay cả khi chỉ có mẫu văn bản nhỏ và văn bản không có trong tập dữ liệu tại thời điểm đào tạo.

Hệ thống cung cấp một lược đồ tăng cường dữ liệu đơn giản, với các bản nhúng có kích thước khác nhau được đào tạo trên một tập dữ liệu lớn chứa hơn 300 triệu bình luận bao gồm một triệu tài khoản người dùng khác nhau.

Cấu trúc mô hình của hệ thống xác định lại John Hopkins, nơi các thành phần thiết yếu là 1) nội dung văn bản, 2) tính năng sub-Reddit và 3) thời gian xuất bản. Nguồn: https://arxiv.org/pdf/2105.07263.pdf

Khung khổ, dựa trên dữ liệu sử dụng Reddit, xem xét nội dung văn bản, vị trí sub-Reddit và thời gian xuất bản. Ba yếu tố này được kết hợp với các phương pháp nhúng đa dạng, bao gồm cả một chiều convolutions và các phép chiếu tuyến tính, và được hỗ trợ bởi một cơ chế chú ý và một lớp pooling tối đa.

Mặc dù hệ thống tập trung vào lĩnh vực văn bản, các nhà nghiên cứu cho rằng phương pháp của nó có thể được chuyển đổi sang phân tích video hoặc hình ảnh, vì thuật toán được suy dẫn hoạt động trên tần suất xuất hiện ở mức cao, bất kể chiều dài đầu vào của các điểm dữ liệu đào tạo.

Tránh ‘Sự trôi dạt chủ đề’

Một cái bẫy mà nghiên cứu này có thể gặp phải, và mà các tác giả đã giải quyết rõ ràng trong thiết kế của hệ thống, là đặt quá nhiều trọng tâm vào sự tái xuất hiện của các chủ đề hoặc chủ đề cụ thể trên các bài đăng từ các tài khoản khác nhau.

Mặc dù một người dùng có thể thực sự viết lặp lại hoặc lặp lại trong một dòng suy nghĩ cụ thể, chủ đề có thể sẽ phát triển và ‘trôi dạt’ theo thời gian, làm giảm giá trị của nó như một khóa để xác định. Các tác giả mô tả cái bẫy tiềm năng này là ‘đúng vì lý do sai’ – một cái bẫy trước đó đã được nghiên cứu tại John Hopkins.

Phương pháp đào tạo

Hệ thống sử dụng đào tạo chính xác hỗn hợp, một đổi mới được trình bày vào năm 2018 bởi Baidu và NVIDIA (NVDA ), cắt giảm yêu cầu bộ nhớ một nửa bằng cách sử dụng các giá trị dấu phẩy động chính xác một nửa: 16 bit thay vì 32 bit. Dữ liệu được đào tạo trên hai V100 GPU, với thời gian đào tạo trung bình là 72 giờ.

Lược đồ sử dụng mã hóa văn bản đơn giản, với các bộ mã hóa convolutional bị giới hạn ở 2-4 subwords. Mặc dù chiều dài trung bình cho các khung khổ này là tối đa năm subwords, các nhà nghiên cứu phát hiện ra rằng sự tiết kiệm này không chỉ không ảnh hưởng đến hiệu suất xếp hạng, mà còn làm giảm độ chính xác của xếp hạng khi tăng subwords lên tối đa năm.

Tập dữ liệu

Các nhà nghiên cứu đã suy dẫn một tập dữ liệu gồm 300 triệu bài đăng Reddit từ tập dữ liệu Pushshift Reddit Corpus năm 2020, gọi là Tập dữ liệu Người dùng Một triệu (MUD).

Tập dữ liệu bao gồm tất cả các bài đăng của các tác giả Reddit đã xuất bản 100-1000 bài đăng giữa tháng 7 năm 2015 và tháng 6 năm 2016. Việc lấy mẫu theo thời gian như vậy cung cấp một chiều dài lịch sử đủ cho nghiên cứu, và giảm tác động của các bài đăng spam không thường xuyên không nằm trong phạm vi mục tiêu của nghiên cứu.

Thống kê về tập dữ liệu được suy dẫn cho dự án xác định lại John Hopkins.

Kết quả

Hình ảnh dưới đây cho thấy sự cải thiện tích lũy của kết quả khi độ chính xác của xếp hạng được kiểm tra tại các khoảng thời gian một giờ trong đào tạo. Sau sáu giờ, hệ thống vượt qua các thành tựu cơ bản của các sáng kiến trước đó có liên quan.

Trong một nghiên cứu ablation, các nhà nghiên cứu phát hiện ra rằng việc loại bỏ tính năng sub-Reddit khỏi công việc có tác động bất ngờ rất nhỏ đến độ chính xác của xếp hạng, cho thấy rằng hệ thống tổng quát hóa rất hiệu quả, với công cụ tính năng mạnh mẽ.

Tần suất đăng bài như một chữ ký xác định lại

Điều này cũng cho thấy rằng khung khổ có thể chuyển giao rất cao đến các hệ thống bình luận hoặc xuất bản khác nơi chỉ có nội dung văn bản và ngày/giờ xuất bản có sẵn – và về cơ bản, tần suất đăng bài là một dấu hiệu phụ hữu ích cho nội dung văn bản thực tế.

Các nhà nghiên cứu lưu ý rằng việc cố gắng thực hiện ước tính tương tự trong nội dung của một sub-Reddit duy nhất đặt ra một thách thức lớn hơn, vì sub-Reddit bản thân nó đóng vai trò như một đại diện chủ đề, và một lược đồ bổ sung sẽ cần được yêu cầu để lấp đầy vai trò này.

Nghiên cứu vẫn có thể đạt được kết quả đầy hứa hẹn trong những hạn chế này, với điều kiện duy nhất là hệ thống hoạt động tốt hơn ở các khối lượng lớn, và có thể gặp khó khăn khi xác định lại người dùng khi khối lượng bài đăng thấp.

Phát triển công việc

Ngược lại với nhiều sáng kiến học có giám sát, các tính năng trong lược đồ xác định lại Hopkins là rời rạc và mạnh mẽ đến mức hiệu suất của hệ thống cải thiện đáng kể khi khối lượng dữ liệu tăng lên.

Các nhà nghiên cứu bày tỏ sự quan tâm đến việc phát triển hệ thống bằng cách áp dụng một cách tiếp cận chi tiết hơn để phân tích thời gian xuất bản, vì các lịch trình thường có thể đoán trước của các spammer tự động (hoặc không) dễ bị xác định bởi cách tiếp cận như vậy, và điều này sẽ làm cho nó có thể loại bỏ nội dung robot khỏi một nghiên cứu chủ yếu nhằm vào người dùng khó chịu, hoặc giúp xác định nội dung tự động.

trên các lần, vì các lịch trình thường có thể đoán trước của các spammer tự động (hoặc không) dễ bị xác định bởi cách tiếp cận như vậy, và điều này sẽ làm cho nó có thể loại bỏ nội dung robot khỏi một nghiên cứu chủ yếu nhằm vào người dùng khó chịu, hoặc giúp xác định nội dung tự động.