การตรวจจับรีวิวออนไลน์ที่มีเจตนาร้ายแบบมืออาชีพด้วยการเรียนรู้ของเครื่อง

การวิจัยร่วมใหม่ระหว่างจีนและสหรัฐฯ เสนอวิธีการตรวจจับมีเจตนาร้ายเรวิวอีคอมเมิร์ซที่ออกแบบมาเพื่อทำลายคู่แข่งหรือเอื้อต่อการข่มขู่เรียกเงินโดยใช้พฤติกรรมเฉพาะของนักวิจารณ์

ระบบที่มีชื่อว่า โมเดลการตรวจจับผู้ใช้มีเจตนาร้าย (MMD) ใช้ การเรียนรู้เมตริก เทคนิคที่ใช้ ทั่วไป ในการมองเห็นของคอมพิวเตอร์และ ระบบแนะนำ ร่วมกับ เครือข่ายประสาทเทียมแบบวนกลับ (RNN) เพื่อระบุและป้ายกำกับผลลัพธ์ของผู้วิจารณ์เหล่านี้ ซึ่งบทความนี้เรียกว่า ผู้ใช้มีเจตนาร้ายแบบมืออาชีพ (PMUs)

ดีมาก! 1 ดาว

การวิจารณ์ออนไลน์โดยทั่วไปจะให้ข้อมูลสองแบบ: คะแนนดาว (หรือคะแนน 10) และการวิจารณ์แบบข้อความ และในกรณีทั่วไป สิ่งเหล่านี้จะสอดคล้องกันเชิงตรรกะ (เช่น การวิจารณ์ที่ไม่ดีจะมาพร้อมคะแนนต่ำ)

PMUs อย่างไรก็ตาม มักจะบิดเบือนตรรกะนี้โดยการปล่อยการวิจารณ์ข้อความที่ไม่ดีพร้อมคะแนนสูง หรือคะแนนที่ไม่ดีพร้อมการวิจารณ์ที่ดี

สิ่งนี้ทำให้การวิจารณ์ของผู้ใช้สามารถก่อให้เกิดความเสียหายต่อชื่อเสียงได้โดยไม่ต้องกระตุ้นฟิลเตอร์แบบง่ายๆ ที่ใช้โดยเว็บไซต์อีคอมเมิร์ซเพื่อระบุและจัดการกับผลลัพธ์ของผู้วิจารณ์ที่มีเจตนาร้าย หากฟิลเตอร์โดยใช้การประมวลผลภาษาธรรมชาติ (NLP) ระบุคำพูดที่ไม่ดีในข้อความของการวิจารณ์ ‘ธง’ นี้จะถูกยกเลิกโดยคะแนนดาวสูง (หรือทศนิยม) ที่ PMU ก็ได้กำหนดเช่นกัน ทำให้เนื้อหาที่มีเจตนาร้าย ‘เป็นกลาง’ จากมุมมองทางสถิติ

ตัวอย่างของวิธีการวิจารณ์ที่มีเจตนาร้ายสามารถผสมผสานกับการวิจารณ์ที่แท้จริงจากมุมมองของระบบการกรองแบบร่วมที่พยายามระบุพฤติกรรมนี้ แหล่งที่มา: https://arxiv.org/pdf/2205.09673.pdf

การวิจัยใหม่ระบุว่าจุดประสงค์ของ PMU มักจะข่มขู่เงินจากผู้ค้าปลีกออนไลน์เป็นการตอบแทนการแก้ไขการวิจารณ์ที่ไม่ดีและ/หรือสัญญาว่าจะไม่โพสต์การวิจารณ์ที่ไม่ดีอีกต่อไป ในบางกรณี ผู้กระทำอาจเป็น บุคคล ad hoc ที่ ต้องการส่วนลด แม้ว่าบ่อยครั้ง PMU จะถูก จ้างงานโดยไม่เป็นทางการ โดยคู่แข่งของเหยื่อ

การปกปิดการวิจารณ์เชิงลบ

เครื่องตรวจจับการวิจารณ์ที่มีเจตนาร้ายแบบอัตโนมัติปัจจุบันใช้การกรองแบบร่วมหรือ แบบจำลองเนื้อหาฐาน และกำลังมองหานักวิจารณ์ที่ไม่ดีและชัดเจน – การวิจารณ์ที่ไม่ดีแบบทั่วไปทั้งสองวิธีการให้ข้อมูล และที่แตกต่างอย่างมากจากแนวโน้มทั่วไปของการวิจารณ์และคะแนน

อีกหนึ่งลายเซ็นคลาสสิกที่ฟิลเตอร์เหล่านี้พึ่งพาคือความถี่ในการโพสต์ที่สูง ในขณะที่ PMU จะโพสต์เชิงกลยุทธ์และไม่บ่อยนัก (เนื่องจากการวิจารณ์แต่ละครั้งอาจเป็นตัวแทนของการว่าจ้างรายบุคคลหรือเป็นขั้นตอนหนึ่งในกลยุทธ์ที่ยาวกว่าเพื่อทำให้ ‘ความถี่’ มาตรการเบลอ)

ดังนั้นผู้วิจัยในบทความใหม่จึงรวมความขัดแย้งของการวิจารณ์ที่มีเจตนาร้ายแบบมืออาชีพเข้ากับระบบที่เฉพาะเจาะจง ซึ่งนำไปสู่อัลกอริทึมที่เกือบเทียบเท่ากับความสามารถของผู้ประเมินที่เป็นมนุษย์ในการ ‘มองเห็นความผิดปกติ’ ที่ความไม่สอดคล้องกันระหว่างคะแนนและเนื้อหาของข้อความการวิจารณ์

สถาปัตยกรรมแนวคิดสำหรับ MMD ซึ่งประกอบด้วยสองโมดูลหลัก: การสร้างโปรไฟล์ผู้ใช้มีเจตนาร้าย (MUP) และการเรียนรู้เมตริกแบบให้ความสนใจ (MLC ในสีเทา)

การเปรียบเทียบกับแนวทางก่อนหน้า

เนื่องจาก MMD เป็นระบบแรกที่พยายามระบุ PMUs ตามรูปแบบการโพสต์ที่คะแนนกับข้อความขัดแย้งกัน จึงไม่มีงานก่อนหน้าที่จะเทียบเคียงได้ ดังนั้นผู้วิจัยจึงนำระบบของตนไปทดสอบกับอัลกอริทึมที่ใช้กันโดยทั่วไปในการกรองอัตโนมัติแบบดั้งเดิม รวมถึงการจัดกลุ่ม K-means++ และการตรวจจับค่าผิดปกติทางสถิติ (SOD); Hysad; Semi-sad; CNN-sad; และ ระบบแนะนำการตรวจจับผู้ใช้มีเจตนาร้าย (SDRS)

ทดสอบกับชุดข้อมูลที่มีฉลากจาก Amazon [securities_stock_price_tag symbol="amzn" exchange="nasdaq"] และ Yelp MMD สามารถระบุผู้วิจารณ์ที่มีเจตนาร้ายได้ด้วยอัตราความแม่นยำสูงสุด ผู้เขียนอ้างว่า ตัวอักษรตัวหนาแสดงถึง MMD ในขณะที่เครื่องหมายดอกจัน (*) หมายถึงประสิทธิภาพที่ดีที่สุด ในกรณีนี้ MMD ถูกเอาชนะในสองงานโดยเทคโนโลยีแบบยืนเดี่ยว (MUP) ที่รวมอยู่ในระบบแล้ว แต่ไม่ได้รับการปรับให้เหมาะสมกับงานที่ต้องการโดยอัตโนมัติ

ในกรณีนี้ MMD ถูกทดสอบกับชุดข้อมูลที่ไม่มีฉลากจาก Taobao และ Jindong ทำให้เป็นงานการเรียนรู้ที่ไม่มีการกำกับดูแล อีกครั้ง มีเพียงเทคโนโลยีส่วนประกอบของ MMD เองที่ทำได้ดีกว่า โดยได้รับการปรับแต่งเป็นพิเศษให้เหมาะกับงานในการทดสอบนี้

ผู้วิจัยสังเกตว่า:

‘[ใน] ชุดข้อมูลทั้งสี่ ชุดข้อมูลที่เราเสนอ MMD (MLC+MUP) มีประสิทธิภาพเหนือกว่าแบบจำลองฐานในทุกด้านของ F-คะแนน โปรดทราบว่า MMD เป็นการรวมกันของ MLC และ MUP ซึ่งทำให้มันเหนือกว่าแบบจำลองแบบกำกับดูแลและไม่มีการกำกับดูแลโดยทั่วไป’

บทความยังแนะนำว่า MMD อาจใช้เป็นวิธีการประมวลผลก่อนสำหรับระบบการกรองอัตโนมัติแบบดั้งเดิม และให้ผลการทดลองบนชุดข้อมูลหลายชุด รวมถึง การกรองแบบร่วมของผู้ใช้ (UBCF), การกรองแบบร่วมของรายการ (IBCF), การแยกตัวประกอบเมทริกซ์ (MF-eALS), การจัดอันดับเฉพาะบุคคลแบบเบย์ (MF-BPR) และ การกรองแบบร่วมประสาท (NCF)

ในแง่ของ อัตราการตี (HR) และ กำไรสะสมแบบลดหลั่นที่ปรับมาตรฐานแล้ว (NDCG) ในผลลัพธ์ของการเพิ่มประสิทธิภาพเหล่านี้ ผู้เขียนระบุว่า:

‘ในบรรดาชุดข้อมูลทั้งสี่ MMD ปรับปรุงประสิทธิภาพของแบบจำลองการแนะนำอย่างมีนัยสำคัญในแง่ของ HR และ NDCG โดยเฉพาะ MMD สามารถปรับปรุงประสิทธิภาพของ HR ได้โดยเฉลี่ย 28.7% และ NDCG ได้โดยเฉลี่ย 17.3% ‘

‘ด้วยการลบผู้ใช้มีเจตนาร้ายแบบมืออาชีพ MMD สามารถปรับปรุงคุณภาพของชุดข้อมูลได้ โดยไม่มีการวิจารณ์ที่ไม่ดีแบบมืออาชีพ ชุดข้อมูลจะกลายเป็นแบบ มีเหตุผล มากขึ้น’

บทความ เรื่องนี้ มีชื่อว่า การตรวจจับผู้ใช้มีเจตนาร้ายแบบมืออาชีพด้วยการเรียนรู้เมตริกในระบบการแนะนำ และมาจากผู้วิจัยที่ ภาควิชาวิทยาการคอมพิวเตอร์และเทคโนโลยี ที่ มหาวิทยาลัย Jilin; ห้องปฏิบัติการหลักของการประมวลผลข้อมูลอัจฉริยะของจีน ที่ สถาบันวิทยาศาสตร์จีน ที่ ปักกิ่ง; และ โรงเรียนธุรกิจ ที่ มหาวิทยาลัยรัทเกอร์ส ใน รัฐนิวเจอร์ซีย์

ข้อมูลและแนวทาง

การตรวจจับ PMUs เป็นความท้าทายแบบหลายรูปแบบ เนื่องจากต้องคำนึงถึงพารามิเตอร์ที่ไม่เทียบเท่ากันสองตัว (คะแนนดาวหรือคะแนนทศนิยม และการวิจารณ์แบบข้อความ) ผู้เขียนบทความใหม่ระบุว่าไม่มีงานก่อนหน้าที่จะแก้ไขความท้าทายนี้

MMD ใช้ โครงข่ายประสาทเทียมแบบวนกลับที่มีกลไกความสนใจคู่แบบลำดับชั้น (HDAN) เพื่อแปลงเนื้อหาการวิจารณ์เป็นคะแนนความรู้สึก

การฉายการวิจารณ์เป็นคะแนนความรู้สึกด้วย HDAN ซึ่งให้การฝังตัวของคำและประโยคเพื่อให้ได้คะแนนความรู้สึก

HDAN ใช้กลไกการให้ความสนใจเพื่อกำหนดน้ำหนักให้กับแต่ละคำและแต่ละประโยค ในรูปด้านบน ผู้เขียนระบุว่าคำ ไม่ดี ควรได้รับน้ำหนักมากกว่าคำอื่นๆ ในการวิจารณ์

สำหรับโครงการนี้ HDAN ใช้คะแนนการให้คะแนนสำหรับสินค้าในชุดข้อมูลทั้งสี่เป็นค่าความจริงอ้างอิง ชุดข้อมูลเหล่านี้คือ Amazon.com; Yelp สำหรับ RecSys (2013); และสองชุดข้อมูล ‘โลกแห่งความเป็นจริง’ (ไม่ใช่แบบทดลอง) จาก Taobao และ Jindong

MMD ใช้การเรียนรู้เมตริก ซึ่งพยายามประมาณระยะทางที่แม่นยำระหว่างหน่วยเพื่อจัดหมวดหมู่ความสัมพันธ์ทั้งหมดในชุดข้อมูล

MMD เริ่มต้นด้วย การเข้ารหัสแบบหนึ่งร้อน เพื่อเลือกผู้ใช้และรายการผ่าน แบบจำลองปัจจัยซ่อน (LFM) ซึ่งได้คะแนนพื้นฐาน ในขณะเดียวกัน HDAN ฉายเนื้อหาการวิจารณ์เป็นคะแนนความรู้สึกเป็นข้อมูลเสริม

ผลลัพธ์จะถูกประมวลผลเป็น แบบจำลองการสร้างโปรไฟล์ผู้ใช้มีเจตนาร้าย (MUP) ซึ่งผลิต เวกเตอร์ความแตกต่างความรู้สึก – ความไม่เท่าเทียมกันระหว่างคะแนนและคะแนนความรู้สึกที่ประมาณการของเนื้อหาข้อความการวิจารณ์ ด้วยวิธีนี้ สำหรับครั้งแรก PMUs สามารถจัดหมวดหมู่และป้ายกำกับได้

การเรียนรู้เมตริกแบบให้ความสนใจสำหรับการจัดกลุ่ม