การระบุตัวตนผู้แสดงความคิดเห็นบนโซเชียลมีเดียที่ถูกแบนโดยใช้เครื่องมือการเรียนรู้ของเครื่อง

นักวิจัยจากมหาวิทยาลัยจอห์นฮอปกินส์ ได้พัฒนาแนวทางใหม่ในการระบุตัวตนผู้แสดงความคิดเห็นบนโซเชียลมีเดียที่อาจมีบัญชีถูกแบนหรือใช้บัญชีหลายบัญชีเพื่อหลอกลวงหรือจัดการกับชุมชนออนไลน์ เช่น Reddit และ Twitter

แนวทางนี้ ซึ่งนำเสนอใน เอกสารวิจัยใหม่ โดย Aleem Khan นักวิจัยด้าน NLP ไม่ต้องการให้ข้อมูลเข้ามาถูกทำเครื่องหมายอัตโนมัติหรือทำเครื่องหมายด้วยมือ และให้ผลลัพธ์ที่ดีกว่าการพยายามก่อนหน้านี้ แม้ว่าจะมีข้อมูลที่จำกัดและข้อมูลที่ไม่มีอยู่ในเซตการฝึกอบรม

ระบบนี้ให้โครงสร้างการเพิ่มข้อมูลที่ง่าย โดยใช้การฝึกอบรมขนาดใหญ่บนเซตข้อมูลที่มีมากกว่า 300 ล้านความคิดเห็นจากผู้ใช้มากกว่า 1 ล้านบัญชี

โครงสร้างแบบจำลองของระบบระบุตัวตนของจอห์นฮอปกินส์ โดยประกอบด้วย 1) เนื้อหาข้อความ 2) คุณสมบัติของ sub-Reddit และ 3) วันที่และเวลาเผยแพร่ Source: https://arxiv.org/pdf/2105.07263.pdf

โครงสร้างนี้ใช้ข้อมูลจาก Reddit โดยพิจารณาจากเนื้อหาข้อความ คุณสมบัติของ sub-Reddit และวันที่และเวลาเผยแพร่ ตัวประกอบทั้งสามนี้ถูกผสมผสานกับวิธีการฝึกอบรมที่หลากหลาย รวมถึงการแปลงคอนโวลูชันและโปรเจกชันเชิงเส้น และได้รับการช่วยเหลือจากกลไกการให้ความสนใจและชั้นการรวมข้อมูลสูงสุด

แม้ว่าระบบจะเน้นไปที่โดเมนข้อความ แต่นักวิจัยเชื่อว่าแนวทางนี้สามารถนำไปใช้กับการวิเคราะห์วิดีโอหรือรูปภาพได้ เนื่องจากอัลกอริทึมที่ได้รับมาจากการฝึกอบรมสามารถทำงานกับข้อมูลที่มีความถี่สูงได้ ไม่ว่าข้อมูลจะยาวหรือสั้นก็ตาม

การหลีกเลี่ยง ‘การเปลี่ยนแปลงหัวข้อ’

การวิจัยประเภทนี้อาจติดกับดักในการให้ความสำคัญกับการเกิดซ้ำของหัวข้อหรือธีมที่เฉพาะเจาะจงมากเกินไป ซึ่งผู้เขียนได้กล่าวถึงการออกแบบระบบนี้โดยเฉพาะ

แม้ว่าผู้ใช้อาจเขียนซ้ำหรือซ้ำๆ ในหัวข้อที่เฉพาะเจาะจง แต่หัวข้อนั้นจะเปลี่ยนแปลงและ ‘เปลี่ยนแปลง’ ไปตามเวลา ทำให้ไม่สามารถใช้เป็นกุญแจสำคัญในการระบุตัวตนได้ ผู้เขียนอธิบายถึงการหลีกเลี่ยงการเปลี่ยนแปลงหัวข้อนี้ว่าเป็น ‘การถูกต้องสำหรับเหตุผลที่ไม่ถูกต้อง’ ซึ่งเป็นหลุมพรางที่ได้รับการศึกษาไว้ก่อนหน้านี้ที่จอห์นฮอปกินส์

วิธีการฝึกอบรม

ระบบใช้ การฝึกอบรมแบบผสม ซึ่งเป็นนวัตกรรมที่นำเสนอในปี 2018 โดย Baidu และ NVIDIA (NVDA ) ซึ่งลดความต้องการหน่วยความจำลงครึ่งหนึ่งโดยใช้จำนวนจุดที่มีความแม่นยำครึ่งหนึ่ง: 16 บิตแทน 32 บิต ข้อมูลถูกฝึกอบรมบน V100 GPU สองตัว โดยใช้เวลาเฉลี่ยในการฝึกอบรม 72 ชั่วโมง

โครงสร้างนี้ใช้การเข้ารหัสข้อความแบบง่าย โดยใช้การเข้ารหัสคอนโวลูชันแบบจำกัดไว้ที่ 2-4 subwords แม้ว่าความยาวเฉลี่ยสำหรับโครงสร้างประเภทนี้คือ 5 subwords แต่นักวิจัยพบว่าการลดขนาดนี้ไม่มีผลกระทบต่อประสิทธิภาพการเรียงลำดับ และการเพิ่ม subwords เป็น 5 จริงๆ แล้ว ลด ความแม่นยำในการเรียงลำดับ

เซตข้อมูล

นักวิจัยได้สร้างเซตข้อมูลที่มี 300 ล้านข้อความจาก Reddit โดยใช้ Pushshift Reddit Corpus ในปี 2020 ซึ่งเรียกว่า Million User Dataset (MUD)

เซตข้อมูลประกอบด้วยข้อความทั้งหมดจากผู้เขียน Reddit ที่เผยแพร่ข้อความ 100-1000 ข้อระหว่างเดือนกรกฎาคม 2015 ถึงเดือนมิถุนายน 2016 การตัวอย่างข้อมูลในลักษณะนี้ให้ประวัติที่เพียงพอสำหรับการศึกษา และลดผลกระทบของข้อความสแปมที่ไม่อยู่ในขอบเขตของวัตถุประสงค์

สถิติของเซตข้อมูลที่ได้รับสำหรับโครงการระบุตัวตนของจอห์นฮอปกินส์

ผลลัพธ์

รูปด้านล่างแสดงถึงการปรับปรุงผลลัพธ์แบบสะสมเมื่อทดสอบความแม่นยำในการเรียงลำดับที่ช่วงเวลาหนึ่งชั่วโมงในการฝึกอบรม หลังจาก 6 ชั่วโมง ระบบนี้มีประสิทธิภาพมากกว่าผลลัพธ์ของการพยายามก่อนหน้านี้

ในการศึกษาแบบ ablation นักวิจัยพบว่าการลบคุณสมบัติของ sub-Reddit ออกจากกระบวนการมีผลกระทบน้อยมากต่อความแม่นยำในการเรียงลำดับ ซึ่งบ่งชี้ว่าระบบนี้สามารถทั่วไปได้ดีและมีการใช้คุณลักษณะที่มีประสิทธิภาพ

ความถี่ในการโพสต์เป็นลายลักษณ์อักษรในการระบุตัวตน

สิ่งนี้ยังบ่งชี้ว่าโครงสร้างนี้สามารถถ่ายโอนไปยังระบบอื่นๆ ที่มีเพียงข้อความและวันที่/เวลาเผยแพร่เท่านั้น และโดยพื้นฐานแล้วความถี่ในการโพสต์เป็นตัวบ่งชี้ที่มีคุณค่าในการระบุตัวตน

นักวิจัยสังเกตว่าการพยายามทำการประมาณการเดียวกันภายในข้อความของ sub-Reddit เดียวเป็นเรื่องที่ท้าทายมากขึ้น เนื่องจาก sub-Reddit เองเป็นตัวแทนของหัวข้อ และอาจต้องมีโครงสร้างเพิ่มเติมเพื่อเติมเต็มบทบาทนี้

การศึกษานี้สามารถให้ผลลัพธ์ที่น่าหวังภายใต้ข้อจำกัดเหล่านี้ โดยมีเพียงข้อแม้ว่าระบบนี้ทำงานได้ดีกว่าที่ปริมาณข้อมูลสูง และอาจมีความยากในการระบุตัวตนที่เพิ่มขึ้นเมื่อปริมาณโพสต์ต่ำ

พัฒนาการทำงาน

ไม่เหมือนกับการเรียนรู้แบบมีคำแนะนำหลายๆ โครงการ คุณลักษณะในโครงสร้างระบุตัวตนของฮอปกินส์นี้เป็นแบบไม่ต่อเนื่องและแข็งแรงพอที่จะให้ประสิทธิภาพของระบบดีขึ้นอย่างเห็นได้ชัดเมื่อปริมาณข้อมูลเพิ่มขึ้น

นักวิจัยแสดงความสนใจในการพัฒนาระบบโดยใช้แนวทางที่ละเอียดกว่าในการวิเคราะห์วันที่และเวลาเผยแพร่ เนื่องจากตารางเวลาที่คาดการณ์ได้ของสแปมเมอร์แบบ rote (อัตโนมัติหรือไม่) มีความเสี่ยงต่อการระบุโดยแนวทางนี้ และจะทำให้สามารถกำจัดเนื้อหาสแปมออกจากการศึกษาที่มุ่งเน้นไปที่ผู้ใช้ที่ก่อกวนได้อย่างมีประสิทธิภาพมากขึ้น หรือช่วยในการระบุเนื้อหาอัตโนมัติ