การถอดถอน ‘ความจริง’ ที่ล้าสมัยด้วย Machine Learning

บางครั้งความจริงมีวันหมดอายุ เมื่อข้อเรียกร้องที่มีระยะเวลาจำกัด (เช่น ‘การใส่หน้ากากเป็นบังคับบนรถสาธารณะ’) ปรากฏในอันดับการค้นหา ผลเฉลย ‘ที่มีอำนาจ’ ที่เห็นได้ชัดอาจคงอยู่นานกว่าหลายปี และมีอันดับสูงกว่าเนื้อหาที่ถูกต้องและใหม่กว่าในหัวข้อเดียวกัน

สิ่งนี้เป็นผลพลอยได้จากความพยายามของอัลกอริทึมการค้นหาที่จะระบุและโปรโมต ‘วิธีแก้ปัญหาในระยะยาว’ และความชอบที่จะจัดลำดับความสำคัญของเนื้อหาที่เชื่อมโยงดีและรักษาการเข้าชมตลอดเวลา และทัศนคติที่ระมัดระวังมากขึ้นต่อเนื้อหาที่ใหม่กว่าในยุคของ ข่าวปลอม

ในทางกลับกัน การลดคุณค่าของเนื้อหาทางเว็บที่มีค่าเพียงเพราะว่าเวลาที่เกี่ยวข้องได้ล่วงเลยไปแล้ว อาจทำให้เนื้อหาที่มีประโยชน์จริงๆ ถูกถอดถอนโดยอัตโนมัติเพื่อสนับสนุนเนื้อหาที่ตามมา ซึ่งอาจมีคุณภาพต่ำกว่า

เพื่อแก้ไขปัญหานี้ วิจัยใหม่ งานวิจัย จากนักวิจัยในอิตาลี เบลเยียม และเดนมาร์ก ได้ใช้เทคนิค Machine Learning หลายๆ วิธีเพื่อพัฒนาแนวทางในการจัดอันดับหลักฐานที่ตระหนักถึงเวลา

ไปไกลกว่าคำตอบที่ล้าสมัย

งานวิจัยนี้เขียนโดยนักวิจัยจากคณะกรรมการวิจัยร่วม (JRC) ของสหภาพยุโรป ในเมืองอิสปรา มหาวิทยาลัยคาทอลิกแห่งเลอเฟิน และมหาวิทยาลัยโคเปนเฮเกน

งานวิจัยนี้พิจารณาเกี่ยวกับวิธีการจัดอันดับตามเวลา 4 วิธี โดยใช้ข้อมูลจาก 3 วิธีการตรวจสอบข้อเท็จจริงที่แตกต่างกัน และเสนอแนวทางใหม่ในการจัดอันดับที่ใช้เวลาเป็น ‘มาตรฐานทอง’ การศึกษานี้แสดงให้เห็นว่าการจัดอันดับหลักฐานที่ตระหนักถึงเวลา สามารถปรับปรุงความแม่นยำของผลลัพธ์ และยังปรับปรุงความน่าเชื่อถือและความถูกต้องของข้อเท็จจริงและข้อเรียกร้องที่มีความสำคัญกับเวลา

การวิจัยนี้ได้รับการเสนอให้เป็นส่วนเสริมสำหรับระบบที่มีอยู่หรือระบบใหม่ๆ ในอนาคต และได้รับการออกแบบมาเพื่อช่วยในการวิจัย และอาจเป็นปัจจัยที่สำคัญในการพัฒนาเครื่องมือค้นหาที่มีประสิทธิภาพมากขึ้น

การวิจัยนี้สร้างแบบจำลองการเปลี่ยนแปลงของหลักฐานตามเวลา สำหรับการตรวจสอบข้อเท็จจริงตามเนื้อหา และสามารถทำได้ดีกว่าวิธีการจัดอันดับตามความคล้ายคลึงกันทางคำศัพท์ที่ใช้กันโดยทั่วไปในอัลกอริทึมการค้นหา แบบจำลองที่ฝึกอบรมโดยนักวิจัยใช้ฟังก์ชันการเรียนรู้ที่ได้รับการปรับให้เหมาะสม ซึ่งสามารถนำไปใช้กับระบบตรวจสอบข้อเท็จจริงที่มีอยู่ได้อย่างง่ายดาย นักวิจัยอ้างว่าระบบนี้เป็นผลงานใหม่ที่มีคุณค่าในการตรวจสอบข้อเท็จจริงโดยอัตโนมัติ

การปรับปรุงโครงสร้างการตรวจสอบข้อเท็จจริงหลายแบบ

นักวิจัยได้นำการปรับเปลี่ยนตามเวลามาใช้กับโครงสร้างการตรวจสอบข้อเท็จจริงที่มีอยู่ 3 แบบ โครงสร้างแรกคือแบบจำลอง Bidirectional Long Short Term Memory (BiLSTM) ที่ได้รับการเสนอใน ชุดข้อมูล MultiFC ที่เผยแพร่ในปี 2019

โครงสร้างที่สองเป็นการปรับปรุงจากโครงสร้างแรก โดยใช้เครือข่ายประสาทเทียมที่มีทิศทางเดียว (RNN) แทนที่ส่วนประกอบ LSTM

โครงสร้างที่สามที่นักวิจัยใช้คือ DistilBERT transformer จากไลบรารี Hugging Faces ซึ่งเป็นรุ่นที่ถูกทำให้เล็กลง củaโมเดล BERT ของ Google

นักวิจัยได้นำฟังก์ชันการสูญเสีย ListMLE มาใช้กับโครงสร้างทั้งสามแบบ ซึ่งเป็นผลงานวิจัยที่นำโดย Microsoft และมีส่วนร่วมอย่างต่อเนื่องในการวิจัยการตรวจสอบข้อเท็จจริงที่มีนวัตกรรมใหม่ๆ ในช่วงสองทศวรรษที่ผ่านมา

รูปแบบการตรวจสอบข้อเท็จจริงหลักสองแบบที่ทีมวิจัยได้เพิ่มส่วนประกอบเวลาเป็นตัวกรองสำหรับค่าอำนาจและค่าการจัดอันดับต่อไป Source: https://arxiv.org/pdf/2009.06402.pdf

ค่าเวลาได้รับการดึงออกมาจากข้อมูลการฝึกอบรม และถูกนำมาใช้เป็นตัวประกอบในการจัดอันดับในแต่ละแบบจำลอง

การทดสอบ

การประเมินผลการทดสอบสำหรับระบบนี้เกี่ยวข้องกับการใช้ ชุดข้อมูล MultiFC เนื่องจากเป็นชุดข้อมูลที่มีปริมาณมากที่สุดที่มีอยู่สำหรับการวิจัยนี้ ชุดข้อมูล MultiFC มีข้อเรียกร้องที่แท้จริง 34,924 ข้อ ที่ได้รับจาก 26 โดเมนการตรวจสอบข้อเท็จจริงที่แตกต่างกัน รวมถึง Snopes และ Washington Post

การทำนายความถูกต้องของข้อเรียกร้องแต่ละข้อได้รับการปรับปรุงโดยการเพิ่มส่วนหลักฐาน 10 ส่วน ที่ได้รับจาก Google Search API และการทำนายที่ได้รับจากหลายๆ องค์ประกอบ รวมถึงผู้พูด ตัวแทง และหมวดหมู่

บ่อยครั้งที่เวลาที่เกี่ยวข้องไม่จำเป็นต้องเป็นเวลาที่อยู่ในข้อมูลที่ให้มาเท่านั้น บทความอาจอ้างถึงเหตุการณ์ในอดีต และในกรณีนี้ ระบบของนักวิจัยต้องดึงและแปลงข้อมูลนั้นออกมาจากข้อความโดยตรง หากไม่มีกระบวนการนี้ การ ‘รัน’ ของข่าวที่ล้าสมัยจะทำให้ข้อมูลเก่าๆ ได้รับการปรับปรุงใหม่ โดยเฉพาะอย่างยิ่งสำหรับเว็บไซต์ที่มีอำนาจสูง ซึ่งจะทำให้ข้อมูลที่ล้าสมัยแพร่กระจาย

วันที่ได้รับการดึงออกมาโดยใช้รูทีน Python และวันที่อยู่ในข้อมูลที่ให้มาที่ได้รับการตรวจสอบความสอดคล้องในการจัดรูปแบบ (เนื่องจากการจัดรูปแบบวันที่ในประเทศต่างๆ เช่น สหรัฐอเมริกาและอังกฤษนั้นแตกต่างกัน) เมื่อตรวจสอบด้วยมือแล้ว ไม่พบข้อผิดพลาดใดๆ ในข้อมูลเวลาที่ให้มา

ผลลัพธ์

เมื่อเปรียบเทียบกับการตรวจสอบด้วยมือแล้ว นักวิจัยพบว่าการจัดอันดับหลักฐานที่ตระหนักถึงเวลา สามารถปรับปรุงผลลัพธ์ได้อย่างมีนัยสำคัญเมื่อเทียบกับการจัดอันดับตามความคล้ายคลึงกันทางคำศัพท์หรือการจัดอันดับ SERPs นอกจากนี้ยังพบว่าวิธีการนี้สามารถปรับปรุงการทำนายความถูกต้องของข้อเท็จจริงที่มีความสำคัญกับเวลา (เช่น สถานการณ์ที่ข่าวเปลี่ยนแปลงอย่างรวดเร็ว และจำเป็นต้องให้ข้อมูลที่ทันสมัยโดยไม่ต้องใช้กำลังในการจัดอันดับผลลัพธ์ใหม่ๆ)

นักวิจัยสังเกตว่าวิธีการนี้จะมีคุณค่าสูงในการปรับปรุงโมเดลการจัดอันดับสำหรับหัวข้อที่มีการเปลี่ยนแปลงอย่างรวดเร็ว เช่น การเมืองและความบันเทิง ซึ่ง情報เปลี่ยนแปลงอย่างรวดเร็ว และการพัฒนาในระดับสูงต้องการโครงสร้างสำหรับการถอดถอนอัตโนมัติจากอันดับสูงสุดในการจัดอันดับที่ได้รับเมื่อเผยแพร่