การสร้างและระบุโฆษณาชวนเชื่อด้วย Machine Learning

การวิจัยใหม่จากสหรัฐอเมริกาและกาตาร์เสนอวิธีการใหม่ในการระบุข่าวปลอมที่เขียนในลักษณะที่มนุษย์เขียนข่าวปลอมจริงๆ – โดยการฝังคำสั่งไม่ถูกต้องลงในบริบทที่ถูกต้อง และโดยการใช้เทคนิคโฆษณาชวนเชื่อที่ได้รับความนิยม เช่น การอ้างอิงอำนาจ และ ภาษาที่มีเนื้อหาที่ถูกโหลด

โครงการนี้ได้สร้างชุดข้อมูลการฝึกอบรมการตรวจจับข่าวปลอมใหม่ชื่อ PropaNews ซึ่งรวมเทคนิคเหล่านี้เข้าด้วยกัน ผู้เขียนการศึกษาพบว่าเครื่องตรวจจับที่ได้รับการฝึกอบรมจากชุดข้อมูลใหม่นี้มีความแม่นยำ 7.3-12% ในการตรวจจับข้อมูลที่ไม่ถูกต้องที่เขียนโดยมนุษย์มากกว่าวิธีการที่ดีที่สุดก่อนหน้านี้

จากเอกสารใหม่ ตัวอย่างของ ‘การอ้างอิงอำนาจ’ และ ‘ภาษาที่มีเนื้อหาที่ถูกโหลด’ Source: https://arxiv.org/pdf/2203.05386.pdf

ผู้เขียนการศึกษายังระบุด้วยว่าตามความรู้ของพวกเขา โครงการนี้เป็นโครงการแรกที่รวมเทคนิคโฆษณาชวนเชื่อ (ไม่ใช่ความไม่ถูกต้องของข้อเท็จจริงโดยตรง) ลงในตัวอย่างข้อความที่สร้างโดยเครื่องจักรเพื่อใช้ในการตรวจจับข่าวปลอม

งานวิจัยส่วนใหญ่ในด้านนี้ศึกษาความเอนเอียง หรือจัดเรียงข้อมูล ‘โฆษณาชวนเชื่อ’ ใหม่ในบริบทของความเอนเอียง (อาจเป็นเพราะความเอนเอียงกลายเป็นภาคส่วนของการเรียนรู้ของเครื่องจักรที่มีการให้ทุนหลังเหตุการณ์ Analytica)

ผู้เขียนการศึกษายังระบุด้วยว่า:

‘ในทางตรงกันข้าม งานของเราสร้างข่าวปลอมโดยการรวมเทคนิคโฆษณาชวนเชื่อและรักษาข้อมูลที่ถูกต้องส่วนใหญ่ ดังนั้น วิธีการของเราจึงเหมาะสมกว่าสำหรับการศึกษาการป้องกันข่าวปลอมที่เขียนโดยมนุษย์’

พวกเขายังให้เหตุผลเพิ่มเติมเกี่ยวกับความจำเป็นในการพัฒนเทคนิคการตรวจจับโฆษณาชวนเชื่อที่ซับซ้อนกว่านี้*:

‘[ข้อมูลที่ไม่ถูกต้องที่เขียนโดยมนุษย์] ซึ่งมักใช้ในการหลอกลวงประชากรบางกลุ่ม มีผลกระทบอย่างรุนแรงต่อเหตุการณ์ต่างๆ เช่น การเลือกตั้งประธานาธิบดีสหรัฐฯ ปี 2016, Brexit, การระบาดของโควิด-19 และการโจมตีของรัสเซียต่อยูเครน ดังนั้น เราจึงต้องการกลไกการป้องกันข้อมูลที่ไม่ถูกต้องที่เขียนโดยมนุษย์’

เอกสารวิจัยชื่อ Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation มาจากนักวิจัย 5 คนจาก University of Illinois Urbana-Champaign, Columbia University, Hamad Bin Khalifa University at Qatar, University of Washington และ Allen Institute for AI

การกำหนดความไม่ถูกต้อง

ความท้าทายในการ量化โฆษณาชวนเชื่อเป็นหลักๆ เป็นปัญหาด้านลอจิสติกส์: มีค่าใช้จ่ายสูงในการจ้างมนุษย์ในการระบุและทำเครื่องหมายวัสดุในโลกแห่งความเป็นจริงด้วยคุณลักษณะที่เหมือนกับโฆษณาชวนเชื่อเพื่อใช้ในชุดข้อมูลการฝึกอบรม และอาจมีค่าใช้จ่ายต่ำกว่าในการดึงและใช้คุณลักษณะระดับสูงซึ่งอาจทำงานได้กับ ‘ข้อมูลที่ไม่เคยเห็น’ ในอนาคต

เพื่อแก้ปัญหานี้ นักวิจัยได้รวบรวมข้อมูลข่าวปลอมที่มนุษย์สร้างขึ้นจากแหล่งข่าวที่ถูกมองว่ามีความถูกต้องของข้อเท็จจริงต่ำผ่านเว็บไซต์ Media Bias Fact Check

พวกเขาพบว่า 33% ของบทความที่ศึกษามีการใช้เทคนิคโฆษณาชวนเชื่อที่ไม่ซื่อสัตย์ รวมถึง คำที่กระตุ้นอารมณ์, ข้อผิดพลาดเชิงตรรกะ และ การอ้างอิงอำนาจ อีก 55% ของบทความมีข้อมูลที่ไม่ถูกต้องผสมกับข้อมูลที่ถูกต้อง

การสร้างการอ้างอิงอำนาจ

วิธีการ ‘การอ้างอิงอำนาจ’ มีการใช้งาน 2 แบบ: การอ้างอิงข้อความที่ไม่ถูกต้อง และการอ้างอิงข้อความที่เป็นเท็จทั้งหมด การวิจัยนี้มุ่งเน้นไปที่กรณีที่สอง

จากโครงการใหม่ เฟรมเวิร์กการอนุมานภาษาธรรมชาติ RoBERTa ระบุอีก 2 ตัวอย่างของการอ้างอิงอำนาจและภาษาที่มีเนื้อหาที่ถูกโหลด

ด้วยวัตถุประสงค์ในการสร้างโฆษณาชวนเชื่อของเครื่องจักรสำหรับชุดข้อมูลใหม่ นักวิจัยใช้โครงสร้าง seq2seq ที่ได้รับการฝึกอบรมล่วงหน้า BART เพื่อระบุประโยคที่สำคัญที่สามารถเปลี่ยนแปลงเป็นโฆษณาชวนเชื่อในภายหลัง เนื่องจากไม่มีชุดข้อมูลสาธารณะที่เกี่ยวข้องกับงานนี้ ผู้เขียนจึงใช้แบบจำลองสรุปแบบอธิบาย ที่เสนอในปี 2019 เพื่อประมาณค่าความสำคัญของประโยค

สำหรับบทความหนึ่งจากแหล่งข่าวที่ศึกษา นักวิจัยแทนที่ประโยค ‘ที่ทำเครื่องหมาย’ เหล่านี้ด้วยข้อโต้แย้งปลอมจาก ‘ผู้มีอำนาจ’ ที่ได้รับจากบริการคำถาม Wikidata และจากผู้มีอำนาจที่กล่าวถึงในบทความ (เช่น บุคคลและ/หรือองค์กร)

การสร้างภาษาที่มีเนื้อหาที่ถูกโหลด

ภาษาที่มีเนื้อหาที่ถูกโหลด รวมถึงคำที่มักจะถูกทำให้กระตุ้นอารมณ์ (เช่น กิริยาวิเศษณ์และคุณศัพท์เชิงอธิบาย) ที่มีการตัดสินมูลค่าซึ่งฝังอยู่ในบริบทของการนำเสนอข้อเท็จจริง

เพื่อสร้างข้อมูลเกี่ยวกับภาษาที่มีเนื้อหาที่ถูกโหลด ผู้เขียนการศึกษายังใช้ชุดข้อมูลจาก การศึกษาในปี 2019 ที่มีตัวอย่าง ภาษาที่มีเนื้อหาที่ถูกโหลด 2,547 ตัวอย่าง เนื่องจากตัวอย่างไม่ทั้งหมดในชุดข้อมูลปี 2019 มีกิริยาวิเศษณ์หรือคุณศัพท์ที่กระตุ้นอารมณ์ นักวิจัยจึงใช้ SpaCy เพื่อทำการวิเคราะห์ความสัมพันธ์ทางภาษาและทำเครื่องหมายส่วนของคำ (PoS) โดยเก็บเฉพาะตัวอย่างที่เหมาะสมสำหรับการรวมเข้ากับเฟรมเวิร์ก

กระบวนการกรองนี้ส่งผลให้ได้ตัวอย่าง ภาษาที่มีเนื้อหาที่ถูกโหลด ที่ถูกต้อง 1,017 ตัวอย่าง อีกตัวอย่างหนึ่งของ BART ถูกใช้ในการซ่อนและแทนที่ประโยคที่สำคัญในเอกสารต้นฉบับด้วยภาษาที่มีเนื้อหาที่ถูกโหลด

ชุดข้อมูล PropaNews

หลังจากการฝึกอบรมแบบกลางที่ทำบนชุดข้อมูล CNN/DM ปี 2015 จาก Google Deep Mind และ University of Oxford นักวิจัยสร้างชุดข้อมูล PropaNews โดยการเปลี่ยนแปลงบทความที่ไม่สำคัญจาก ‘แหล่งข้อมูลที่เชื่อถือได้’ เช่น The New York Times และ The Guardian เป็น ‘รุ่นที่แก้ไขแล้ว’ ที่มีโฆษณาชวนเชื่อที่สร้างโดยอัลกอริทึม

การทดลองนี้ได้รับการสร้างแบบจำลองจากการศึกษาในปี 2013 จาก Hanover ซึ่งสร้างสรุปเรื่องราวข่าวอัตโนมัติข้าม 17 เหตุการณ์ข่าว และทั้งหมด 4,535 เรื่อง

ข้อมูลที่ไม่ถูกต้องที่สร้างขึ้นถูกส่งไปยังคนงาน 400 คนใน Amazon Mechanical Turk (AMT) โดยครอบคลุม 2000 Human Intelligence Tasks (HITs) เฉพาะบทความโฆษณาชวนเชื่อที่ถูกมองว่า ‘ถูกต้อง’ โดยคนงานเท่านั้นที่ถูกเพิ่มลงในชุดข้อมูล PropaNews สุดท้าย การตัดสินใจในกรณีที่ไม่เห็นด้วยถูกทำโดยวิธี Worker Agreement With Aggregate (WAWA)

ชุดข้อมูล PropaNews สุดท้ายมีบทความ 2,256 บทความ โดยแบ่งเท่าๆ กันระหว่างผลลัพธ์ปลอมและจริง 30% ของบทความใช้ การอ้างอิงอำนาจ และอีก 30% ใช้ ภาษาที่มีเนื้อหาที่ถูกโหลด ส่วนที่เหลือมีข้อมูลที่ไม่ถูกต้องชนิดที่มีมาก่อนหน้านี้ในด้านการวิจัย

ข้อมูลถูกแบ่งออกเป็น 1,256:500:500 สำหรับการกระจายการฝึกอบรม การทดสอบ และการตรวจสอบ

ชุดข้อมูล HumanNews

เพื่อประเมินประสิทธิผลของการตรวจจับโฆษณาชวนเชื่อที่ได้รับการฝึกอบรม นักวิจัยรวบรวมบทความข่าว 200 บทความที่เขียนโดยมนุษย์ รวมถึงบทความที่ถูกแฉโดย Politifact และตีพิมพ์ระหว่างปี 2015-2020

ข้อมูลนี้ถูกเพิ่มข้อมูลด้วยบทความที่ถูกแฉเพิ่มเติมจากแหล่งข่าวที่ไม่น่าเชื่อถือ และทั้งหมดถูกตรวจสอบความถูกต้องโดยนักศึกษาระดับบัณฑิตศึกษาจากสาขาวิชาวิทยาการคอมพิวเตอร์

ชุดข้อมูลสุดท้ายที่เรียกว่า HumanNews ยังรวมถึงบทความ 100 บทความจาก Los Angeles Times

การทดสอบ

กระบวนการตรวจจับถูกทดสอบกับเฟรมเวิร์กก่อนหน้าในรูปแบบ 2 แบบ: PN-Silver ซึ่งไม่สนใจการตรวจสอบของคนงาน AMT และ PN-Gold ซึ่งรวมการตรวจสอบเป็นเกณฑ์ในการตัดสิน

เฟรมเวิร์กที่แข่งขันกันรวมถึง Grover-GEN ในปี 2019, Fact-GEN ในปี 2020 และ FakeEvent ซึ่งบทความจาก PN-Silver ถูกแทนที่ด้วยเอกสารที่สร้างโดยวิธีการเก่า

รูปแบบของ Grover และ RoBERTa พิสูจน์แล้วว่ามีประสิทธิผลสูงสุดเมื่อฝึกอบรมบนชุดข้อมูล PropaNews ใหม่ โดยนักวิจัยสรุปว่า ‘เครื่องตรวจจับที่ได้รับการฝึกอบรมจาก PropaNews มีประสิทธิภาพดีกว่าในการระบุข้อมูลที่ไม่ถูกต้องที่เขียนโดยมนุษย์เมื่อเทียบกับการฝึกอบรมจากชุดข้อมูลอื่น’

นักวิจัยยังสังเกตด้วยว่าแม้แต่ชุดข้อมูล PN-Silver ที่ถูกทำให้เสียหายบางส่วนก็ยังสามารถเอาชนะวิธีการเก่าได้บนชุดข้อมูลอื่น

ล้าสมัย?

ผู้เขียนการศึกษาย้ำถึงการขาดการวิจัยเกี่ยวกับการสร้างและการระบุโฆษณาชวนเชื่อโดยอัตโนมัติ และเตือน rằngการใช้แบบจำลองที่ฝึกอบรมจากข้อมูลก่อนเหตุการณ์สำคัญ (เช่น โควิด หรือ สถานการณ์ปัจจุบันในยุโรปตะวันออก) ไม่สามารถคาดหวังให้ทำงานได้อย่างเหมาะสม:

‘ประมาณ 48% ของข้อมูลที่ไม่ถูกต้องที่เขียนโดยมนุษย์ที่ถูกจำแนกไม่ถูกต้องเกิดจากความไม่สามารถในการได้รับความรู้แบบไดนามิกจากแหล่งข่าวใหม่ๆ ตัวอย่างเช่น บทความที่เกี่ยวข้องกับโควิดมักจะถูกตีพิมพ์หลังปี 2020 ในขณะที่ RoBERTa ถูกฝึกอบรมล่วงหน้าจากข่าวที่เผยแพร่ก่อนปี 2019 ดังนั้น จึงเป็นเรื่องที่ท้าทายสำหรับ RoBERTa ในการตรวจจับข้อมูลที่ไม่ถูกต้องเกี่ยวกับหัวข้อนี้หากไม่มีการติดตั้งเครื่องตรวจจับที่มีความสามารถในการได้รับความรู้แบบไดนามิกจากข่าว’

ผู้เขียนการศึกษายังชี้ให้เห็นว่า RoBERTa สามารถบรรลุความแม่นยำ 69.0% ในการตรวจจับข่าวปลอมสำหรับบทความที่เผยแพร่ก่อนปี 2019 แต่ลดลงเหลือ 51.9% เมื่อใช้กับบทความที่เผยแพร่หลังปีนี้

การหลอกลวงและการให้ความสำคัญ

แม้ว่าการศึกษานี้จะไม่ได้กล่าวถึงเรื่องนี้โดยตรง แต่ก็เป็นไปได้ที่การวิเคราะห์เชิงลึกเกี่ยวกับผลกระทบทางภาษาเชิงอธิบายอาจกลายเป็นเครื่องมือในการต่อสู้กับการใช้ภาษาในทางที่ผิด เช่น การหลอกลวง – การใช้ข้อเท็จจริงที่ถูกต้องในทางที่จะให้ได้ผลลัพธ์ที่ต้องการซึ่งอาจขัดแย้งกับเจตนาและวัตถุประสงค์ของหลักฐานที่ใช้ในการสนับสนุน

การวิจัยที่เกี่ยวข้องและพัฒนามากขึ้นในด้าน NLP, การมองเห็นของเครื่องจักร และการวิจัยแบบหลายรูปแบบคือ การศึกษาเกี่ยวกับการให้ความสำคัญ ในฐานะส่วนเสริมของความหมาย ซึ่งการเรียงลำดับหรือการให้ความสำคัญของข้อเท็จจริงที่ถูกต้องในทางที่จะให้ได้ผลลัพธ์ที่ต้องการซึ่งอาจขัดแย้งกับผลลัพธ์ที่คาดหวังหากนำเสนอในลักษณะที่ชัดเจนและเป็นระเบียบ

* การแปลงอ้างอิงในบรรทัดของฉันให้เป็นลิงก์โดยตรง

ตีพิมพ์ครั้งแรกเมื่อวันที่ 11 มีนาคม 2022