วิธีการ NLP ในการตรวจจับการพูดเกินจริงในงานสื่อวิทยาศาสตร์

นักวิจัยจากเดนมาร์กได้พัฒนาระบบ “การตรวจจับการพูดเกินจริง” ที่ออกแบบมาเพื่อลดผลกระทบของนักข่าวที่พูดเกินจริงเกี่ยวกับผลกระทบของงานวิจัยทางวิทยาศาสตร์ใหม่ๆ เมื่อสรุปและรายงานผลงานวิจัยนั้น งานนี้ได้รับแรงบันดาลใจจากข้อเท็จจริงที่ว่าผลงานวิจัยใหม่ๆ เกี่ยวกับ COVID-19 ได้รับการบิดเบือนในช่องทางรายงาน แม้ว่าผู้เขียนจะยอมรับว่ามันสามารถใช้ได้กับงานสื่อวิทยาศาสตร์ทั่วไป

งานวิจัย นี้ มีชื่อเรื่องว่า การตรวจจับการพูดเกินจริงแบบกึ่ง监督สำหรับข่าวสื่อวิทยาศาสตร์สุขภาพ และมาจากมหาวิทยาลัยโคเปนเฮเกน และระบุว่าปัญหานี้มีการเพิ่มขึ้นเนื่องจากแนวปฏิบัติของสื่อที่ไม่รวมลิงก์แหล่งที่มาของงานวิจัยเดิม – ซึ่งเป็นแนวปฏิบัติที่พยายามแทนที่งานวิจัยเดิมด้วยการสรุปใหม่ และใช้การสรุปใหม่นั้นเป็น “ความรู้แหล่งที่มา” – แม้ว่างานวิจัยนั้นจะสามารถเข้าถึงได้โดยสาธารณะ

จากงานวิจัยนี้ การแสดงออกที่พูดเกินจริงของงานวิทยาศาสตร์ Source: https://arxiv.org/pdf/2108.13493.pdf

ปัญหานี้ไม่ได้จำกัดอยู่แค่ปฏิกิริยาของนักข่าวต่องานวิจัยใหม่ๆ แต่ยังสามารถขยายออกไปสู่การสรุปอื่นๆ เช่น การประชาสัมพันธ์ภายในของมหาวิทยาลัยและสถาบันวิจัย การตลาดที่มุ่งเป้าไปที่การดึงดูดความสนใจของสื่อ และการอ้างอิงที่มีประโยชน์ (และอาจเป็นข้อโต้แย้งในการระดมทุน) เมื่อนักข่าว “กัด” หัวข้อเหล่านั้น

งานวิจัยนี้ใช้เทคนิคการประมวลผลภาษาธรรมชาติ (NLP) กับชุดข้อมูลใหม่ของข่าวสื่อวิทยาศาสตร์และบทคัดย่อ โดยนักวิจัยอ้างว่าได้พัฒนาการกำหนดงานใหม่ที่ “มีจริงมากกว่า” สำหรับการตรวจจับการพูดเกินจริงของงานวิทยาศาสตร์ ผู้เขียนได้สัญญาว่าจะเผยแพร่โค้ดและข้อมูลสำหรับงานวิจัยนี้ที่ GitHub ในไม่ช้า

การแก้ไขปัญหาการพูดเกินจริง

มีหลายงานวิจัยที่ได้กล่าวถึงปัญหาการพูดเกินจริงของงานวิทยาศาสตร์ในช่วง 30 ปีที่ผ่านมา และได้เน้นย้ำถึงข้อมูลที่ไม่ถูกต้องที่อาจเกิดขึ้น นักวิจัยสังคมวิทยาทางวิทยาศาสตร์ชาวอเมริกัน Dorothy Nelkin ได้กล่าวถึงปัญหานี้อย่างเด่นชัดในหนังสือ ขายวิทยาศาสตร์ ในปี 1987; รายงาน Embo ในปี 2006 วิทยาศาสตร์ที่ไม่ดีในหัวข้อข่าว เน้นย้ำถึงความจำเป็นของนักข่าวที่ได้รับการฝึกอบรมทางวิทยาศาสตร์มากขึ้น ในขณะที่อินเทอร์เน็ตกำลังนำความกดดันงบประมาณที่สำคัญมาสู่สื่อแบบดั้งเดิม

นอกจากนี้ ในปี 2014 วารสารการแพทย์ブリทิชได้นำปัญหานี้มาเป็นจุดสนใจใน รายงาน; และการศึกษาในปี 2019 จาก Wellcome Open Research ได้สร้างขึ้นแล้วว่าการพูดเกินจริงของงานวิทยาศาสตร์ ไม่ได้ให้ประโยชน์ (ในแง่ของการเข้าถึงหรือการจราจร) ต่อสื่อและระบบรายงานอื่นๆ ที่กระทำการนี้

อย่างไรก็ตาม การเกิดขึ้นของการระบาดทั่วได้นำผลเสียของการพูดเกินจริงมาเป็นจุดสนใจที่สำคัญ โดยมีแพลตฟอร์มข้อมูลหลายแห่ง รวมถึงหน้าผลลัพธ์การค้นหา Google และดัชนีงานวิทยาศาสตร์ Arxiv ของมหาวิทยาลัยคอร์เนล ซึ่งตอนนี้เพิ่มคำเตือนอัตโนมัติสำหรับเนื้อหาที่ดูเหมือนจะเกี่ยวข้องกับ COVID

การปรับเปลี่ยนอินเทอร์เฟซสำหรับการค้นหาและเนื้อหาที่เกี่ยวข้องกับ COVID จากหน้าผลลัพธ์การค้นหา Google และดัชนีงานวิทยาศาสตร์ Arxiv ของมหาวิทยาลัยคอร์เนล

โครงการก่อนหน้านี้ได้พยายามสร้างระบบตรวจจับการพูดเกินจริงสำหรับงานวิทยาศาสตร์โดยใช้ NLP รวมถึงการร่วมมือในปี 2019 ระหว่างนักวิจัยจากฮ่องกงและจีน และอีกโครงการหนึ่ง (ที่ไม่เกี่ยวข้อง) จากเดนมาร์กในปี 2017

นักวิจัยของงานวิจัยใหม่นี้ระบุว่าความพยายามก่อนหน้านี้ได้พัฒนาชุดข้อมูลของคำกล่าวจากบทคัดย่อและสรุปจาก PubMed และ EurekAlert ที่มีฉลากสำหรับ “ความแข็งแกร่ง” และใช้พวกมันในการฝึกโมเดลการเรียนรู้ของเครื่องเพื่อคาดการณ์ ความแข็งแกร่งของคำกล่าว ในข้อมูลที่ไม่เห็น

MT-PET

งานวิจัยใหม่นี้รวมข่าวสื่อวิทยาศาสตร์และบทคัดย่อเป็นหน่วยข้อมูลที่รวมกัน และใช้ข้อมูลที่ได้มาใน MT-PET ซึ่งเป็นรูปแบบที่สามารถทำได้หลายงานของการฝึกอบรมแบบ Pattern Exploiting ที่นำเสนอครั้งแรกในปี 2020 ในฐานะ การตรวจจับการพูดเกินจริงโดยใช้คำถาม Cloze สำหรับการจำแนกข้อความและอนุมานภาษาธรรมชาติ ซึ่งเป็นความพยายามร่วมกันระหว่างสถาบันวิจัยสองแห่งในเยอรมนี

ไม่มีชุดข้อมูลที่มีอยู่ที่เหมาะสมสำหรับงานนี้ และทีมจึงสร้างชุดข้อมูลใหม่ของประโยคที่จับคู่จากบทคัดย่อและข่าวสื่อวิทยาศาสตร์ที่เกี่ยวข้อง โดยมีการประเมินจาก “ผู้เชี่ยวชาญ” ในแง่ของความมุ่งมั่นที่จะพูดเกินจริง

นักวิจัยใช้เฟรมเวิร์กการจำแนกข้อความแบบ few-shot ที่เรียกว่า PETAL เป็นส่วนหนึ่งของกระบวนการเพื่อสร้างคู่แบบแผน-คำพูดอัตโนมัติ และทำซ้ำข้อมูลจนกว่าจะพบคู่ที่เทียบเท่ากันสำหรับคุณสมบัติสองประการ: การตรวจจับการพูดเกินจริงและความแข็งแกร่งของคำกล่าว

ข้อมูล “ทอง” สำหรับการทดสอบถูกนำมาจากโครงการวิจัยก่อนหน้านี้ โดยประกอบด้วยคู่ข่าวสื่อวิทยาศาสตร์และบทคัดย่อ 823 คู่ นักวิจัยปฏิเสธการใช้ข้อมูล BMJ ในปี 2014 เนื่องจากข้อมูลนั้นถูกเขียนใหม่

กระบวนการนี้ได้รับชุดข้อมูล 663 คู่ของข่าวสื่อวิทยาศาสตร์และบทคัดย่อที่มีฉลากสำหรับการพูดเกินจริงและความแข็งแกร่งของคำกล่าว นักวิจัยได้เลือกตัวอย่าง 100 ตัวอย่างแบบสุ่มเป็นข้อมูลฝึกอบรมแบบ few-shot และตัวอย่าง 553 ตัวอย่างสำหรับการทดสอบ นอกจากนี้ยังมีการสร้างชุดฝึกอบรมขนาดเล็กที่ประกอบด้วยประโยค 1,138 ประโยคที่ถูกจำแนกตามว่าพวกมันแสดงถึงข้อสรุปหลักของข่าวสื่อวิทยาศาสตร์หรือไม่ เพื่อใช้ในการระบุ “ประโยคข้อสรุป” ในคู่ที่ไม่มีฉลาก

การทดสอบ

นักวิจัยได้ทดสอบวิธีการนี้ในสามรูปแบบ: การฝึกอบรมแบบดูแลอย่างเต็มที่ด้วยข้อมูลที่มีฉลากเท่านั้น; การทดสอบแบบ PET แบบเดียว; และบน MT-PET ใหม่ ซึ่งเพิ่มเส้นทางการกำหนดงานที่สองเป็นงานเสริม (เนื่องจากเป้าหมายของโครงการคือการตรวจสอบคุณสมบัติที่แยกจากกันสองประการจากชุดข้อมูลที่มีข้อมูลจับคู่)

นักวิจัยพบว่า MT-PET มีการปรับปรุงผลลัพธ์จาก PET ในสภาพแวดล้อมการทดสอบต่างๆ และพบว่าการระบุความแข็งแกร่งของคำกล่าวช่วยให้ได้ข้อมูลฝึกอบรมที่มีฉลากอ่อนสำหรับการตรวจจับการพูดเกินจริง อย่างไรก็ตาม งานวิจัยนี้ระบุว่าในบางการกำหนดค่าในบรรดาการทดสอบที่ซับซ้อน โดยเฉพาะอย่างยิ่งที่เกี่ยวข้องกับความแข็งแกร่งของคำกล่าว การมีข้อมูลที่มีฉลากมืออาชีพอาจเป็นปัจจัยที่ทำให้ผลลัพธ์ดีขึ้น (เมื่อเทียบกับโครงการวิจัยก่อนหน้าที่แก้ไขปัญหานี้) ซึ่งอาจมีผลกระทบต่อความสามารถในการทำให้กระบวนการนี้เป็นอัตโนมัติขึ้นอยู่กับการเน้นข้อมูลของงาน

อย่างไรก็ตาม นักวิจัยสรุปว่า MT-PET ‘ช่วยในการระบุและแยกแยะคำกล่าวที่มีผลกระทบโดยตรงจากคำกล่าวที่อ่อนกว่า และวิธีการที่มีประสิทธิภาพที่สุดคือการจำแนกและเปรียบเทียบความแข็งแกร่งของคำกล่าวจากเอกสารแหล่งที่มาและเอกสารเป้าหมาย’

ในขั้นสุดท้าย งานวิจัยนี้คาดการณ์ว่า MT-PET ไม่เพียงแต่สามารถใช้ได้กับงานวิทยาศาสตร์ที่กว้างขึ้น (นอกเหนือจากสาขาสุขภาพ) แต่ยังสามารถเป็นพื้นฐานสำหรับเครื่องมือใหม่ที่ช่วยให้นักข่าวสร้างสรรค์งานสรุปของงานวิทยาศาสตร์ที่ดีขึ้น (แม้ว่าจะสมมติว่านักข่าวพูดเกินจริงเนื่องจากขาดความรู้) เช่นเดียวกับการช่วยเหลือชุมชนการวิจัยในการกำหนดภาษาที่ชัดเจนขึ้นในการอธิบายแนวคิดที่ซับซ้อนさらに งานวิจัยนี้สังเกตว่า:

‘[ควรทราบว่าผลการแสดงผลที่รายงานในงานวิจัยนี้คือสำหรับข่าวสื่อวิทยาศาสตร์ที่เขียนโดยนักข่าววิทยาศาสตร์ – คาดว่าจะได้ผลลัพธ์ที่แย่กว่าสำหรับข่าวสื่อวิทยาศาสตร์ที่ทำให้งานวิทยาศาสตร์ง่ายขึ้นมากขึ้น’